벤치마크 · 품질
query matrix
Query matrix는 문법 요소, 품사, 경계와 positive·negative query 조합을 case 단위로 추적합니다.
조합 차원
체언·용언 class, 조사·어미, 불규칙, compound, explicit POS와 smart boundary를 교차합니다. 한 source sentence가 여러 query case를 만들 수 있습니다.
각 case는 expected match, expected no-match와 선택적 contract disposition을 가집니다.
coverage
Evaluator는 backend가 반환한 candidate를 case에 정렬하고 partial span, crossing match와 extra match를 구분합니다. Candidate coverage가 100%가 아니면 matrix를 승인하지 않습니다.
disposition ledger
Raw와 adjusted matrix는 같은 prediction set에서 계산합니다. Registry는 case ID별 confirmed, reclassified, excluded 이유를 version control에 보존합니다.
FNᶜ 0은 분류 가능한 제품 목표 안 FN이 없다는 뜻입니다. Raw FN과 unclassified count는 별도로 계속 표시합니다.