벤치마크 · 품질

Query matrix

조합 차원

한 원문 문장에서 최대 세 개의 “있어야 하는” 표제어·품사·span 질의를 고릅니다. 각 질의에는 같은 품사의 “없어야 하는” 질의를 짝지어 여러 case를 만듭니다.

체언·용언 분류, 조사·어미, 불규칙, compound, 명시적 POS와 boundary policy를 교차합니다.

각 case에는 expected match, expected no-match와 선택적 contract disposition이 있습니다.

Evaluator는 backend가 반환한 candidate를 case에 정렬하고 partial span, crossing match와 extra match를 구분합니다. Candidate coverage가 100%에 미치지 못하면 matrix를 승인하지 않습니다.

Aggregate F1과 함께 문법 차원별 TP·FP·FN을 남겨 특정 규칙의 누락을 찾습니다.

Query matrix는 진단 workload이며 Canonical 회귀선과 합치거나 대체하지 않습니다.

Raw와 adjusted matrix는 같은 prediction set에서 계산합니다. Registry는 case ID별 confirmed, reclassified, excluded 이유를 버전 관리에 보존합니다.

FNᶜ 0은 분류된 제품 목표 안에 FN이 없다는 뜻입니다. Raw FN과 unclassified count는 계속 별도로 표시합니다.