벤치마크 · 계약

품질 계약

raw matrix

Raw TP·FP·TN·FN은 원본 fixture의 strict gold와 backend 예측을 그대로 비교한 값입니다. 데이터 품질이나 제품 범위에 대한 사후 해석을 섞지 않습니다.

Raw 지표는 말뭉치 과제 자체의 성능을 보여 줍니다. Adjusted 결과가 있어도 생략하지 않습니다.

Contract-adjusted는 실행 전에 고정한 disposition을 같은 예측에 적용합니다. 의미로 구분할 수 없는 동형이의, 원문이 뒷받침하는 내부 성분과 gold span 오류를 재분류할 수 있습니다.

Contract-adjusted confusion matrix는 raw 약어 오른쪽 위에 c를 붙인 TPᶜ·FPᶜ·TNᶜ·FNᶜ로 표기합니다. FNᶜ는 제품 계약 안의 false negative입니다.

비표준 입력이 명시된 제품 입력 계약 밖이면 제외할 수 있습니다. 구현이 어렵거나 아직 지원하지 않는 문법은 제외 사유가 아닙니다.

Raw FN 4와 FNᶜ 0은 같은 실행 결과를 두 기준으로 평가한 값입니다. FN 4는 strict gold의 실패입니다. Registry가 네 case를 제품 목표 밖 또는 제품 계약상 positive로 판정하므로 FNᶜ는 0입니다.

모든 조정은 case ID, 이유와 review 상태를 ledger에 남깁니다. 미분류 case는 raw 판정을 유지하므로 adjusted 지표로 누락을 숨길 수 없습니다.