벤치마크 · 계약

품질 계약

Raw는 corpus gold를 보존하고 contract-adjusted는 같은 예측을 제품 목표의 고정 registry로 다시 판정합니다.

raw matrix

Raw TP·FP·TN·FN은 원본 fixture의 strict gold와 backend 예측을 그대로 비교합니다. 데이터 품질이나 제품 범위에 대한 사후 해석을 섞지 않습니다.

Raw 지표는 corpus task 자체의 성능을 보여 주며 adjusted 결과가 있어도 생략하지 않습니다.

Contract-adjusted는 실행 전에 고정한 disposition을 같은 예측에 적용합니다. 의미로 구분할 수 없는 동형이의, source가 지지하는 내부 성분과 gold span 오류는 재분류할 수 있습니다.

비표준 입력이 명시된 제품 입력 계약 밖이면 제외할 수 있습니다. 구현이 어렵거나 아직 지원하지 않는 문법은 제외 사유가 아닙니다.

Raw FN 4와 FNᶜ 0은 실행 결과가 달라졌다는 뜻이 아닙니다. FN 4가 strict gold의 실패인 반면 registry가 네 case를 제품 목표 밖 또는 제품 계약상 positive로 판정했기 때문에 FNᶜ가 0입니다.

모든 조정은 case ID, 이유와 review 상태를 ledger에 남깁니다. 미분류 case는 raw 판정을 유지해 adjusted 지표가 누락을 숨기지 않게 합니다.