벤치마크 · 비교

외부 제품 비교

출력 정렬

Kiwi, Lindera, MeCab-ko와 KOMORAN의 token·morpheme 출력을 원문 span과 lemma·POS 조건에 맞춰 정렬합니다. Backend adapter에서 offset 좌표계와 normalization 차이를 변환합니다.

정렬 실패나 backend 오류를 검색 결과 없음으로 숨기지 않고 별도의 실행 오류로 기록합니다.

품질 비교

모든 제품 행에는 raw와 contract-adjusted TP·FP·TN·FN, precision, recall과 F1이 포함됩니다. 모든 제품에 같은 contract registry를 적용합니다.

외부 제품의 목적이 문장 분석이라는 점과 projection의 한계를 설명하되 불리한 결과를 생략하지 않습니다.

비용 비교

초기화, case 처리량, p95와 peak RSS를 같은 process model에서 측정합니다. Python·JVM backend의 runtime 시작 비용도 실제 작업 비용에 포함합니다.

품질과 성능을 하나의 종합 점수로 합치지 않습니다.