ExtractBench: 스키마 기반 기업 문서 추출 벤치마크

연구진이 기업용 문서 추출 시스템을 평가하는 새 벤치마크 ExtractBench를 공개했다.

ExtractBench는 사용자가 정의한 스키마와 근거 제시를 요구하며, 8개 비즈니스 분야의 370개 문서, 4,869페이지를 포함한다.

평가 항목은 값 정확도, 레코드 완전성, grounding, 비용까지 아우르며 실제 업무 요구를 더 잘 반영한다.

상용 비전-언어 모델은 짧은 문서에서는 강했지만 긴 레코드 목록에서는 약했고, 코딩 에이전트는 더 정확하지만 비용이 높았다.

LlamaExtract Agentic Plus가 핵심 지표 전반에서 가장 좋은 성능을 기록했다.