HakushoBench: 일본 정부 백서 기반 차트 및 표 VQA 벤치마크
HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers
TL;DR AI
1분핵심 요약
연구진은 33개의 일본 정부 백서를 바탕으로 한 일본어 차트·표 VQA 벤치마크 HakushoBench를 공개했다.
이 데이터셋은 10개가 넘는 이미지 유형에 걸쳐 2,053개의 차트·표 이미지와 사람이 직접 주석 단 질문-답변 쌍을 포함한다.
일본어 문서의 시각 정보를 표면적으로 읽는 수준을 넘어 깊이 있게 이해하는지를 평가하도록 설계됐다.
실험 결과 오픈웨이트 비전-언어 모델은 고전했으며, 최고 성능은 58.6%였고 상용 모델이 34.9포인트 앞섰다.