CLBench-V: 그라운딩부터 지식 습득까지 멀티모달 문맥 학습 평가
CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
TL;DR AI
1분핵심 요약
연구진은 멀티모달 모델의 문맥 학습 능력을 평가하기 위한 새 벤치마크 CLBench-V를 공개했다.
이 벤치마크는 과학, 금융, 장문 문서, 공간 추론, 웹 VQA를 아우르는 공개·신규 데이터셋으로 구성됐다.
최신 멀티모달 모델 6개를 3,443개 사례로 평가한 결과, 전반적 성능은 낮게 나타났다.
모델별 강점은 달랐고, 어떤 모델도 모든 문맥 학습 항목에서 우위를 보이지 못했다.
이번 결과는 실제 환경에서 안정적으로 문맥을 활용하는 멀티모달 AI의 큰 한계를 보여준다.