ERGeoBench: 다중모달 대규모 언어 모델을 위한 체화 추론과 지오로컬라이제이션 종합 벤치마크

연구진이 멀티모달 대규모 언어모델의 체화 추론과 지오로컬라이제이션을 평가하는 벤치마크 ERGeoBench를 공개했다.

이 벤치마크는 전 세계 2,207개 스트리트뷰 파노라마를 바탕으로 단일 시점, 파노라마 시점, 체화 시점 과제를 평가한다.

평가 항목은 지각, 공간 인식, 상식 추론, 위치 추론 능력을 포함한다.

실험 결과, 현재 모델들은 대략적인 지리 단서는 잘 파악하지만 정밀한 위치 추정과 시점 간 일관성에서는 한계를 보였다.