왜 Far가 위를 보는가: 비전-언어 모델의 공간 표현 탐구
Why Far Looks Up: Probing Spatial Representation in Vision-Language Models
TL;DR AI
1분핵심 요약
연구진은 비전-언어 모델이 이미지의 세로 위치와 거리 인식을 자주 엮어 이해하는 지속적인 공간 편향을 발견했다.
최소한의 대비쌍을 활용해, 표면적 벤치마크 점수보다 내부에서 공간 정보가 어떻게 표현되는지 테스트했다.
이러한 세로-거리 얽힘은 정확도와 강건성 저하를 예측했으며, 표준 평가에서 강해 보이는 모델의 약점을 드러냈다.
문제를 더 분명히 보이기 위해 자연 이미지의 흔한 상관관계를 제거한 합성 벤치마크 SpatialTunnel을 제안했다.