어느 방향으로 움직였나? 비디오 LLM의 방향성 운동 실인식 진단과 극복
Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs
TL;DR AI
1분핵심 요약
연구진은 많은 Video-LLM이 객체가 좌우·상하로 움직였는지를 묻는 단순한 문제에서 거의 우연 수준의 성능을 보인다고 밝혔다.
원인은 모션 신호를 읽어내는 능력과 정답을 선택하는 과정 사이의 결합 실패로 분석됐다.
이를 개선하기 위해 MoDirect와 DeltaDirect를 제안해 방향성 감지와 일반화 성능을 높였다.
이 방법은 전반적인 비디오 이해 성능을 해치지 않으면서 정확도를 끌어올려, 비디오 AI의 기본 지각 결함을 드러냈다.
같은 주제
