비전이 소리를 말할 때

연구진은 많은 비디오 멀티모달 모델이 실제로는 오디오를 이해하는 듯 보이지만, 사실 시각 단서에 의존하는 경우가 많다고 밝혔다.

논문은 Shift, Mute, Swap 테스트를 활용한 개입 기반 프레임워크 ‘Thud’를 제안해 오디오-비주얼 불일치를 측정한다.

또한 오디오 검증 능력과 전체 벤치마크 성능을 높이는 2단계 학습 방법을 제시한다.

이 연구는 영상 AI의 신뢰성 문제를 드러내는 동시에, 결함을 진단하고 완화하는 실용적 방법을 제공한다.