단일 요인 물리 기반 비디오-오디오 생성 벤치마킹

연구진은 비디오-오디오 생성 모델이 그럴듯한 소리만 내는지, 아니면 영상의 물리적 인과를 이해하는지 테스트하는 벤치마크 FlatSounds를 제안했다.

FlatSounds는 통제된 반사실 쌍과 단일 영상 테스트를 사용해, 생성된 소리가 물리적 변화와 사건 시점에 맞는지 평가한다.

현재 모델 평가 결과, 캡션은 물리적·의미적 정확도를 높이지만 시간 정렬은 오히려 떨어뜨릴 수 있는 것으로 나타났다.

이 벤치마크의 지표는 사람의 판단과도 잘 맞아, 신뢰할 수 있는 멀티모달 생성을 점검하는 데 유용하다.