OmniPro: 옴니 프로액티브 스트리밍 비디오 이해를 위한 종합 벤치마크

연구진은 옴니모달 모델의 능동적 스트리밍 ভিডিও 이해를 평가하는 첫 벤치마크 OmniPro를 공개했다.

이 벤치마크는 2,700개의 사람 검증 샘플, 9개 세부 과제, 3개 인지 수준, 모달리티 분리 라벨을 포함한다.

또한 probe 모드와 online 모드를 모두 적용해, 언제 응답해야 하고 무엇을 말해야 하는지까지 측정한다.

11개 모델을 테스트한 결과 오디오는 도움이 되지만 일관되게 활용되지는 않았고, 시간이 지날수록 성능이 떨어졌으며 비언어적 오디오가 가장 취약했다.