Omni-DuplexEval: 실시간 듀플렉스 옴니모달 상호작용 평가

연구진은 멀티모달 AI의 실시간 듀플렉스 성능을 평가하는 660개 영상 벤치마크 Omni-DuplexEval을 공개했다.

이 벤치마크는 스트리밍 영상에서의 연속 설명과 능동적 리마인더 두 가지 능력을 측정한다.

응답의 시점과 내용이 적절한지 자동 LLM 심판 방식으로 평가하도록 설계됐다.

최상위 듀플렉스 멀티모달 모델들도 성능이 낮았으며, 최고 모델도 전체 39.6%, 리마인더 과제 20.0%에 그쳤다.

이번 벤치마크는 현재 모델들의 시간 인지 추론과 실시간 상호작용에 큰 공백이 있음을 보여준다.