WBench: 인터랙티브 비디오 월드 모델 평가를 위한 종합 멀티턴 벤치마크

연구진은 289개 사례와 1,058개 턴으로 구성된 새로운 인터랙티브 비디오 월드 모델 벤치마크 WBench를 공개했다.

이 벤치마크는 품질, 환경 준수, 일관성, 내비게이션, 물리 법칙 준수 등 5개 차원을 혼합 제어 인터페이스로 평가한다.

1인칭·3인칭 시점과 6-DoF 포즈 제어를 포함한 멀티턴 상황에서 자동 지표의 타당성도 검증했다.

20개 모델을 테스트한 결과, 모든 과제에서 두루 강한 단일 시스템은 없었고 상위 모델들은 각기 다른 영역에서 강점을 보였다.