WBench: 대화형 비디오 월드 모델 평가를 위한 종합적인 멀티턴 벤치마크

연구진이 인터랙티브 비디오 월드 모델을 평가하는 새로운 벤치마크 WBench를 공개했다.

WBench는 289개 사례와 1,058개 상호작용 턴으로 구성되며, 4가지 상호작용 유형과 5개 평가 차원을 포함한다.

벤치마크와 코드, 데이터는 arXiv와 GitHub를 통해 공개됐다.

20개 모델을 시험한 결과, 설정 준수·물리 일관성·일관성·내비게이션·시점 전환에서 성능이 고르지 않게 나타났다.

WBench는 더 넓고 공통된 평가 기준을 제시해 이 분야의 비교와 진전을 돕는다.