Incantation: 다중 엔티티 비디오 월드 모델을 위한 액션 인터페이스로서의 자연어

연구진은 0.25초마다 자연어를 입력받아 세밀하게 제어하는 대화형 비디오 월드 모델 Incantation을 소개했다.

이 모델은 여러 엔티티를 동시에 제어할 수 있으며, 액션 인덱스 기반 기준선보다 교차 엔티티 전이와 프롬프트 강건성이 더 뛰어났다.

논문은 경량 학생 모델이 실시간으로 동작할 수 있어, 더 빠른 장기 생성에도 유리하다고 보고했다.

이번 접근은 다양한 시스템과 작업에 적용 가능한 더 유연한 인터랙티브 비디오 제어 인터페이스 가능성을 보여준다.