ShadowDancer: 하나의 영상과 그 섀도우로 통합된 동적 표현을 학습해 비디오 월드 모델에 어떤 행동이든 가르치기

ShadowDancer는 시연 영상만으로 재사용 가능한 액션 표현을 학습해, 비디오 월드 모델을 프레임 단위로 제어하는 새 프레임워크다.

같은 동작이지만 외형이 다른 영상 쌍을 활용해, 한 영상을 다른 영상으로 예측하는 cross-shadow prediction으로 외형 변화는 무시하고 전이 가능한 동역학을 학습한다.

이 방식은 액션 라벨, 모션 추정, 추가 파인튜닝 없이도 일반 영상을 액션 감독 신호로 재사용할 수 있게 한다.

강한 베이스라인들과 비교해 액션 전이와 긴 롤아웃 성능이 더 좋다고 보고했다.

결과적으로 다양한 환경에서 인터랙티브 비디오 모델의 학습과 제어를 더 넓게 확장할 가능성을 보여준다.