ShadowDancer: 비디오와 그 섀도우로부터 통합 동역학 표현을 학습해 어떤 행동도 가르치는 비디오 월드 모델

ShadowDancer는 보여준 영상에서 전달 가능한 동작을 학습해, 비디오 월드 모델의 any-action·프레임 단위 제어를 가능하게 하는 새 프레임워크다.

핵심은 같은 동역학을 공유하지만 외형이 다른 ‘shadow pair’를 활용해, cross-shadow prediction으로 하나의 동역학 표현을 학습하는 것이다.

이 표현은 새 장면에서도 재학습 없이 재사용할 수 있어, 액션 라벨이나 모션 추정기, 파인튜닝이 필요 없다.

결과적으로 시연 영상 클립을 재사용 가능한 동작 자산으로 바꿔, 시뮬레이션·편집·인터랙티브 생성의 유연성을 높일 수 있다.