비디오에서 구조화된 동역학의 자기지도 학습

연구진은 영상에서 카메라 움직임과 객체 움직임을 분리하는 self-supervised 방식인 Structured Dynamics Model을 제안했다.

이 모델은 사전학습된 비전 트랜스포머의 고정 특징과 미래 특징 예측을 활용해 구조화된 비디오 동역학을 학습한다.

학습은 라벨 없는 비디오 데이터와 Kubric 합성 장면에서 얻은 약한 감독 신호를 함께 사용한다.

새 벤치마크 ProbeMotion에서 단순 백본 특징을 크게 앞섰고, 일부 강한 감독 학습 방법과도 경쟁력 있는 성능을 보였다.