DynaFLIP: 3중 모달 동역학이 이끄는 표현으로 재고하는 로보틱스 인식

연구진은 로봇 인지를 위한 동역학 인식형 멀티모달 사전학습 프레임워크 DynaFLIP을 제안했다.

이 방법은 이미지-언어-3D 플로우 트리플릿과 기하학적 정규화를 활용해 이미지 전용 인코더에 동작 인지 특성을 주입한다.

그 결과 시각 백본이 행동 관련 단서를 더 잘 포착하고, 다운스트림 로봇 조작 성능이 향상된다.

DynaFLIP은 시뮬레이션과 실제 환경 전반에서, 특히 분포 밖 일반화 성능을 높이는 데도 효과적이다.