SAM3D-Phys: 실제 세계에서의 다중 객체 상호작용 시뮬레이션을 향하여

연구진은 실제 세계의 다중 뷰 이미지를 물리 시뮬레이션에 바로 쓸 수 있는 3D 장면으로 바꾸는 SAM3D-Phys를 공개했다.

이 프레임워크는 장면을 재구성한 뒤, SAM3D로 가려진 물체를 보완하고 각 물체의 자세와 텍스처를 복원한다.

물리 제약 최적화와 마스크 기반 외형 정제를 통해 물체가 장면과 일관되게 유지되도록 한다.

이를 통해 재구성된 장면을 다중 객체 상호작용 시뮬레이션에 활용할 수 있어 로보틱스, AR/VR, 장면 이해에 중요하다.