Sensor2Sensor: 자율주행을 위한 크로스 임보디먼트 센서 변환

연구진이 단안형 대시캠 영상을 구조화된 자율주행 로그로 바꾸는 Sensor2Sensor를 공개했다.

이 시스템은 재구성한 페어 데이터와 확산 모델을 활용해 멀티뷰 카메라 이미지와 LiDAR 포인트클라우드를 생성한다.

4D Gaussian Splatting을 통해 실제 도로 주행 영상에서 현실적인 다중 센서 시퀀스를 만들어낸다.

이를 통해 자율주행팀은 차량 수집 로그만으로는 부족했던 더 다양한 실제 주행 상황에서 학습과 검증을 할 수 있다.