함께 보기: 멀티모달 대규모 언어 모델을 활용한 다중 로봇 협력형 1인칭 공간 추론

연구진은 다중 로봇의 1인칭 공간 추론을 위한 새로운 벤치마크 CoopSR와, 동기화된 로봇 관측으로 만든 대규모 QA 데이터셋 EgoTeam을 공개했다.

또한 다중 시점 로봇 입력을 동역학, 스펙트럼, 물리적 단서와 결합해 협력 추론을 강화하는 SP-CoR 모델을 제안했다.

SP-CoR는 공간·시간·가시성·협업 질문에서 22개 베이스라인을 앞섰고, 보지 못한 팀 규모에도 일반화 성능을 보였다.

사족보행 로봇 실험에서도 실사용 가능성을 보여주며, 1인칭 AI를 단일 에이전트 이해에서 다중 로봇 협력 추론으로 확장했다.