멀티모달 분류에서 임의의 누락 모달리티를 위한 공동 학습

연구진이 임의의 모달리티 누락을 가정하지 않는 멀티모달 분류용 코러닝(co-learning) 방법을 제안했다.

제안 방식은 특징 수준과 결정 수준의 정보를 함께 활용해, 어떤 입력이 빠져도 더 안정적으로 학습·추론하도록 설계됐다.

두 개의 벤치마크 데이터셋에서 경미한 누락과 극단적 누락 조건 모두에서 기존 방법보다 더 강한 견고성을 보였다.

이 연구는 센서 고장이나 프라이버시 제한처럼 일부 모달리티가 언제든 빠질 수 있는 현실적인 상황에 특히 유용하다.