비디오 중요 인물 식별을 위한 멀티모달 시공간 단서 마이닝

연구진은 영상 속 핵심 인물을 순위화하는 새로운 Video Important Person Identification 과제를 제안했다.

9,249개의 라벨이 포함된 근거 주석 데이터셋 Temporal-VIP도 함께 공개했다.

VIP-Net은 사회적 단서와 시간적 단서를 결합해 인물 중요도 판단과 설명 생성을 개선했다.

이 모델은 67.3%의 정확도를 기록했으며, 영상 편집·감시 등 활용 가능성을 높였다.