RefCaptioner: 다중 참조 이미지 기반 비디오 캡셔닝

연구진은 여러 참고 이미지를 활용해 영상의 특정 구절을 더 정확히 연결하는 비디오 캡셔닝 시스템 RefCaptioner를 공개했다.

이 작업은 다중 참고 이미지 기반 영상 캡셔닝이라는 새 과제를 정의하고, 문장보다 구절 단위의 사실성 있는 설명을 목표로 한다.

RefCaptioner는 지도 미세조정과 강화학습을 결합한 2단계 학습으로 참고 이미지 선택, grounding 정확도, distractor 거부 성능을 높였다.

또한 대규모 학습 코퍼스와 평가용 MRVBench를 함께 공개했으며, 오픈소스 벤치마크와 인간 평가에서 우수한 성능을 보였다.

이 접근은 일반적인 영상 설명을 넘어, 검증과 소스 충실형 영상 생성에 더 유용한 캡션 생성을 가능하게 한다.