멀티모달 연쇄적 사고 추론을 위한 시각적 주의 유도 증류

연구진은 멀티모달 chain-of-thought 추론을 위한 새로운 증류 기법인 Visual Saliency Steering Distillation(VSSD)을 제안했다.

VSSD는 attention map으로 과제에 민감한 이미지 교란을 만들고, SVD로 레이어 간 유도에 쓰일 steering vector를 추출한다.

이 방법은 작은 vision-language 모델에서 융합 과정 중 사라지기 쉬운 미묘한 이미지-텍스트 차이를 보존하도록 돕는다.

ScienceQA와 M^3^CoT 같은 벤치마크에서 추론 성능 향상을 보였다.