미세한 시각적 차이에서 배우기: 문맥 내 시각 대조 최적화를 통한 멀티모달 환각 완화
Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization
TL;DR AI
1분핵심 요약
연구진은 비전-언어 모델의 멀티모달 환각을 줄이기 위한 새로운 학습 기법 IC-VCO를 제안했다.
IC-VCO는 공유된 문맥 안에서 이미지를 대비시키고, 신뢰도 게이트형 증류 정규화와 샘플 편집 기반의 강한 네거티브를 활용한다.
이 방법은 5개 벤치마크에서 평가됐으며, 이미지 이해 작업의 신뢰성을 높이는 데 좋은 성능을 보였다.