DICA: 멀티모달 대규모 언어 모델을 위한 이중 지표 유도 대조 정렬
DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models
TL;DR AI
1분핵심 요약
연구진이 멀티모달 대형 언어 모델의 시각적 그라운딩을 개선하는 추론 시점 기법 DICA를 제안했다.
DICA는 Visual Attention Entropy와 Output Image Correlation 두 지표로 주의 분산이나 이미지 의존성 저하를 감지한다.
문제가 감지되면 표적화된 contrastive alignment를 적용해 시각적 정합성을 복원한다.
여러 벤치마크에서 기존 방법보다 성능이 더 좋고 환각 현상도 더 적었다.