Instruction Lens Score: 멀티모달 대규모 언어 모델을 위한 강력한 객체 환각 탐지기를 제공하는 당신의 지시문 기여

연구진은 멀티모달 대규모 언어 모델의 객체 환각을 감지하는 학습 없는 기법인 Instruction Lens Score를 제안했다.

논문은 지시 토큰 임베딩이 시각적 오류를 거르는 데 도움이 되며, 일관성 없는 객체 언급을 찾아낼 수 있음을 보였다.

Instruction Lens Score는 국소 일관성과 문맥 일관성 신호를 결합해 기존 방법보다 더 효과적으로 환각을 탐지한다.

이 방식은 단순한 플러그앤플레이형 방법으로, 추가 학습이나 보조 시스템 없이 여러 모델에 적용할 수 있다.