FaithEyes: 다중 에이전트 프로세스-이미지 검증을 통한 충실한 도구 사용을 향하여
FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification
TL;DR AI
1분핵심 요약
연구진은 비전-언어 모델의 도구 사용이 실제로 유용한지 점검하는 멀티에이전트 시스템 ‘FaithEyes’를 제안했다.
FaithEyes는 중간 과정에서 생성된 이미지 조각이나 편집 결과가 질문 해결에 도움이 되는지 모델 스스로 판단하게 한다.
이 판단 신호를 추론과 보상에 되돌려 넣어, 쓸모없는 도구 호출에는 낮은 보상을 주도록 학습한다.
학습은 2단계 SFT와 RL 파이프라인으로 진행되며, 외부 판정자 없이도 신뢰성과 해석 가능성을 높이는 것이 목표다.