QUACK: 멀티모달 소셜 디덕션 에이전트에서 전달된 지식의 질문, 이해, 감사
QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
TL;DR AI
1분핵심 요약
연구진은 멀티모달 소셜 디덕션 에이전트를 위한 오픈소스 벤치마크이자 감사 프레임워크인 QUACK을 공개했다.
QUACK은 최종 결과, 행동 궤적, 개별 발화의 세 수준에서 에이전트를 평가한다.
최신 비전-언어 모델들을 시험한 결과, 환각과 근거 없는 비난이 자주 나타났다.
이번 연구는 에이전트 평가가 단순한 승패가 아니라, 발화의 근거성과 일관성까지 봐야 한다고 강조한다.