QUACK: 멀티모달 소셜 디덕션 에이전트에서 전달된 지식의 질문, 이해, 감사
QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
TL;DR AI
1분핵심 요약
연구진은 멀티모달 게임 에이전트의 발화가 실제로 본 것과 한 행동에 부합하는지 감사하는 오픈소스 프레임워크 QUACK을 공개했다.
QUACK은 게임 로그로부터 에이전트의 실제 궤적을 복원하고, 승패가 아니라 각 발화의 근거 일치 여부를 검증한다.
최신 비전-언어 모델들을 시험한 결과, 상당한 비율의 공간적 주장과 비난이 근거 없이 생성되는 것으로 나타났다.
이 연구는 멀티모달 AI 시스템의 그라운딩, 환각, 기만적 행동을 평가할 실용적 방법을 제시한다.