빌려온 역사 너머: 인터랙티브 롤플레이 평가를 위한 인물 정렬형 사용자 시뮬레이션
Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation
TL;DR AI
1분핵심 요약
연구진은 역할극 챗봇을 평가하기 위한 벤치마크 PALATE를 제안했다.
PALATE는 300개의 캐릭터 프로필을 기반으로 한 시뮬레이션 사용자와의 대화를 통해 에이전트를 평가한다.
기존의 고정 대화 이력·일반화된 채점 기준보다, 사용자별 선호를 반영한 평가가 가능하다.
이 벤치마크로 16개 후보 시스템을 테스트하며 턴 품질, 장기 성능, 사용자 만족도를 각각 측정했다.