SynAE: 도구 호출 에이전트 평가를 위한 합성 데이터 품질 측정 프레임워크

연구진은 도구 호출 에이전트 벤치마크에서 합성 데이터 품질을 평가하는 프레임워크 SynAE를 제안했다.

SynAE는 지시문, 도구 호출, 최종 출력, 다운스트림 성능 전반에서 유효성·충실도·다양성을 평가한다.

논문은 합성 데이터 품질을 포착하려면 하나의 지표만으로는 부족하다고 강조한다.

실제 운영 데이터가 없거나 민감해 합성 트레이스를 더 많이 쓰는 상황에서, 이 프레임워크는 사전 검증에 도움을 준다.