에이전트 평가 하네스를 만들었더니, 실제 에이전트가 깔끔한 이야기 구조를 무너뜨렸다

개발자가 AI 에이전트 평가용 오픈소스 하네스 ‘AgentEval Forge’를 PyPI와 공개 저장소에 공개했다.

시나리오 팩, 점수화, 회귀 테스트, 적대적 테스트, 보안 제어, CI 연동, 여러 에이전트 프레임워크용 어댑터를 포함한 완전한 평가 시스템으로 설계됐다.

하지만 LangGraph와 PydanticAI 실제 저장소에 대한 현장 테스트에서 통합 난제가 드러나며, 도구는 단순 채점기에서 더 넓은 ‘현실 점검’으로 바뀌었다.

핵심 메시지는 에이전트 평가는 최종 답만이 아니라 전체 실행 과정을 검증해야 하며, 실전 통합이 합성 테스트로는 놓치기 쉬운 신뢰성·보안·도구 문제를 드러낸다는 점이다.