CHI-Bench: AI 에이전트는 정책이 많은 장기·엔드투엔드 의료 워크플로를 자동화할 수 있을까?

연구진은 provider prior authorization, payer utilization management, care management를 아우르는 의료 워크플로우 벤치마크 χ-Bench를 공개했다.

여러 모델과 하니스 조합을 비교해도 최고 성능 에이전트의 과제 완료율은 28.0%에 그쳤다.

작업을 한 번의 세션에서 끝내야 할 때 성능이 크게 떨어져, 장기 과제 수행 능력이 부족함이 드러났다.

이번 결과는 규제가 강하고 정책과 인수인계가 많은 기업 워크플로우 전반에서 AI 에이전트의 한계를 보여준다.