SaaS-Bench: 컴퓨터 사용 에이전트가 실제 SaaS를 활용해 전문 업무 워크플로를 해결할 수 있는가?

연구진이 23개 SaaS 제품과 6개 전문 분야의 106개 실제 업무를 담은 SaaS-Bench 벤치마크를 공개했다.

이 벤치마크는 장기 작업과 여러 앱을 넘나드는 현실적인 업무 흐름에서 컴퓨터 사용형·LLM 에이전트를 평가한다.

상위 에이전트도 작업을 끝까지 완료하는 비율이 4%에 못 미쳐, 계획 수립·상태 추적·복구 능력의 한계를 드러냈다.

SaaS-Bench는 기업용 소프트웨어에서 AI 에이전트를 더 현실적으로 평가하게 해 주며, 현재 시스템의 부족함을 분명히 보여준다.