SimuWoB: 빠르고 충실한 GUI 에이전트 벤치마킹을 위한 현실 세계 모바일 앱 시뮬레이션

연구진은 모바일 GUI 에이전트를 위한 완전 합성 벤치마크 SimuWoB를 공개했으며, 앱형 과제 120개를 포함한다.

이 벤치마크는 자동 생성 보상과 URL로 접근 가능한 백엔드 없는 가상 환경을 사용해 재현 가능한 평가를 제공한다.

테스트 결과, 최신 에이전트들도 특히 장기적·다단계 과제에서 성공률이 낮았다.

이번 연구는 모바일 에이전트 성능을 더 현실적으로 측정하는 방법을 제시하며, 복잡한 워크플로에서의 한계를 드러냈다.