StateAct: 장기 지평 컴퓨터 사용 에이전트를 위한 픽셀 이전의 프로그램 상태
StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents
TL;DR AI
1분핵심 요약
연구진은 스크린샷보다 프로그램 상태를 중심으로 추론하는 컴퓨터 사용 에이전트 StateAct를 제안했다.
시각 전문가 모델은 일부 단계에만 사용해 토큰 사용량과 비용을 줄이면서 장기 과제 수행 성능을 높였다.
StateAct는 OSWorld 2.0에서 새로운 최고 성능을 기록했고, OSWorld-Verified, WindowsAgentArena, AndroidWorld, MobileWorld에서도 성능을 끌어올렸다.
또한 31B SFR-CUA 모델과 Claude Opus 4.8에서도 큰 개선을 보여, UI 자동화의 새로운 방향을 시사했다.