OpenComputer: 컴퓨터 사용 에이전트를 위한 검증 가능한 소프트웨어 세계

연구진은 컴퓨터-사용 에이전트를 위한 검증 가능한 데스크톱 작업 프레임워크 OpenComputer를 제안했다.

이 프레임워크는 앱별 상태 검증기, 자기개선형 검증, 합성 작업 생성, 궤적 기반 평가를 결합해 33개 데스크톱 앱을 평가한다.

작업 성공을 관찰 가능한 애플리케이션 상태로 확인해, LLM 심판 방식보다 더 감사 가능한 결과를 제공한다.

OpenComputer는 사람의 판단과 더 잘 맞았고, 최첨단 모델과 오픈소스 모델 모두의 큰 성능 격차를 드러냈다.