Claw-Anything: 사용자 디지털 세계에 대한 더 넓은 접근을 갖춘 항상 켜진 개인 비서 벤치마킹

연구진은 서비스와 기기를 넘나드는 장기 추론을 평가하는 항상-켜짐 AI 비서 벤치마크 ‘Claw-Anything’을 공개했다.

이 벤치마크는 수개월간의 잡음 많은 실제 사용자 활동을 시뮬레이션해, 에이전트가 얼마나 지속적이고 능동적으로 지원하는지 측정한다.

GPT-5.5의 pass@1은 34.5%에 그쳐, 현재 모델들이 이런 복잡한 디지털 환경에서 여전히 큰 한계를 보였다.

또한 연구진은 2,000개의 학습 환경을 생성하는 데이터 파이프라인을 공개했고, 이를 통해 기본 모델 성능을 23.7% 향상시켰다.