CutVerse: 미디어 후반 편집을 위한 구성형 GUI 에이전트 벤치마크

연구진은 실제 미디어 후반 작업 편집을 기준으로 자율 GUI 에이전트를 평가하는 벤치마크 CutVerse를 공개했다.

CutVerse는 7개의 전문 애플리케이션과 186개의 편집 과제를 바탕으로 만들었고, 화면 녹화와 상호작용 로그를 구조화된 궤적으로 변환하는 파서를 포함한다.

평가 결과, 기존 에이전트의 과제 성공률은 36.0%에 그쳐 복잡한 장기 창작 워크플로우를 여전히 잘 수행하지 못하는 것으로 나타났다.

이번 결과는 Premiere Pro와 Photoshop 같은 도구에서 요구되는 실제 미디어 편집 작업과 현재 GUI 에이전트 사이의 큰 격차를 보여준다.