OmegaUse-OfficeVal: 경제적 기준을 적용한 장기 오피스 스위트 작업에서의 LLM 에이전트 벤치마킹
OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
TL;DR AI
1분핵심 요약
연구진은 실제 실무자 요청을 바탕으로 개인정보를 보호하는 방식으로 재구성한 100개 과제의 오피스 워크플로 벤치마크 OmegaUse-OfficeVal를 공개했다.
각 과제에는 인간 노동시간 추정치, 가격 대용치, 코드 기반 검증기가 포함돼 단순 성공 여부보다 현실적인 평가가 가능하다.
프런티어 LLM들과 인간 기준선을 비교한 결과, 모델은 사람보다 빠르고 저렴했지만 산출물 품질은 아직 인간 수준에 미치지 못했다.
이 벤치마크는 시간과 비용을 함께 고려해 LLM 에이전트의 장기 오피스 업무 수행 능력을 더 현실적으로 측정하려는 시도다.