SkillEvolBench: 일회성 경험에서 절차적 기술로의 진화를 평가하는 벤치마크

연구진은 6개 실제 에이전트 환경의 180개 과제로 구성된 SkillEvolBench를 공개했다.

이 벤치마크는 LLM 에이전트가 에피소드 궤적을 재사용 가능한 절차적 기술로 바꿀 수 있는지 평가한다.

여러 모델과 하네스에서 에이전트는 개별 과제에는 적응했지만, 견고하고 일반화되는 기술을 만드는 데는 실패하는 경우가 많았다.

오히려 정제된 기술 표현보다 원시 궤적을 그대로 재사용하는 편이 더 나은 성능을 보이기도 했다.

이번 결과는 현재 에이전트 학습과 기술 형성의 중요한 한계를 보여준다.