평가 엔지니어링을 향하여: 현장의 ML 평가 하네스에 대한 실증 연구
Towards Evaluation Engineering: An Empirical Study of ML Evaluation Harnesses in the Wild
TL;DR AI
1분핵심 요약
57개의 ML 평가 하네스와 16,560개 이슈를 분석한 결과, 평가 파이프라인 전반에서 반복되는 운영 실패가 확인됐다.
연구진은 5단계 하네스 모델을 제안했고, 그중 사양(specification) 단계의 문제가 가장 많았다.
주요 원인은 미구현 기능, 문서 부족, 입력 검증 미흡으로 나타났다.
이번 연구는 평가 하네스에 고유한 엔지니어링 실패 양상이 있음을 보여주며, 별도의 소프트웨어 공학 문제로 다뤄야 한다고 제안한다.
같은 주제
