DataPrep-Bench: LLM을 훈련 데이터 준비 도구로 평가하는 벤치마크

연구진이 LLM이 원천 데이터로부터 학습 데이터를 얼마나 잘 준비하는지 평가하는 벤치마크 DataPrep-Bench를 공개했습니다.

이 벤치마크는 학습 데이터 생성과, 후보 데이터셋의 품질을 하위 모델 성능을 통해 평가하는 두 가지 과제를 다룹니다.

논문은 데이터 생성용 Data-Construction-Skill과 데이터 품질 평가용 DAS(Distributional Alignment Score)도 함께 제안했습니다.

목표는 실제 학습 효용을 기준으로 데이터 생성·선별 방법을 일관되게 비교할 수 있는 기준을 제공하는 것입니다.