희소 오토인코더의 모델 내부 정보를 활용한 LLM 후훈련 데이터 엔지니어링 가이드
Guiding LLM Post-training Data Engineering with Model Internals from Sparse Autoencoders
TL;DR AI
1분핵심 요약
연구진은 LLM 내부의 sparse autoencoder 특징을 활용해 데이터 선별을 돕는 SAERL 후학습 데이터 엔지니어링 프레임워크를 제안했다.
SAERL은 배치 다양성 제어, 난이도 기반 커리큘럼 구성, 저품질 데이터 필터링을 통해 RL 후학습 효율을 높인다.
Qwen2.5-Math-1.5B 실험에서 기본 GRPO 대비 평균 정확도를 3.00% 높였고, 목표 성능에 도달하는 데 필요한 학습 스텝을 20% 줄였다.
이 개선 효과는 여러 모델 규모와 RL 방식에서 확인돼, sparse autoencoder 기반 내부 신호가 LLM 후학습을 더 효과적으로 만들 수 있음을 보여준다.