배턴을 넘겨라: 궤적 전달형 온-폴리시 증류

연구진은 추론 모델을 위한 라벨 없는 온-폴리시 증류 기법 Relay-OPD를 제안했다.

학생 모델이 좋지 않은 시작 프리픽스를 만들면, 잠시 교사 모델이 개입해 릴레이 궤적을 만들고 이후 학생이 다시 생성한다.

Qwen3 모델로 8개 수학 추론 벤치마크를 평가한 결과, Relay-OPD는 표준 OPD와 FastOPD를 앞섰고 특히 작은 학생 모델에서 개선 폭이 컸다.

또한 학습 궤적 길이를 50% 이상 줄여, 계산 효율을 높이면서 성능도 개선했다.