추론 모델을 어떻게 파인튜닝할까? 학생-교사 협력 프레임워크로 학생 일관성 SFT 데이터를 합성하기

연구진이 추론 모델용 교사-학생 협력 데이터 합성 프레임워크 TESSY를 제안했다.

TESSY는 교사가 능력 토큰을, 학생이 스타일 토큰을 생성해 학생 일관적인 SFT 데이터를 만든다.

이를 통해 오프폴리시 교사 전용 데이터의 한계를 줄이고 온폴리시 학습 데이터를 확보한다.

목표는 미세조정 후에도 복잡한 추론 성능을 유지하면서 망각을 줄이는 것이다.