MixSD: 지식 주입을 위한 혼합 문맥 자기 증류

연구진은 외부 라벨 없이 언어 모델에 지식을 주입하는 자가 증류 방식 MixSD를 제안했다.

MixSD는 모델 자신의 문맥 예측과 사전 예측을 바탕으로 학습 목표를 만들어, 미세조정 중 분포를 정렬한다.

합성 데이터와 벤치마크 실험에서 강한 학습 성능을 보이면서도, 일반적인 지도 미세조정보다 기존 능력을 더 잘 보존했다.

이 방법은 catastrophic forgetting을 줄이고 학습 안정성을 높여, 지식 업데이트를 더 간단하고 안전하게 만든다.