LLM 증류 기법 이해하기

이 글은 작은 학생 모델이 큰 교사 모델에서 배워 LLM을 압축하는 distillation 방식을 설명한다.

주요 방법으로 소프트 라벨, 하드 라벨, 공동 distillation을 비교한다.

Meta와 Google 같은 회사들은 추론 능력과 지시 따르기 같은 역량을 더 저렴한 모델로 옮긴다.

이 방식은 학습·배포 비용을 줄이면서도 유용한 모델 성능을 유지하게 한다.