학생 오개념을 정확하게 분류하기 위한 인지 불확실성 기반 지식 증류

연구진은 작은 모델로 학생 오개념을 더 잘 분류하기 위한 2단계 지식 증류 기법을 제안했다.

먼저 교사 모델의 불확실성과 신뢰도 차이로 고가치 샘플을 선별한 뒤, 샘플 난이도에 따라 하드/소프트 라벨 혼합 비율을 조정한다.

벤치마크에서 훨씬 적은 필터링 샘플과 4B 모델만으로 정확도와 MAP@3를 크게 높였다.

이 방법은 희소하고 노이즈가 많은 교육 데이터를 효과적으로 다루며, 큰 모델보다 작은 모델이 더 나을 수 있음을 보여준다.