제로언런: 대규모 언어 모델에서의 소수 샷 지식 언러닝
ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models
TL;DR AI
1분핵심 요약
연구진은 대규모 언어 모델을 위한 few-shot 언러닝 프레임워크 ZeroUnlearn을 제안했다.
민감한 입력을 중립 상태로 매핑하고, 닫힌형 곱셈 업데이트로 기존 표현을 제거한다.
여러 샘플에는 경사 기반 확장 기법을 적용해, 전반적 성능을 유지하면서 사적·유해 지식을 삭제하도록 설계했다.
이 방법은 재학습이나 과도한 미세조정보다 더 효율적인 모델 편집·프라이버시 보호 대안이 될 수 있다.