LoRA는 어떻게 기억하는가? LLM 미세조정을 위한 매개변수화된 기억 법칙
How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
TL;DR AI
1분핵심 요약
새 arXiv 연구는 LoRA를 LLM 파인튜닝의 정확한 매개변수 메모리를 측정하는 탐침으로 분석했다.
연구진은 손실 감소, 유효 파라미터 수, 시퀀스 길이 사이에 멱법칙 관계가 있음을 발견했다.
또한 greedy decoding에서 원문 그대로의 복원이 가능한지를 예측하는 토큰 단위 임계값을 찾았다.
메모리 보존을 높이기 위해 더 어려운 토큰에 학습을 재배분하는 MemFT도 제안했다.