실무에서 무너지는 LoRA의 가정
The LoRA Assumption That Breaks in Production
TL;DR AI
1분핵심 요약
표준 LoRA는 저랭크 스타일 적응에는 효과적이지만, 분산된 사실성 업데이트를 학습하는 데는 한계가 있다.
랭크가 커질수록 기존의 1/r 스케일링은 학습 신호를 약화시켜 고랭크 미세조정을 불안정하게 만들 수 있다.
RS-LoRA는 1/√r 스케일링을 사용해 높은 랭크에서도 업데이트 강도를 더 잘 유지한다.
그 결과 대규모 모델의 복잡한 사실 변경에 더 안정적이고 신뢰할 수 있는 미세조정 방법이 된다.