확률적 경사 하강법(SGD)의 빈도 편향과 Adam이 이를 해결하는 방법
Stochastic Gradient Descent (SGD’s) Frequency Bias and How Adam Fixes It
TL;DR AI
1분핵심 요약
4자릿수에 걸친 빈도 차이를 가진 토큰으로 선형 모델을 학습하는 NumPy 실험이 진행됐다.
결과적으로 SGD는 자주 등장하는 토큰에 더 많은 학습 진전을 주고, 희귀 토큰은 뒤처지기 쉬웠다.
반면 Adam은 파라미터별 그래디언트 이력을 활용해 드물게 업데이트되는 가중치의 유효 스텝을 키웠다.
이 실험은 적응형 최적화가 언어 모델에서 희귀하지만 중요한 토큰의 학습을 앞당길 수 있음을 보여준다.