LionMuon: 효율적인 학습을 위한 교대 스펙트럼 및 부호 하강
LionMuon: Alternating Spectral and Sign Descent for Efficient Training
TL;DR AI
1분핵심 요약
연구진은 고정된 주기로 Lion과 Muon 업데이트를 번갈아 적용하는 새로운 최적화기 LionMuon을 제안했다.
공유 모멘텀을 사용해 사인 기반 업데이트와 스펙트럴 matrix-sign 업데이트를 결합함으로써 평균 연산 비용과 메모리를 줄였다.
실험에서는 여러 모델 크기와 데이터셋에서 AdamW, Lion, Signum, Muon 같은 강력한 기준선보다 같거나 더 좋은 성능을 보였다.
또한 heavy-tailed noise 조건에서 이 교대 방식이 언제 이론적으로 최적인지에 대한 복잡도 보장도 제시했다.
같은 주제
