DynMuon: 뮤온에 대한 동적 스펙트럼 셰이핑 관점

연구진은 학습 중 스펙트럼 강조를 동적으로 바꾸는 Muon 변형 기법 DynMuon을 제안했다.

DynMuon은 곡률, 확률적 노이즈, 학습 단계에 따라 업데이트 지수를 양수에서 약한 음수로 조절한다.

실험에서 DynMuon은 Muon보다 더 낮은 검증 손실에 도달하며 학습 단계를 10.6%~26.5% 줄였다.

이는 적응형 스펙트럴 셰이핑이 수렴을 개선하고 학습 효율을 높일 수 있음을 보여준다.