최적화기 설계를 위한 대칭성 호환 원리: 임베딩, LM 헤드, SwiGLU MLP, MoE 라우터
Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers
TL;DR AI
1분핵심 요약
연구진은 각 파라미터 블록의 대칭성을 반영해 업데이트가 공변하도록 만드는 symmetry-compatible optimizer를 제안했다.
이 방법은 행렬층을 넘어 임베딩, LM 헤드, SwiGLU 투영층, MoE 라우터까지 확장됐다.
사전학습 실험에서 AdamW보다 검증 손실이 더 낮았고, 일부 경우에는 학습 안정성도 개선됐다.
Qwen3-0.6B, Gemma 3 1B, OLMoE-1B-7B, gpt-oss 등에서 결과가 보고돼, 밀집형·희소형 언어모델 모두에 적용 가능성을 보였다.