Tilde Research, 무온의 숨겨진 뉴런 소멸 문제를 해결하는 레버리지 인식 최적화기 ‘Aurora’ 공개

Tilde Research가 Aurora를 공개했습니다. 이 옵티마이저는 큰 MLP 가중치 행렬에서 일부 뉴런이 영구적으로 비활성화될 수 있는 Muon의 문제를 해결합니다.

Aurora는 NorMuon과 U-NorMuon의 아이디어를 바탕으로, 직교 업데이트를 유지하면서 leverage-aware 정규화로 뉴런 죽음을 줄이도록 설계됐습니다.

연구팀은 11억 파라미터 사전학습 실험과 modded-nanoGPT speedrun 벤치마크에서의 새로운 최고 성능을 보고했습니다.

Aurora 코드도 공개됐으며, 대규모 모델 학습의 안정성과 효율성을 높이는 데 목적이 있습니다.