기하학적 보완성을 넘어서: 희소 Mixture-of-Experts 라우팅에서의 일관된 오버랩

새 연구는 희소 Mixture-of-Experts(MoE) 언어모델에서 토큰이 겹치는 표현을 가진 전문가로 라우팅되는 경우가 많다는 점을 확인했다.

연구진은 라우팅 일관성, 전문가 품질, 토큰-문맥 효과를 분리해 측정했고, 단순한 기하학적 유사성만으로 중복이나 프루닝 가능성을 판단할 수 없다고 봤다.

OLMoE, Mixtral, DeepSeek 등 여러 아키텍처에서 전문가 하위공간의 겹침은 컸지만, 선택된 전문가가 대체 전문가보다 토큰 표현을 더 잘 설명했다.

특히 뒤쪽 전문가가 다음 토큰 예측을 더 개선하는 경향이 있었고, 통제 실험에서는 Top-2 학습이 Top-1보다 더 좋은 성능을 보였다.