깊이 외삽, 적응형 계산, 전문가 혼합 라우팅을 적용한 Recurrent-Depth Transformers와 OpenMythos 코딩 튜토리얼
A Coding Tutorial on OpenMythos on Recurrent-Depth Transformers with Depth Extrapolation, Adaptive Computation, and Mixture-of-Experts Routing
TL;DR AI
1분핵심 요약
이 튜토리얼은 Claude Mythos 계열의 recurrent-depth transformer인 OpenMythos를 GQA와 MLA 변형으로 구현하고 평가한다.
KV-cache 메모리 사용량과 반복 안정성을 비교한 뒤, Adam으로 parity 벤치마크를 학습한다.
추론 단계에서는 depth scaling, ACT halting, Mixture-of-Experts 라우팅을 점검해 적응형 계산을 살펴본다.
핵심은 모델 크기를 키우지 않고도 반복적 깊이로 추론력과 효율을 높일 수 있다는 점이다.