Meet OpenMythos: 7억 7천만 개 파라미터로 13억 개 Transformer와 맞먹는 Claude Mythos의 오픈소스 PyTorch 재구현
Meet OpenMythos: An Open-Source PyTorch Reconstruction of Claude Mythos Where 770M Parameters Match a 1.3B Transformer
TL;DR AI
1분핵심 요약
OpenMythos는 Claude Mythos가 반복 깊이(recurrent-depth) 트랜스포머 구조를 쓸 수 있다고 제안하는 오픈소스 PyTorch 프로젝트다.
가설된 구조는 Prelude, 루프형 recurrent block, Coda로 구성되며, MoE 라우팅과 multi-latent attention을 결합한다.
이 프로젝트는 모델이 중간 텍스트를 순차 생성하기보다 연속적인 잠재 공간에서 추론한다고 본다.
사실이라면, 반복적 계산만으로도 파라미터를 크게 늘리지 않고 추론 효율과 성능을 높일 수 있음을 시사한다.