MiniMax, 새로운 스파스 어텐션 메커니즘 적용한 M3 모델 예고… 장문 컨텍스트 응답 속도 15.6배 향상

MiniMax가 M2 언어 모델의 기술 보고서를 공개해 아키텍처와 효율화 기법을 상세히 설명했다.

또한 M3라는 새 모델 시리즈를 예고했으며, 커스텀 sparse attention 프레임워크를 핵심으로 삼았다.

MiniMax는 이 설계가 백만 토큰급 장문 컨텍스트 디코딩을 최대 15.6배까지 빠르게 할 수 있다고 밝혔다.

이 접근이 검증되면 초장문 컨텍스트 AI를 더 저렴하고 빠르게 배포하는 데 도움이 될 수 있다.