Mellum2 기술 보고서

JetBrains가 소프트웨어 엔지니어링 작업을 위해 설계한 120억 파라미터 규모의 오픈웨이트 MoE 모델 Mellum 2를 공개했다.

이 모델은 코드 생성, 편집, 디버깅, 추론, 도구 사용, 대화형 코딩 지원을 목표로 한다.

Grouped-query attention, sliding window attention, multi-token prediction 같은 효율화 기법을 사용하며, 토큰당 활성 파라미터는 25억 개다.

약 10.6조 토큰으로 학습됐고 128K 컨텍스트로 확장됐으며, base/instruct/thinking 체크포인트가 Apache 2.0으로 공개됐다.