AntAngelMed 만나보기: 1/32 활성화 비율 MoE 아키텍처로 구축된 103B 파라미터 오픈소스 의료 언어 모델
Meet AntAngelMed: A 103B-Parameter Open-Source Medical Language Model Built on a 1/32 Activation-Ratio MoE Architecture
TL;DR AI
1분핵심 요약
중국 연구진이 총 1030억 개 파라미터와 1/32 MoE 활성화 비율을 가진 오픈소스 의료 언어모델 AntAngelMed를 공개했다.
이 모델은 의료 데이터 학습, 지시문 튜닝, 강화학습을 단계적으로 거쳐 임상 추론과 작업 성능을 높였다.
대규모 용량과 낮은 활성 연산을 결합해 긴 문맥 처리와 더 빠른 추론을 구현하도록 설계됐다.
FP8 양자화, 추측 디코딩, YaRN, EAGLE3 등 최적화를 통해 H20 하드웨어에서의 효율도 강조했다.