Liquid AI, LFM2.5-350M 출시: 28조 토큰으로 학습된 확장형 강화학습 적용 3억5천만 파라미터 소형 모델
Liquid AI Released LFM2.5-350M: A Compact 350M Parameter Model Trained on 28T Tokens with Scaled Reinforcement Learning
TL;DR AI
1분핵심 요약
Liquid AI의 LFM2.5-350M은 3억5천만 파라미터 모델입니다.
사전학습에 28조 토큰을 사용했으며 대규모 강화학습으로 훈련되었습니다.
하이브리드 LIV 백본을 사용하며 10개의 Double-Gated LIV Convolution Blocks와 6개의 Grouped Query Attention 블록을 포함합니다.
32k(32,768 토큰) 컨텍스트 창을 지원하며 여러 벤치마크에서 자신보다 두 배 이상 큰 모델들을 능가한다고 주장됩니다.
제시된 벤치마크 점수: IFEval(Instruction Following) 76.96, GPQA Diamond 30.64, MMLU-Pro 20.01.
같은 주제
