Mix-Quant: 에이전트형 LLM을 위한 양자화된 Prefilling, 정밀한 디코딩

Mix-Quant는 에이전틱 LLM 추론을 위한 단계 인식형 양자화 기법을 제안한다.

계산량이 큰 prefilling 단계는 NVFP4로 양자화하고, decoding은 BF16으로 유지한다.

실험 결과 prefilling은 더 강한 양자화를 적용해도 정확도 손실이 크지 않았다.

이 방식은 긴 문맥과 다단계 AI 에이전트의 지연 시간을 줄이고 하드웨어 효율을 높인다.