EAGLE 3.1 소개: LLM 추론의 어텐션 드리프트를 해결하는 추측 디코딩 알고리즘
Meet EAGLE 3.1: The Speculative Decoding Algorithm That Fixes Attention Drift in LLM Inference
TL;DR AI
1분핵심 요약
EAGLE 팀이 주의 분산(attention drift)을 줄이는 데 초점을 맞춘 EAGLE 3.1을 공개했습니다.
이번 업데이트는 FC 정규화와 post-norm hidden-state 피드백을 추가해 다양한 프롬프트와 긴 컨텍스트에서의 견고성을 높였습니다.
EAGLE 3 체크포인트와의 하위 호환성을 유지하며 TorchSpec, vLLM과도 통합됩니다.
결과적으로 EAGLE 3.1은 실제 LLM 서빙과 추론 환경에서 더 안정적이고 신뢰할 수 있는 동작을 목표로 합니다.