추측 디코딩에서의 손실 허용 검증 재고: 메커니즘, 트레이드오프, 실패 모드

연구진은 speculative decoding에서 쓰이는 lossy verification을 분석하고, 기존 방법을 truncation 기반과 협업형으로 나눠 정리했다.

일부 검증 방식은 추론 속도만 높이는 것이 아니라 디코딩 분포 자체를 바꿀 수 있는 것으로 나타났다.

이런 왜곡은 대규모 언어 모델의 출력 품질을 떨어뜨리고 샘플링 동작을 바꿀 수 있다.

이 논문은 lossy verification이 언제 유효하고, 언제 생성 신뢰성을 크게 해칠 수 있는지 설명한다.