Speculative Decoding의 손실 있는 검증 재조명: 메커니즘, 트레이드오프, 그리고 실패 모드

연구진은 대규모 언어모델의 speculative decoding에서 손실 허용 검증(lossy verification)을 분석해, 많은 기법이 truncation 기반 또는 협업형 검증으로 나뉜다고 정리했다.

분석 결과, 분포 왜곡(distributional distortion)이 커지면 출력 품질이 떨어질 수 있으며, 특히 true truncation sampling과 어긋나는 truncation 방식에서 문제가 두드러졌다.

협업형 검증에서는 draft 모델의 확률이 target 모델의 확률을 과도하게 넘는 경우 생성 품질 저하가 발생할 수 있음을 확인했다.

이번 결과는 더 빠른 디코딩의 효율 이득이 언제 품질 저하 위험을 감수할 만큼 가치 있는지 판단하는 데 실질적인 기준을 제공한다.