효율적인 테스트 타임 스케일링을 위한 Prefix Sliding

연구진은 추론 과정에서 고정된 접두사와 최근 문맥은 유지하고 오래된 추론 토큰은 버리는 Prefix Sliding을 제안했다.

이 방법은 재학습 없이도 메모리 사용량을 줄이고 장기 추론 작업에서 기존 언어 모델을 약 3배 빠르게 만들 수 있다.

강화학습과 결합하면 더 긴 추론 궤적을 더 낮은 테스트 시점 비용으로 지원할 수 있다.