Orthrus-Qwen3: Qwen3에서 최대 7.8배의 토큰/포워드, 동일한 출력 분포 | Hacker News

Orthrus-Qwen3는 여러 토큰을 병렬로 예측한 뒤 검증해 Qwen3 추론 속도를 높이는 방법이다.

이 방식은 출력 분포를 그대로 유지하면서 한 번의 forward pass당 최대 7.8배 더 많은 토큰을 생성한다고 보고했다.

GPU 메모리 대역폭과 지연시간이 병목인 환경에서 로컬 LLM 추론을 크게 빠르게 할 수 있다.

모델 동작은 바꾸지 않으면서 처리량만 높이는 speculative decoding 계열의 접근이다.