Perplexity AI, Hugging Face tokenizers Crate보다 p50 지연 시간을 5배 낮춘 Unigram 토크나이저 오픈소스 공개
Perplexity AI Open-Sources Unigram Tokenizer That Achieves 5x Lower p50 Latency Than Hugging Face tokenizers Crate
TL;DR AI
1분핵심 요약
Perplexity AI가 Unigram 토크나이저를 Rust로 재구현해 pplx-garden 저장소에 오픈소스로 공개했다.
회사 측은 운영 환경의 일반적인 길이에서 Hugging Face 토크나이저보다 p50 지연 시간이 약 5배 낮다고 밝혔다.
또한 CPU 사용량이 더 적고, 안정 상태에서 힙 할당이 발생하지 않아 추론 파이프라인 효율이 높다.
토크나이징은 소형 LLM 시스템과 프로덕션 배포에서 CPU 병목이 될 수 있어, 이번 개선은 비용과 지연 시간 절감에 중요하다.