바이트 수준 시뮬레이션을 통한 언어 모델 훈련에서 서브워드 토큰화의 이점 분리

연구진은 바이트 수준의 통제된 사전학습 실험으로 서브워드 토큰화가 LLM에 왜 유리한지 분리해 분석했다.

핵심 요인은 두 가지로, 더 빠른 학습 처리량과 서브워드 경계가 주는 유용한 사전 편향이었다.

즉, 토큰화의 이점은 텍스트 압축뿐 아니라 모델의 유도 편향을 형성하는 데도 있다.

이번 결과는 향후 대규모 언어모델의 토크나이저와 사전학습 설계를 더 잘 설계하는 데 도움을 줄 수 있다.