토큰화 드리프트란 무엇이며 어떻게 해결할까?

이 글은 토크나이제이션 드리프트, 즉 프롬프트의 아주 작은 형식 차이만으로 토큰 ID와 입력이 달라질 수 있는 현상을 설명한다.

GPT-2 토크나이저 예시를 통해, 앞에 공백이 붙은 단어가 공백이 없는 같은 단어와 전혀 다른 토큰 시퀀스로 분해될 수 있음을 보여준다.

이 드리프트는 시퀀스 길이와 모델 동작을 바꿔 출력 안정성을 떨어뜨리고 프롬프트 신뢰성을 관리하기 어렵게 만든다.

또한 드리프트를 측정하고 프롬프트 최적화 루프로 입력을 일관되게 유지하는 방법도 소개한다.