3장: 토크나이저 - 텍스트를 숫자로, 그리고 다시
Chapter 3: The Tokenizer - Text to Numbers and Back
TL;DR AI
1분핵심 요약
이 장에서는 문자 단위 토크나이저를 만들어 텍스트를 정수 ID로 변환하는 방법을 다룹니다.
학습 문서에서 문자 어휘를 구축하고, 각 문자에 고유 ID를 부여한 뒤 BOS 토큰을 추가합니다.
인코딩과 디코딩 기능을 지원해 텍스트와 숫자 시퀀스 간의 왕복 변환을 확인합니다.
MicroGPT의 Chapter3Exercise와 Program.cs에서는 input.txt를 읽어 샘플 이름 ‘emma’로 매핑이 올바른지 검증합니다.
같은 주제
