트랜스포머 이해하기 17부: 출력 단어 생성하기

Transformer 디코더는 최종 hidden state를 dense layer로 vocabulary 점수로 변환한다.

softmax가 어휘 중 가장 가능성 높은 출력 단어를 선택한다.

예측된 단어는 다시 디코더에 입력되어 다음 토큰을 생성하는 데 사용된다.

이 과정은 end-of-sequence 토큰이 나올 때까지 반복되어 문장을 완성한다.