NTT, LLM 간 ‘어휘의 벽’ 극복… 이종 LLM 연동 가능하게

NTT가 대규모 언어모델(LLM) 간 토큰 어휘 차이를 흡수하는 새로운 추론 기술을 개발했다.

정확도를 떨어뜨리지 않으면서 토큰 어휘를 축소하고, 서로 다른 모델도 공통 어휘로 결과를 다룰 수 있게 했다.

이를 통해 모델 간 연계, 지식 통합, 지식 전이, 앙상블 활용의 가능성이 넓어질 전망이다.