잠깐의 멈춤에 주목: LLM을 활용한 다국어 음성 교정을 위한 비유창성 인식 목적 함수 튜닝

연구진은 토큰 단위 불완전 발화 태그와 instruction-tuned LLM을 활용해 ASR 전사문을 정리하는 다국어 디스플루언시 인지 파이프라인을 제안했다.

먼저 시퀀스 태거가 filler와 false start를 표시하고, 이를 바탕으로 LLM이 더 자연스럽게 문장을 다시 쓴다.

또한 대비 학습을 적용해 불필요한 반복과 불완전 발화 복제를 줄이고 품질을 높였다.

이 방법은 힌디어, 벵골어, 마라티어에서 강한 기준선보다 좋은 성능을 보였고, 음성 비서·챗봇 등 후속 응용에 유용하다.