IndicTalk: 인도어를 위한 대규모 페르소나 기반 다국어 대화 코퍼스

연구진이 9개 인도계 언어, 18개 변이에서 130만 건이 넘는 다중 턴 대화 코퍼스 IndicTalk를 공개했다.

이 데이터셋은 뉴스 기반 사건, 페르소나 설정, 다국어 LLM 생성과 품질 검사를 거쳐 전 과정이 자동으로 구축됐다.

특히 자연스러운 코드믹스 대화를 포함해, 자원 부족 인도계 언어의 대화형 AI 학습·평가에 유용한 대규모 검증 데이터다.

데이터셋은 Hugging Face를 통해 제공되며, LingoIITGN이 관련 작업에 참여했다.