ByteDance 연구, LMM에 긴 문서 학습에서 텍스트를 받아쓰게 하는 것보다 질문하는 방식이 더 효과적이라고 밝혀
ByteDance study finds that asking LMMs questions beats making it transcribe text for long document training
TL;DR AI
1분핵심 요약
ByteDance Seed와 HKUST는 멀티모달 장문 문서 모델에서 OCR 기반 학습이 오히려 성능을 떨어뜨리고, 질문-답변 학습이 더 효과적이라는 점을 확인했다.
이번 결과는 대용량 문서와 긴 컨텍스트를 다루는 모델을 학습시키는 기존의 통념에 도전한다.
연구진은 Q&A 중심의 학습법으로 MMProLong를 만들었고, 이 모델은 매우 긴 컨텍스트에서도 안정적으로 동작한다.
MMProLong는 장문 문서 과제에서 Qwen2.5-VL, InternVL3-38B, Gemma3-27B 등 더 큰 오픈소스 경쟁 모델들을 앞섰다.