GOTS: 고해상도 비전-언어 모델을 위한 탐욕적 직교 토큰 선택
GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models
TL;DR AI
1분핵심 요약
연구진은 고해상도 비전-언어 모델에서 시각 토큰 수를 줄이는 학습 없는 방법 GOTS를 제안했다.
GOTS는 이미 선택된 토큰 집합에 대해 직교 잔차 에너지가 가장 큰 토큰을 greedy하게 고르는 방식이다.
Qwen-VL, InternVL 등 여러 백본과 벤치마크에서 강한 성능을 보였고, OCRBench에서는 선택 오버헤드를 포함해도 첫 토큰 생성 지연이 개선됐다.
이 방법은 추론 비용과 지연을 줄이면서도 기존 토큰 프루닝 기법보다 성능 손실을 더 잘 억제한다.