SteerSeg: 추론용 비디오 분할을 위한 어텐션 스티어링

연구진은 텍스트 기반 비디오 세그멘테이션을 위한 경량 기법 SteerSeg를 제안했다.

SteerSeg는 학습 가능한 소프트 프롬프트와 Chain-of-Thought 유도 방식으로 고정된 비전-언어 모델의 어텐션을 조정한다.

이 모델은 어텐션 맵을 분할 단서로 바꾸고 후보 트랙릿을 순위화해 더 정확한 grounding을 수행한다.

대형 모델을 다시 학습하지 않고도 성능을 높이며, 학습 데이터 밖에서도 잘 일반화한다.