SegCompass: 향상된 추론 분할을 위한 희소 오토인코더를 활용한 해석 가능한 정렬 탐구

연구진은 chain-of-thought 추론과 시각 개념을 sparse autoencoder 기반 개념 공간에서 정렬하는 해석 가능한 분할 모델 SegCompass를 소개했다.

이 모델은 텍스트 추론과 이미지 토큰을 공유하는 희소 개념으로 매핑한 뒤, query codebook과 slot mapper로 공간적 heatmap을 생성해 마스크를 디코딩한다.

SegCompass는 강화학습과 분할 감독을 함께 사용해 end-to-end로 학습되며, 추론과 시각 출력의 연결을 더 투명하고 점검 가능하게 만든다.

다섯 개 벤치마크에서 경쟁력 있거나 더 나은 성능을 보였고, 더 잘 학습된 개념일수록 마스크 정확도가 높아지는 경향이 확인됐다.