좋은 토큰 찾기: 시각 기하학 트랜스포머를 위한 토큰 선택 안내서

연구진은 visual geometry transformers의 global attention 비용을 줄이기 위한 2단계 token selection 방법을 제안했다.

먼저 다양하고 정보량이 높은 frame을 고르고, 그다음 layer-aware sparsification으로 해당 frame 안의 중복 token을 제거한다.

attention entropy를 활용해 중요한 정보는 유지하면서 불필요한 token을 효율적으로 줄인다.

대규모 장면에서 85% 이상의 속도 향상을 보였고, 3D reconstruction 성능은 유지하거나 개선했다.