HorizonStream: 스트리밍 3D 재구성을 위한 장기 의존 어텐션

연구진은 스트리밍 3D 재구성을 위한 Transformer 기반 HorizonStream을 제안했다. 장거리·단거리 주의를 분리해 처리한다.

Geometric Linear Attention, Geometric Local Attention, Metric Readout Tokens를 활용해 장면 기하 정보를 효율적으로 전파한다.

짧은 클립으로 학습했지만 1만 프레임이 넘는 긴 시퀀스까지 일반화하며, 메모리는 일정하고 실행 시간은 선형으로 유지된다.

이 방식은 온라인 재구성의 드리프트와 불안정을 줄여, 스트리밍 3D 재구성에서 최고 수준의 성능을 달성했다.