DFSAttn: 효율적인 비디오 생성을 위한 동적 세밀 희소 어텐션

연구진은 비디오 생성용 diffusion transformer에서 사용하는 학습 없는 sparse attention 기법 DFSAttn을 제안했다.

DFSAttn은 토큰 재정렬, 계층적 블록 스코어링, sparse mask 캐싱을 결합해 적응형의 세밀한 희소성을 구현한다.

이 방법은 전체 시공간 attention의 높은 연산 비용을 줄여 최대 2.1배의 end-to-end 속도를 낸다.

또한 높은 희소성 조건에서도 기존 sparse-attention 방식보다 품질을 유지하거나 더 높였다.