Flash EQ-Linear: 군별 이산 푸리에 변환을 통한 등변 선형 계층 가속화

연구진은 그룹별 푸리에 기법과 CUDA 기반 커널로 정확한 출력을 유지하면서 equivariant 선형층을 빠르게 만드는 Flash EQ-Linear을 제안했다.

이 방식은 equivariant 연산을 circular convolution과 채널 변환으로 다시 표현해, 실측 DFT와 맞춤형 커널로 효율적인 가속을 가능하게 한다.

단일 레이어뿐 아니라 Flash EQ-ViT, Flash EQ-Swin 같은 전체 모델에서도 눈에 띄는 추론 속도 향상을 보였다.

이번 연구는 equivariant 비전 모델이 파라미터 효율성뿐 아니라 실제 연산 효율성도 높일 수 있어, 더 실용적이고 경쟁력 있게 만들 수 있음을 보여준다.