테스트 타임 트레이닝으로 비전 트랜스포머 선형화하기

연구진은 사전학습된 Vision Transformer를 소프트맥스 어텐션에서 선형 복잡도의 테스트타임 트레이닝 모델로 바꾸는 방법을 제안했다.

이 방식은 아키텍처와 표현을 함께 정렬하고, key instance normalization과 locality 모듈을 더해 제한된 추가 학습만으로 가중치를 이식한다.

Stable Diffusion 3.5에서는 미세조정된 SD3.5-T^5가 품질을 유지하면서 더 빠르게 동작해 H20 GPU에서 추론 비용을 줄였다.