확산 모델에서 노출 편향을 줄이기 위한 스펙트럴 사전 지식

연구진은 확산 모델 샘플링에서 학습과 추론 사이에 주파수 의존적 불일치가 있어 exposure bias와 오차 누적이 발생한다는 점을 확인했다.

이를 해결하기 위해 Spectral Alignment라는 경량 추론 시점 기법을 제안했으며, 중간 예측 스펙트럼을 학습된 spectral prior에 맞춘다.

이 방법은 오프라인으로 스펙트럼을 적합한 뒤 샘플링 중 FFT 기반 가이던스를 사용하며, 추가 오버헤드는 매우 작다.

DDPM, ADM, SD2.0, SDXL, SD3.5, FLUX 등 여러 확산·flow-matching 모델에서 성능을 개선했다.