균일 확산 모델 재조명: Leave-One-Out Denoiser와 흡수 상태 재정식화

연구진은 균일 이산 확산에서 기존 플러그인 브리지 파라미터화와 표준 디노이징 목적함수 사이에 불일치가 있음을 확인했다.

이를 해결하기 위해 디노이저, 후방분포, 스코어에 대한 leave-one-out 변환을 도출했고, 더 나은 샘플러와 온도 스케일링으로 추론 성능을 높였다.

또한 동일한 결합분포를 유지하면서 샘플링을 마스크드 디퓨전처럼 보이게 하는 흡수 상태(absorbing-state) 재정식화를 제안했다.

그 결과, 확산 마진널은 그대로 두면서도 언어 모델링 성능이 향상됐다.