확산 정렬을 위한 스티치드 가치 모델
Stitched Value Model for Diffusion Alignment
TL;DR AI
1분핵심 요약
연구진은 절단된 픽셀 공간 보상 모델을 고정된 확산 백본에 연결하는 스티칭 프레임워크 StitchVM을 제안했다.
이 방법은 Tweedie 근사와 몬테카를로 추정을 활용해, 강력한 사전학습 보상 모델을 잠재 공간에서 그대로 활용할 수 있게 한다.
StitchVM은 적은 추가 학습 비용으로 DPS와 DiffusionNFT 같은 정렬 방법을 더 빠르고 메모리 효율적으로 만든다.
보상 평가를 잠재 영역으로 옮겨 확산 모델 정렬의 비용과 편향을 줄이고, 더 효과적인 제어를 가능하게 한다.
