DealMaTe: 확산 트랜스포머를 통한 다차원 물질 전이

연구진은 텍스트 가이드나 참조 네트워크 대신 깊이, 노멀, 조명 입력을 사용하는 디퓨전-트랜스포머 기반 재질 전이 프레임워크 DealMaTe를 제안했다.

이 방법은 경량 Multi-Dim 3D Shader LoRA와 Shader Causal Mutual Attention, KV 캐싱으로 다차원 3D 정보를 주입하고 어텐션을 최적화한다.

이를 통해 더 낮은 복잡도와 더 빠른 추론으로 고품질 재질 전이를 구현하는 것을 목표로 한다.

DealMaTe는 다양한 객체와 조명 조건에서의 호환성을 높이면서 디퓨전 기반 이미지 편집을 단순화한다.