ViDS: 3D 얼굴 추적을 사용하는 비디오 확산 셰이더
ViDS: Video Diffusion Shader using 3D Face Tracking
TL;DR AI
1분핵심 요약
ViDS는 참조 이미지로부터 피사체별 3D 얼굴 모델을 복원하고, 영상의 표정·자세를 반영해 초상 애니메이션을 생성하는 새 시스템이다.
밀집한 기하학적 단서를 확산 모델에 함께 제공해, 더 일관되고 생동감 있는 말하는 얼굴 영상을 만든다.
또한 오토리그레시브 샘플링을 도입해 기본 출력 길이를 넘어 더 길게 생성하면서, 클립 간 아티팩트를 줄였다.
핵심은 3D 얼굴 추적을 활용해 얼굴 움직임을 더 정확히 제어하면서도 인물의 정체성과 외형을 안정적으로 유지하는 데 있다.