Lumos-Nexus: 비디오 통합 모델을 위한 균질 잠재 공간을 활용한 효율적 주파수 브리징

연구진은 지시문을 따르는 비디오 생성을 위한 2단계 통합 비디오 생성 프레임워크 Lumos-Nexus를 제안했다.

학습 단계에서는 경량 생성기를 효율적으로 훈련하고, 추론 단계에서는 Unified Progressive Frequency Bridging으로 공유 잠재공간에서 더 강력한 사전학습 생성기로 전환한다.

이 방식은 현실감과 시간적 일관성을 높였고, VBench에서 성능 향상이 보고됐다.

또한 추론과 비디오의 정합성을 평가하는 VR-Bench를 공개해, 추론 기반 비디오 합성의 기준을 제시했다.