SmartDirector: 키프레임 조건 기반의 서사적 페이싱 제어를 통한 시네마틱 비디오 생성
SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control
TL;DR AI
1분핵심 요약
연구진이 단일 샷, 멀티 샷, 비디오 연장 작업을 지원하는 키프레임 조건형 영상 생성 프레임워크 SmartDirector를 공개했다.
SmartDirector는 2단계 파이프라인을 사용해 Director-Gen이 저해상도 영상을 먼저 만들고, Director-SR이 고해상도 키프레임을 의미적 기준점으로 삼아 이를 정교화한다.
영화 기반 데이터 파이프라인으로 학습을 진행했으며, 보고된 성능에서 기존 방법들을 능가했다.
이 기술은 서사 구조와 타이밍 제어를 개선해, AI 영상 생성을 영화 제작과 장편 스토리텔링에 더 유용하게 만들 수 있다.