베르니니: 비디오 확산을 위한 잠재 의미 계획

연구진은 비디오 생성과 편집을 하나로 묶은 통합 프레임워크 Bernini를 공개했다.

MLLM이 영상의 고수준 의미를 먼저 계획하고, 확산 렌더러가 이를 프레임으로 합성한다.

두 구성요소를 대부분 분리해 학습할 수 있어 효율성과 모듈성이 높아진다.

세그먼트 인식 3D 위치 인코딩이 비디오 구조를 더 잘 다루도록 돕는다.

Bernini는 여러 비디오 생성·편집 벤치마크에서 최고 수준의 성능을 보였다.