OmniVAE: 공동 생성을 위한 교차 모달 정렬을 갖춘 오디오-비디오 VAE

연구진은 오디오-비디오 생성을 위한 변분 오토인코더 OmniVAE를 제안해, 학습 중 공유 의미를 함께 학습하도록 했다.

OmniVAE는 구간 단위 대비 정렬과 사전학습 교사로부터의 모달별 지식 증류를 통해 공통 사건과 세부 정보를 모두 포착한다.

이 통합 잠재공간은 재구성 성능 저하를 거의 내지 않으면서 텍스트-오디오-비디오 생성 품질과 동기화를 개선했다.