InstructAV2AV: 지시 기반 오디오-비디오 공동 편집

연구진은 지시문 기반 오디오-비디오 공동 편집을 위한 최초의 엔드투엔드 시스템 InstructAV2AV를 제안했다.

또한 학습과 평가를 위한 대규모 소스-타깃 오디오·비디오 쌍 데이터셋 InsAVE-80K를 구축했다.

이 방법은 오디오와 영상의 정렬을 더 잘 맞추면서 원본 콘텐츠 보존도 향상한다.

여러 벤치마크에서 기존 방법보다 우수한 성능을 보여, 현실적이고 제어 가능한 미디어 편집의 큰 공백을 메운다.