Lance: 다중 작업 시너지를 통한 통합 멀티모달 모델링

연구진은 이미지와 비디오의 이해, 생성, 편집을 멀티태스크 학습으로 처리하는 경량 통합 멀티모달 모델 Lance를 소개했다.

Lance는 듀얼 스트림 Mixture-of-Experts 구조, 단계적 멀티태스크 학습, 모달리티 인지 위치 인코딩으로 처음부터 학습됐다.

논문은 Lance가 오픈소스 환경에서 이미지·비디오 생성 성능을 높이면서도 강한 멀티모달 이해 능력을 유지했다고 보고한다.

이 모델은 더 큰 모델에만 의존하지 않고 이미지와 비디오 전반의 이해와 생성을 통합하는 실용적 경로를 제시한다.