클라우드 환경에서의 비디오 인텔리전스 구현: TwelveLabs로 시작하는 AI 영상 분석 4부 – TwelveLabs Marengo 3.0 임베딩 및 검색 전략과 구현 가이드 | Amazon Web Services
Implementing Video Intelligence in the Cloud: AI Video Analysis with TwelveLabs Part 4 – TwelveLabs Marengo 3.0 Embedding and Retrieval Strategies and Implementation Guide | Amazon Web Services
핵심 요약
Marengo 3.0은 모든 모달리티를 하나의 통합 벡터 공간으로 변환해 any-to-any 검색을 가능하게 합니다.
임베딩/검색 전략 3가지: Fused Embeddings, Multi-Vector Retrieval(Score-based, RRF), Intent based routing.
Fused Embeddings는 세 모달리티 임베딩을 세그먼트별로 합산·정규화해 하나의 인덱스로 통합하며, 기본 가중치는 Visual 0.8·Audio 0.1·Transcription 0.05입니다; 가중치 변경 시 영상 재처리 필요하고 고정 가중치는 쿼리 의도를 반영하지 못해 디버깅이 어렵습니다.
Marengo는 클립당 visual·audio·transcription의 독립된 임베딩을 반환하며, Multi-Vector 방식은 원본 벡터를 별도 인덱스에 보존해 가중치 재적용, 가역성, 디버깅 용이성, 유연성을 제공합니다.
Score-based Fusion은 모달리티별 코사인 유사도에 가중치를 곱해 합산하고 RRF도 언급되며, 모달리티 가중치 부여, 멀티벡터 반환 전략, 전략적 라우팅, 랭킹·스코어 보정 등의 과제가 존재합니다.