LatentUMM: 통합 멀티모달 모델을 위한 이중 잠재 정렬

연구진이 통합 멀티모달 모델의 일관성을 높이기 위한 새로운 프레임워크 LatentUMM을 제안했다.

LatentUMM은 이중 잠재 정렬과 잠재 동역학 안정화를 통해 모달리티 간 인코딩·디코딩 경로를 더 잘 맞춘다.

이 방법은 의미 왜곡을 줄이고 실험에서 크로스모달 일관성을 향상시켰다.

이번 연구는 이해와 생성을 오갈 때 출력이 불안정해지는 멀티모달 AI의 핵심 약점을 겨냥한다.