이방성 모달리티 정렬

연구진은 짝이 없는 멀티모달 정렬을 위한 기하학적 보정 기법 AnisoAlign를 제안했다.

이 논문은 모달리티 간 차이가 단순한 분포 이동보다 비등방성 잔차 방향에서 비롯된다고 본다.

AnisoAlign는 의미는 유지하면서 소스 표현을 타깃 모달리티 쪽으로 보정한다.

이를 통해 모달리티 불일치를 공유 표현 공간에서 해결 가능한 구조적 문제로 재정의한다.

이 방법은 멀티모달 대규모 언어모델 학습에서 대규모 짝 데이터 의존을 줄일 수 있다.