Archon: 총체적 디지털 휴먼 생성을 위한 통합 멀티모달 모델

연구진은 디지털 휴먼 생성을 통합하는 사전학습 인간 중심 멀티모달 모델 Archon을 제안했다.

Archon은 모달리티별 토크나이저와 동기화된 데이터 기반의 자기회귀 학습으로 7개 모달리티를 결합한다.

또한 메모리 효율적인 비디오 압축·디코딩과 모달리티 기반 단계적 추론을 도입했다.

이 접근은 아바타와 대화형 영상의 사실감, 일관성, 제어 가능성을 높이는 것을 목표로 한다.