맞춤형 멀티모달 역할극을 향하여

연구진은 텍스트와 이미지에서 모두 일관된 AI 캐릭터를 만들기 위한 새로운 과제인 Customized Multimodal Role-Play를 제안했다.

또한 few-shot 캐릭터 커스터마이징과 크로스모달 정렬을 위해 20개 캐릭터로 구성된 RoleScape-20 데이터셋을 공개했다.

제안된 UniCharacter 프레임워크는 두 단계 학습으로 제한된 예시만으로도 페르소나, 스타일, 시각적 정체성을 학습한다.

UniCharacter는 벤치마크에서 기존 방법을 능가하며, 멀티모달 역할극 에이전트의 일관성과 몰입감을 높인다.