주제 기반 생성을 위해 멀티모달 대규모 언어 모델의 성능을 최대한 끌어내기

연구진은 멀티모달 대규모 언어 모델과 정체성 조건을 결합한 주체 중심 이미지 생성 기법을 제안했다.

이 방법은 텍스트-이미지 공동 인코더, VAE 기반 정체성 단서, Dual Layer Aggregation, 단계적 디노이징을 활용한다.

이러한 설계는 복사-붙여넣기형 아티팩트를 줄이고 프롬프트 준수와 대상 정체성 보존을 모두 개선한다.

이를 통해 사람·물체 등 특정 대상을 더 안정적으로 유지하는 맞춤형 이미지 생성이 가능해질 수 있다.