키메라: 하이브리드 비주얼 확산 트랜스포머의 설계와 치inchilla 스케일링
Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers
TL;DR AI
1분핵심 요약
연구진이 텍스트·이미지·비디오 토큰을 모두 다루는 하이브리드 확산 백본 Chimera를 공개했다.
Chimera는 KDA, MLA, 짧은 컨볼루션, 희소 MoE를 결합해 긴 문맥 생성의 계산 효율을 높였다.
또한 HeteroP라는 스케일링 방법으로 너비와 깊이를 조정해 11B 파라미터, 20억 활성 파라미터 모델을 훈련했다.
실험에서 전체 어텐션 기반 대비 더 효율적이었고, 제로샷 비디오 길이 외삽 성능도 강했다.