AMD AI 칩으로 개발된 확산 언어 모델 ‘ZAYA1-8B-Diffusion-Preview’ 등장, 자기회귀 모델을 확산 모델로 변환

Zyphra가 AMD 하드웨어에서 학습한 첫 디퓨전 언어 모델인 ZAYA1-8B-Diffusion-Preview를 공개했다.

이 모델은 사전학습된 ZAYA1-8B 자기회귀 LLM을 변환해 만들었으며, LLM을 디퓨전 기반 생성으로 전환하는 현실적인 경로를 보여준다.

Zyphra는 프리뷰 모델이 벤치마크 품질을 대체로 유지하면서 디코딩 속도를 4.6배에서 7.7배까지 높였다고 밝혔다.

이번 사례는 언어 생성의 추론 병목, 특히 메모리 대역폭 한계를 줄일 수 있는 가능성을 보여준다.