DeepSeek AI, DeepSeek-V4 공개: 압축 희소 어텐션과 고도 압축 어텐션으로 100만 토큰 컨텍스트 구현
DeepSeek AI Releases DeepSeek-V4: Compressed Sparse Attention and Heavily Compressed Attention Enable One-Million-Token Contexts
TL;DR AI
1분핵심 요약
DeepSeek-AI가 100만 토큰 컨텍스트를 지원하는 DeepSeek-V4-Pro와 DeepSeek-V4-Flash를 미리 공개했다.
이번 모델은 압축/희소 어텐션, 매니폴드 제약 하이퍼커넥션, Muon 최적화, FP4 양자화 인지 학습을 적용했다.
이 기술들은 연산과 메모리를 크게 줄여 100만 토큰 추론을 더 현실적으로 만드는 데 초점을 맞췄다.
공개 체크포인트도 제공돼, 초장문 컨텍스트 LLM을 재현 가능하게 개발할 수 있는 길을 보여준다.