이 PCIe AI 가속기 카드는 384GB 메모리로 700B LLM을 로컬에서 구동하며, 소비 전력은 240W에 불과해 RTX PRO 6000 Blackwell의 절반도 되지 않는다
This PCIe AI Accelerator Card Can Run 700B LLMs Locally With 384 GB Memory at Just 240W, Less Than Half the Power of RTX PRO 6000 Blackwell
TL;DR AI
1분핵심 요약
스카이미저는 HyperThought 플랫폼 기반의 PCIe AI 가속기 HTX301을 공개하며, 온프레미스 LLM 추론용 제품이라고 소개했다.
회사 측은 이 카드가 일반 DRAM으로 최대 700B 파라미터 모델을 구동할 수 있고, 메모리는 최대 384GB, 전력은 240W라고 밝혔다.
주장대로라면 기업은 GPU 클러스터나 클라우드에 의존하지 않고, 단일 로컬 서버에서 초대형 모델을 돌릴 수 있다.
스카이미저는 Computex에서 이 제품을 NVIDIA RTX PRO 6000 Blackwell, AMD Instinct MI350P와 함께 선보였다.
같은 주제
