Groq의 추론 칩, 비용은 NVIDIA Blackwell의 5배 절감하고 속도는 2배 빠르다
Groq’s Inference Chips Are Beating NVIDIA’s Blackwell by 5x on Cost – And Doing It Twice as Fast
TL;DR AI
1분핵심 요약
Nebius 전문가에 따르면 기업 AI 수요의 중심은 이제 학습보다 추론으로 이동하고 있다.
구매자들은 GPU 시간당 가격보다 처리한 100만 토큰당 비용으로 칩을 비교하는 추세다.
이 기준에서 Groq는 100만 토큰당 약 0.05~0.10달러, 초당 약 800토큰으로 추정된다.
NVIDIA Blackwell은 100만 토큰당 약 0.25달러, 초당 약 450토큰 수준으로 평가돼 대규모 추론에서는 Groq가 더 저렴하고 빠른 것으로 보인다.
이러한 변화는 특화 추론 칩의 채택을 늘리고 NVIDIA의 AI 인프라 지배력에 압박을 줄 수 있다.
같은 주제
