“기업 GPU 활용률 5% 불과”…엘리스·노타·래블업 등 해법 제시

캐스트 AI 분석 결과, 최적화되지 않은 기업 쿠버네티스 환경에서 GPU 평균 활용률이 약 5%에 그친 것으로 나타났다.

GPU를 많이 확보해도 실제 연산 효율이 낮으면 비용만 커지기 때문에, 인프라 운영 최적화가 AI 경쟁력의 핵심으로 부상했다.

국내 AI 인프라 기업들은 GPU 가상화, 자원 스케줄링, 모델 경량화와 양자화, 추론 최적화로 효율 개선을 제시했다.

통합 모니터링과 옵저버빌리티를 강화해 병목을 줄이고, 기존 GPU 자원을 더 높은 수준으로 활용하자는 흐름이 확산되고 있다.