네오사피엔스의 AWS g6e 기반 LLM 추론 배치 워크로드 최적화 사례
Case Study on Optimizing AWS g6e-Based LLM Inference Batch Workloads of Neosapiens
TL;DR AI
1분핵심 요약
네오사피엔스는 AI 음성 합성 및 언어 지능 기술을 기반으로 타입캐스트라는 AI 연기자 서비스를 운영하고 있습니다.
2017년 설립 이후 딥러닝 기반의 감정 표현 및 다국어 TTS 기술을 연구해 왔습니다.
이 글은 Amazon EC2 인스턴스에서 경량 LLM 추론 최적화에 대해 처리량과 지연 시간에 초점을 맞추어 분석합니다.
g6e(L40S)와 INT8 조합이 운영 조건에서 가장 균형 잡힌 선택이라는 결과를 도출했습니다.
네오사피엔스는 진화하는 AI 제품 트렌드에 비추어 최적의 인스턴스-정밀도 조합을 지속적으로 조정해 나갈 계획입니다.