NVIDIA, 모든 PyTorch 모델에 대해 가장 빠른 추론 백엔드를 자동으로 찾아주는 오픈소스 추론 툴킷 AITune 공개
NVIDIA Releases AITune: An Open-Source Inference Toolkit That Automatically Finds the Fastest Inference Backend for Any PyTorch Model
TL;DR AI
1분핵심 요약
NVIDIA가 NVIDIA GPU에서 PyTorch 추론을 최적화하는 Apache 2.0 Python 툴킷 AITune을 오픈소스로 공개했다.
AITune은 TensorRT, Torch-TensorRT, TorchAO, Torch Inductor 등 여러 백엔드를 대상으로 벤치마킹하고 튜닝한다.
사전(AOT) 및 즉시(JIT) 워크플로를 모두 지원하며, 출력 정확성을 검증한 뒤 가장 빠른 설정을 재사용 가능한 아티팩트로 저장한다.
백엔드 선택과 성능 테스트를 자동화해 배포 과정의 수작업을 줄이고, 프로덕션 추론 효율을 높이는 데 도움을 준다.