LiteLLM Agent Platform 소개: 격리된 에이전트 샌드박스와 프로덕션용 지속 세션 관리를 위한 Kubernetes 기반 자체 호스팅 인프라 계층
Meet LiteLLM Agent Platform: A Kubernetes-Based, Self-Hosted Infrastructure Layer for Isolated Agent Sandboxes and Persistent Session Management in Production
TL;DR AI
1분핵심 요약
BerriAI가 AI 에이전트를 운영 환경에서 돌리기 위한 셀프호스트형 TypeScript 스택인 LiteLLM Agent Platform을 오픈소스로 공개했다.
이 플랫폼은 Kubernetes 샌드박스, 웹 대시보드, 워커 프로세스, Postgres를 결합해 에이전트 세션과 격리된 실행 환경을 관리한다.
또한 kind와 docker compose로 로컬 개발을 지원해, 같은 구성을 더 쉽게 테스트하고 배포할 수 있다.
이번 공개는 재시작 후 세션 상태 유지와 팀별 도구·비밀정보를 분리한 안전한 실행 환경 제공이라는 두 가지 핵심 문제를 해결한다.