[2026] OpenTelemetry for LLM Observability — 자체 호스팅 설정

이 글은 OTel Collector 파이프라인을 통해 Tempo 또는 Jaeger에 트레이스를 저장하고 Prometheus로 메트릭을 보내는, 셀프 호스팅 OpenTelemetry 기반 LLM 관측성을 소개한다.

핵심은 LLM 에이전트의 각 단계를 추적하고 OTLP와 GenAI semantic conventions로 생성형 AI 텔레메트리를 표준화하는 것이다.

Python 계측 예시는 OpenAI, Anthropic, vLLM 같은 제공자들의 LLM 호출에 적용되는 방식을 보여준다.

이 방식은 소규모 또는 셀프 호스팅 팀이 관리형 플랫폼 없이도 토큰 사용량, 트레이스 연속성, 비용을 벤더 중립적으로 파악하게 해준다.