전쟁 이야기: Kubernetes 1.32 노드 OOM Kill이 어떻게 비디오 스트리밍 서비스의 2시간 장애로 이어졌나
War Story: How a Kubernetes 1.32 Node OOM Kill Cascaded Into a 2-Hour Outage for Our Video Streaming Service
TL;DR AI
1분핵심 요약
Kubernetes 1.32의 cgroups v2 메모리 계정 버그가 대형 비디오 스트리밍 서비스에서 노드 OOM kill을 유발했다.
이 장애는 18개 가용 영역으로 확산돼 트래픽을 92% 줄였고, 최대 420만 명의 동시 시청자에게 영향을 줬다.
주 원인은 istio-proxy와 linkerd-proxy 같은 사이드카가 많은 파드의 메모리 사용량이 과소 집계된 것이었다.
파드 수준 메모리 한도에 여유를 더해 설정하자 실패가 크게 줄고 안정성이 개선됐다.