장기 실행 스크래퍼에서 발생하는 3가지 메모리 누수 패턴(그리고 Trustpilot 968회 실행 후 어떻게 찾아냈는가)
Three memory-leak patterns in long-running scrapers (and how I caught them after 968 Trustpilot runs)
TL;DR AI
1분핵심 요약
968번의 Trustpilot 스크래핑 실행 후, 장기 실행 프로젝트에서 세 가지 주요 메모리 누수 패턴이 확인됐다: 무제한 asyncio 큐, URL마다 반복되는 정규식 컴파일, 저장된 결과 참조로 인해 살아남는 BeautifulSoup 객체.
이 누수들은 보통 작업을 중단시키지는 않지만, RSS 메모리를 서서히 증가시켜 더 큰 인스턴스와 더 높은 운영 비용을 초래한다.
이번 사례는 Python 웹 스크래퍼에서 흔한 함정을 보여주며, 장기 실행 비동기 작업에서 메모리 프로파일링이 중요하다는 점을 강조한다.