웹 스크래퍼가 계속 깨지는 이유와 LLM과 Playwright를 활용해 자가 복구형 TypeScript 에이전트를 구축하는 방법

이 글은 CSS selector나 XPath에 의존하는 기존 브라우저 자동화가 웹사이트 UI 변화에 취약하다고 지적한다.

대안으로 TypeScript, Playwright, 멀티모달 LLM vision, Model Context Protocol(MCP)을 결합한 자가 치유형 아키텍처를 제안한다.

DOM이 바뀌어도 LLM이 화면 맥락을 보고 적절한 요소를 다시 찾아 스크래핑과 폼 입력을 계속 수행하도록 설계한다.

WebGPU 가속을 활용해 이런 복구 과정을 더 빠르고 실용적으로 만들어 운영 중단을 줄이려는 것이 핵심이다.