Next.js 사이트를 ChatGPT와 모든 LLM에 노출시키는 방법

이 글은 Next.js 사이트에서 AI 크롤러 접근을 어떻게 구분하고 제어할지 설명한다.

핵심은 학습용 크롤러, 검색/색인용 크롤러, 사용자 요청 기반 가져오기를 서로 다르게 다루는 것이다.

robots.txt, robots.ts, sitemap, 크롤링 가능한 HTML을 활용해 검색형 AI에는 노출하고 GPTBot 같은 학습 봇은 차단할 수 있다.

잘못된 봇을 막으면 ChatGPT, Claude, Perplexity 같은 답변 엔진의 인용과 노출에서 사라질 수 있다.