Google-Agent와 Googlebot: 구글이 사용자 요청 기반 AI 접근과 검색 크롤러의 기술적 경계를 정의하다

Google-Agent는 서버 로그에 새로운 기술적 실체로 기록된다.

Google-Agent는 Google AI 제품들이 사용자 직접 프롬프트에 응답해 웹 콘텐츠를 가져올 때 사용된다.

Googlebot 등 자율 크롤러는 구글 알고리즘에 따른 일정으로 페이지를 발견·색인하는 반면, Google-Agent는 사용자를 대신해 특정 URL을 가져오며 링크를 따라 웹을 크롤하여 콘텐츠를 발견하지 않는다.

Google-Agent는 robots.txt 지시를 무시한다.

Google-Agent는 특정 User-Agent 문자열로 자신의 트래픽을 식별한다.