AI 크롤러가 자신이 주장하는 주체가 맞는지 확인하는 방법

이 글은 AI 크롤러의 user-agent 문자열만으로는 신원을 증명할 수 없으며, 위조도 가능하다고 지적한다.

검증 방법으로는 역방향 DNS와 정방향 확인, 운영자 공개 IP 대역, Web Bot Auth 서명을 비교한다.

마지막 방식은 유망하지만 아직 크롤러 운영자들 사이에서 널리 문서화되거나 채택되지 않았다.

이 문제가 중요한 이유는 사이트들이 크롤러 신원에 따라 색인 허용, 접근 통제, 봇 방어 예외 처리를 결정하기 때문이다.