출판사들이 AI 크롤러를 차단하면서 학습 데이터의 경제 구조가 바뀌고 있다
Publishers Blocking AI Crawlers Are Reshaping the Economics of Training Data
TL;DR AI
1분핵심 요약
주요 뉴스 매체들이 OpenAI의 GPTBot 같은 AI 크롤러 접근을 robots.txt 등으로 차단하고 있다.
뉴욕타임스, CNN, ABC, 가디언, BBC 등이 포함되며, Reuters Institute에 따르면 2023년 말까지 주요 뉴스 사이트의 약 48%가 OpenAI 크롤러를 막았다.
이 흐름은 AI 학습에 쓸 수 있는 무료 뉴스 데이터를 줄이고, 개발자들을 유료 라이선스나 대체 소스, 검색 기반 시스템으로 몰아간다.
동시에 출판사들은 자사 보도물이 AI 제품에 어떻게 쓰이는지에 대한 통제력을 더 확보하고 있다.