Cloudflare, через инфраструктуру которой проходит около 20% мирового веб-трафика, объявила, что с 15 сентября 2026 года краулеры, собирающие данные для обучения ИИ, и боты ИИ-агентов будут блокироваться по умолчанию на всех страницах с рекламой. Под удар попадают и «гибридные» краулеры, которые совмещают несколько функций сразу: если сайт запрещает сбор данных для обучения, то Googlebot, Applebot и BingBot будут заблокированы целиком — даже там, где поисковые боты разрешены. По сути это ультиматум: Google и другим гигантам предлагают разделить своих ботов на отдельные — для поиска и для ИИ.
Технически это работает так: Cloudflare разделила всех ИИ-ботов на три категории — Search (поисковая индексация), Agent (ИИ-агенты, которые заходят на сайты вместо пользователя) и Training (сбор данных для обучения моделей). Владельцы сайтов, включая клиентов бесплатного тарифа, могут настраивать доступ для каждой категории отдельно. Новые настройки по умолчанию коснутся новых клиентов Cloudflare, новых сайтов существующих клиентов и всех бесплатных аккаунтов. Логика привязки к рекламе простая: баннер на странице — признак того, что она сделана для живых людей, а значит, ботам, перехватывающим человеческое внимание, там не место.
Главный адресат претензий — Google, хотя напрямую в блоге компанию называют «крупнейшим в мире поисковиком». Googlebot одновременно индексирует страницы для поиска и собирает данные для обучения ИИ, и сайты не решаются его блокировать из страха выпасть из выдачи. В результате, по оценке Cloudflare, у Google примерно вдвое больше данных для ИИ, чем у любого конкурента. Формально у Google есть отдельный механизм отказа от обучения — бот Google-Extended, но в Cloudflare считают его недостаточным.
Компания подкрепляет позицию цифрами: по данным Cloudflare Radar, боты уже генерируют 57,4% всего HTML-трафика в интернете. При этом старый «договор» — мы вас сканируем, вы получаете переходы — для ИИ не работает: если Google в 2025 году сканировал сайты 14 раз на один переход по ссылке, то у OpenAI соотношение составляло 1700 к одному, а у Anthropic — 73 000 к одному. Исследование Pew Research Center показало, что при появлении ИИ-сводки в выдаче Google пользователи кликают по обычным ссылкам лишь в 8% случаев — вдвое реже обычного.
Параллельно Cloudflare превращает запущенную год назад систему Pay Per Crawl в Pay Per Use: издателям будут платить не за факт сканирования их страниц, а за реальное использование контента — например, когда он появляется в ответе ИИ-поисковика. В компании объясняют, что краулинг оказался кривой метрикой ценности: страницу могут скачать один раз, а потом процитировать в тысячах ответов — или качать бесконечно и ни разу не использовать. Первыми партнерами стали ИИ-поисковики Ceramic.ai и You.com, а для владельцев сайтов запущен дашборд Attribution Business Insights, показывающий, какие боты и как используют их контент.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
ссылка на оригинал статьи https://habr.com/ru/articles/1055030/