Cloudflare пересматривает правила работы краулеров из-за развития искусственного интеллекта
Компания Cloudflare сообщила об изменениях в правилах работы с веб-сканерами, которые используют компании в сфере ИИ. Платформа планирует автоматически блокировать так называемых смешанных краулеров — ботов, которые выполняют сразу несколько задач: собирают данные для обучения моделей искусственного интеллекта, индексируют сайты и обеспечивают работу ИИ-агентов.
Что известно
Ранее владельцы сайтов могли самостоятельно настраивать доступ таких систем к своему контенту. После изменений часть ограничений будет применяться автоматически.
Генеральный директор и сооснователь Cloudflare Мэттью Принс заявил, что большинство интернет-трафика в настоящее время генерируется автоматизированными системами, а не пользователями. По его словам, новые инструменты и партнерства должны предоставить владельцам сайтов больше информации об использовании их контента и дополнительные возможности взаимодействия с компаниями, которые разрабатывают решения на основе искусственного интеллекта.
Новые правила начнут действовать с 15 сентября 2026 года. Для новых клиентов и новых сайтов, использующих Cloudflare, по умолчанию будет разрешена индексация страниц для поисковых систем, однако использование контента для обучения моделей и работы ИИ-агентов на страницах с рекламой будет заблокировано. Такие же настройки будут применены и к бесплатным аккаунтам, если их владельцы не откажутся от них до указанной даты.
Одновременно компания обновляет сервис монетизации контента для разработчиков искусственного интеллекта. Функция Pay Per Crawl, представленная в 2025 году, получила название Pay Per Use. Если ранее оплата зависела от факта сканирования страницы, то теперь владельцы сайтов смогут получать вознаграждение в случаях, когда их контент используется в ответах чатботов.
Партнерами нового механизма стали Ceramic.AI и You.com. Cloudflare сообщила, что механизм будет доступен другим компаниям, если они присоединятся к программе.
В заявлении компании также упоминается, что некоторые поисковые системы используют одни и те же краулеры как для индексации сайтов, так и для работы сервисов искусственного интеллекта и обучения моделей. В качестве примера приводится Googlebot, который используется для поиска Google, а также для отдельных функций, связанных с Gemini, AI Overviews и AI Mode.
Источник: Cloudflare
Подписывайтесь на наш нескучный канал в Telegram, чтобы ничего не пропустить.
