Cloudflare переглядає правила роботи краулерів через розвиток штучного інтелекту

Компанія Cloudflare повідомила про зміни у правилах роботи з вебсканерами, які використовують компанії у сфері ШІ. Платформа планує автоматично блокувати так званих змішаних краулерів — ботів, які виконують одразу кілька завдань: збирають дані для навчання моделей штучного інтелекту, індексують сайти та забезпечують роботу ШІ-агентів.

Що відомо

Раніше власники сайтів могли самостійно налаштовувати доступ таких систем до свого контенту. Після змін частина обмежень застосовуватиметься автоматично.

Генеральний директор і співзасновник Cloudflare Меттью Прінс заявив, що більшість інтернет-трафіку нині генерується автоматизованими системами, а не користувачами. За його словами, нові інструменти та партнерства мають надати власникам сайтів більше інформації про використання їхнього контенту та додаткові можливості взаємодії з компаніями, які розробляють рішення на основі штучного інтелекту.

Нові правила почнуть діяти з 15 вересня 2026 року. Для нових клієнтів та нових сайтів, які використовують Cloudflare, за замовчуванням буде дозволено індексацію сторінок для пошукових систем, однак використання контенту для навчання моделей та роботи ШІ-агентів на сторінках із рекламою буде заблоковане. Такі ж налаштування застосують і до безкоштовних акаунтів, якщо їхні власники не відмовляться від них до зазначеної дати.

Одночасно компанія оновлює сервіс монетизації контенту для розробників штучного інтелекту. Функція Pay Per Crawl, представлена у 2025 році, отримала назву Pay Per Use. Якщо раніше оплата залежала від факту сканування сторінки, то тепер власники сайтів зможуть отримувати винагороду у випадках, коли їхній контент використовується у відповідях чатботів.

Партнерами нового механізму наразі стали Ceramic.AI та You.com. Cloudflare повідомила, що механізм буде доступний іншим компаніям, якщо вони приєднаються до програми.

У заяві компанії також згадується, що окремі пошукові системи використовують одні й ті самі краулери як для індексації сайтів, так і для роботи сервісів штучного інтелекту та навчання моделей. Як приклад наводиться Googlebot, який використовується для пошуку Google, а також для окремих функцій, пов'язаних із Gemini, AI Overviews та AI Mode.

Джерело: Cloudflare