Нова політика Cloudflare змушує компанії зі штучним інтелектом платити видавцям за контент

Cloudflare щойно встановила для індустрії штучного інтелекту новий термін для розділення веб-сканерів, що використовуються для традиційного пошуку, таких як Пошук Google, від тих, що використовуються для агентів ШІ та навчання. Починаючи з 15 вересня 2026 року, налаштування Cloudflare за замовчуванням блокуватимуть сканери «змішаного використання» на будь-яких сторінках, на яких розміщена реклама.

Це означає, що сканери, які поєднують пошук, використання агентів та навчання, не зможуть сканувати ці сайти за замовчуванням, якщо власник сайту не налаштує інші параметри. Ці зміни налаштувань за замовчуванням застосовуватимуться до нових клієнтів Cloudflare, нових сайтів, створених існуючими клієнтами, та всіх існуючих безкоштовних клієнтів, повідомляє компанія.

Цей крок може вплинути на те, як постачальники моделей штучного інтелекту зможуть отримувати доступ до веб-контенту для навчальних цілей та для покращення роботи своїх агентських сервісів.

Cloudflare зазначає, що більшість власників веб-сайтів хочуть, щоб їхній контент був доступний для пошуку, а часто й через сервіси штучного інтелекту, але вони хочуть захисту від безкоштовної передачі своєї інтелектуальної власності.

Cloudflare спеціально називає «найбільшу у світі пошукову систему» ​​(очевидно, посилання на Google!) такою, що має доступ приблизно до «вдвічі більшої інформації», ніж інші компанії, що займаються штучним інтелектом, оскільки пошуковий гігант ускладнює для клієнтів виявлення без використання штучного інтелекту.

Google у минулому спростовував це узагальнення, зазначаючи, що пропонує бота під назвою Google Extended , який дозволяє власникам сайтів відмовитися від використання їхнього контенту для навчання та продуктів і послуг штучного інтелекту, таких як Gemini Apps та Vertex API. Його використання не впливає на включення сайту до Пошуку Google. Однак флагманський Googlebot технологічного гіганта сканує для Пошуку, включаючи функції штучного інтелекту, такі як огляди штучного інтелекту та режим штучного інтелекту.

«Тепер, коли більшість трафіку в Інтернеті здійснюється нелюдським шляхом, ми повинні діяти швидше та діяти далі, щоб могла виникнути стійка екосистема», – сказав співзасновник і генеральний директор Cloudflare Метью Прінс у своєму оголошенні новини, маючи на увазі нещодавній рубіж, коли боти вперше перевищили людський трафік в Інтернеті . Цей зсув не очікувався до наступного року.

«Нові інструменти та партнерства Cloudflare надають власникам веб-сайтів підвищену видимість та комерційні можливості, а також вигідні для компаній зі штучним інтелектом, які мають ботів з чіткими та прозорими намірами. Ми сподіваємося, що наші запропоновані зміни за замовчуванням спонукатимуть сканери змішаного використання відокремити пошук від використання агентами та навчання», – сказав Прінс.

Хоча Cloudflare пропонує низку продуктів, які допомагають користувачам запускати власні системи штучного інтелекту , компанія також випустила низку інструментів, щоб надати видавцям більше контролю над своїм контентом в еру штучного інтелекту. В останні роки Cloudflare запустила інструменти для боротьби з ботами на базі штучного інтелекту , включаючи торговельний майданчик, який дозволяє веб-сайтам стягувати плату з ботів на базі штучного інтелекту за парсинг , під назвою «Плата за сканування».

Остання тепер також еволюціонує до «плати за використання», заявила компанія, що дозволить видавцям стягувати плату з компаній, що займаються штучним інтелектом, коли їхній контент створює цінність, а не лише коли його отримують.

Ця зміна також може допомогти заощадити пропускну здатність видавців та обчислювальні ресурси для постачальників моделей штучного інтелекту, оскільки дані Cloudflare свідчать про те, що понад 50% трафіку сканування від сканерів зі штучним інтелектом витрачається на повторне отримання незмінених сторінок.

Щоб втілити це в життя, Cloudflare спочатку співпрацює з двома партнерами: Ceramic.ai та You.com . Коли видавець погоджується, йому платять, коли його контент з’являється в результатах пошуку Ceramic за допомогою штучного інтелекту або коли You.com отримує доступ до частини їхнього преміум-контенту.

Інші компанії, що займаються штучним інтелектом, можуть налаштувати цю модель відповідно до своїх потреб, стверджує Cloudflare.