Cloudflare с 15 сентября по умолчанию блокирует Google-краулер для AI-обучения

С 15 сентября Cloudflare меняет настройки по умолчанию для всех бесплатных клиентов: Google-краулер будет заблокирован для обучения AI. Об этом в подкасте Decoder, который выходит на The Verge, сообщил CEO Cloudflare Мэтью Принс. Если Google не разделит краулеры для поиска и для AI, компания готова блокировать его полностью. Это важный шаг, потому что Cloudflare стоит перед более чем 20% интернета и может влиять на то, как AI-компании получают доступ к контенту.

Боты обогнали людей

По данным Cloudflare, в июне автоматический трафик превысил человеческий. Принс напомнил, что ещё в ноябре 2025 года на Web Summit компания прогнозировала, что это произойдёт во второй половине 2027 года. В марте 2026 года прогноз сдвинулся на первую половину 2027-го, а в мае команда сообщила, что порог уже пройден. «Это просто расширяется как сумасшедшее», — сказал Принс. По его оценке, через пять лет автоматический трафик может в 1000 раз превышать человеческий, хотя он признаёт, что его прошлые прогнозы не сбывались.

Рост ботов создаёт проблему: инфраструктура требует денег, а традиционная рекламная модель для них не работает. «Боты не кликают по рекламе. Они не реагируют на красивые завитушки краски и то, что мы традиционно считаем брендом», — пояснил Принс. Поэтому Cloudflare вместе с Coinbase и Stripe работает над системой микроплатежей на базе протокола 402, который изначально означал «требуется оплата». Идея в том, чтобы владельцы сайтов могли взимать долю цента за доступ ботов к контенту.

Что меняется для владельцев сайтов

С 15 сентября бесплатные клиенты Cloudflare по умолчанию получат блокировку Google-краулера для AI-обучения. Если Google не разделит краулеры для поиска и для AI, Cloudflare будет блокировать его полностью. Владельцы сайтов смогут отключить эту настройку, но по умолчанию она будет включена.

Принс отметил, что Google уже пошёл навстречу: компания обязалась сделать краулер более прозрачным и дать издателям выбор, как использовать их контент. Это стало ответом на решение британского регулятора. «Я думаю, что мы выйдем из этого с более сильным вебом и, честно говоря, с ещё лучшим Google», — сказал Принс.

Экономика информации и локальные медиа

Принс сравнивает будущее интернета с музыкальной индустрией. Он напомнил, что в 2003 году рынок музыки оценивался примерно в 8 миллиардов долларов, а после появления iTunes и Spotify вырос. В прошлом году Spotify выплатил около 12 миллиардов долларов правообладателям. По мнению Принса, аналогичная модель может работать для контента: AI-компании будут платить за доступ к уникальным знаниям.

Он привёл пример: его семья владеет небольшой газетой Park Record в Парк-Сити, и в этом году доход от лицензирования для AI может превысить доход от цифровой рекламы. «Если вы AI-компания и хотите быть лучшим планировщиком путешествий, вам нужно знать, какой новый ресторан открылся в Парк-Сити, штат Юта. И если у вас нет доступа к Park Record, вы этого не знаете», — сказал Принс.

Принс также отметил, что количество правок в Wikipedia снизилось, потому что люди не видят отдачи: информацию потребляют через ответные движки, а не через сам сайт. При этом он считает, что веб как платформа для приложений переживает подъём благодаря инструментам для создания сайтов без кода, которые появились в конце 2025 года.

Признание авторов

Принс считает, что финансовую проблему создателей контента можно решить, но остаётся вопрос признания. Он предлагает AI-лабораториям создать систему наград, которая с помощью математики определяла бы, кто внёс наибольший вклад в знания, и публично чествовала бы этих людей. «Я думаю, мы решим финансовую проблему, но следующая проблема — как нам признавать создателей», — сказал он.

Что это значит

Cloudflare меняет настройки по умолчанию для бесплатных клиентов, чтобы дать издателям больше контроля над использованием их контента для обучения AI. Это может усилить позиции владельцев сайтов в переговорах с крупными технологическими компаниями. Однако окончательный эффект зависит от того, как Google и другие AI-разработчики отреагируют на новые правила и будут ли они готовы платить за доступ к контенту.