Согласно новому отчету Cloudflare, в 2025 году Googlebot вновь стал самым активным веб-краулером. Несмотря на стремительный рост ИИ-ботов, именно Google продолжает генерировать больше всего трафика, активно сканируя интернет как для поисковой индексации, так и для обучения собственных ИИ-моделей.

Данные Cloudflare показывают, что число ИИ-краулеров резко увеличилось, издатели все чаще блокируют ботов, а многие платформы при этом почти не возвращают трафик обратно на сайты.

Основные цифры

• Googlebot обеспечил более 25% всего трафика Verified Bot, зафиксированного Cloudflare.
• Один только Googlebot сгенерировал 4,5% всех HTML-запросов — больше, чем все остальные ИИ-боты вместе взятые (4,2%).
• ИИ-краулинг с имитацией пользовательских действий вырос более чем в 15 раз по сравнению с прошлым годом, что говорит о росте ботов, копирующих поведение человека.
• Объем краулинга Googlebot значительно превосходил всех других ИИ-краулеров, включая OpenAI, Anthropic и Meta.

Рост активности ИИ-краулеров

ИИ-боты стали самыми часто полностью запрещаемыми user-agent в файлах robots.txt. Издатели все активнее ограничивают доступ автоматизированных систем к своему контенту.

Anthropic показал самое высокое соотношение «краулинг / реферальный трафик» среди крупных ИИ- и поисковых платформ. Это означает, что платформа сканировала значительно больше контента, чем возвращала трафика на сайты.

• В начале года показатель Anthropic достигал примерно 500 000:1.
• После мая он стабилизировался в диапазоне от 25 000:1 до 100 000:1.

Для сравнения

• OpenAI в марте достиг пика около 3 700:1.
• Perplexity показал самый низкий показатель среди крупных ИИ-платформ: сначала менее 100:1, затем кратковременно превысил 700:1 в конце марта во время всплеска активности PerplexityBot, после чего в основном оставался ниже 400:1 и с сентября — ниже 200:1.

Поисковые платформы: иная картина

У традиционных поисковых систем соотношение краулинга и возвращаемого трафика выглядело иначе:

• Microsoft удерживался в диапазоне примерно от 50:1 до 70:1 с выраженной недельной цикличностью.
• Google вырос с чуть более 3:1 до примерно 30:1 к апрелю, затем снизился до около 3:1 к середине июля и после этого снова начал постепенно расти.
• DuckDuckGo оставался ниже 1:1 в течение первых трех кварталов года, затем в середине октября поднялся до примерно 1,5:1 и сохранил этот уровень.

Google по-прежнему монополизирует поиск

Доминирование традиционного поиска в целом практически не изменилось. Google сохранил уверенное лидерство на протяжении всего года.

• Google обеспечивал почти 90% всего реферального трафика из поисковых систем.
• Bing — 3,1%.
• Yandex — 2,0%.
• Baidu — 1,4%.
• DuckDuckGo — 1,2%.

По данным Cloudflare, в течение года наблюдались лишь незначительные изменения:

• Google оставался доминирующей силой.
• Yandex снизился с 2,5% в мае до 1,5% в июле.
• Baidu вырос с 0,9% в апреле до 1,6% в июне.