Google подтвердил, что пороговый показатель бюджета на сканирование в 1 млн страниц сохраняется уже 5 лет, но для эффективности SEO эффективность базы данных важнее количества страниц.

• Пороговое значение Google в 1 млн страниц не изменилось за 5 лет, но медленные базы данных могут вызывать проблемы при любом размере.
• Скорость базы данных имеет большее значение, чем количество страниц для бюджета сканирования.
• Пороговое значение «вероятно» составляет 1 млн страниц – это не жесткое правило.

Google подтвердил, что большинству веб-сайтов по-прежнему не нужно беспокоиться о бюджете сканирования, если только у них нет более миллиона страниц. Однако есть один нюанс.

Член команды Google Search Relations Гэри Иллес в недавнем подкасте заявил, что скорость работы базы данных имеет большее значение, чем количество страниц на сайте.

Это обновление появилось пять лет спустя после того, как Google поделился аналогичным руководством по бюджету сканирования. Несмотря на значительные изменения в веб-технологиях, рекомендации Google остаются неизменными.

Правило миллиона страниц остается прежним

В подкасте Search Off the Record Иллес поддержал давнюю позицию Google, когда соведущий Мартин Сплитт спросил о пороговых значениях бюджета сканирования.

Иллес заявил:

«Я бы сказал, что 1 миллион, наверное, нормально».

Это важно. Хотя Google использует миллион страниц в качестве общего ориентира, новый фактор эффективности базы данных означает, что даже небольшие сайты могут столкнуться с проблемами сканирования, если их инфраструктура неэффективна.

Удивительно, что это число не изменилось с 2020 года. Интернет значительно вырос, увеличилось количество JavaScript, динамического контента и более сложных веб-сайтов. Однако порог Google остался прежним.

Скорость вашей базы данных имеет значение

А вот и главная новость: Иллис обнаружил, что медленные базы данных затрудняют сканирование больше, чем большое количество страниц.

Иллес объяснил:

«Если вы совершаете дорогостоящие вызовы к базе данных, это обойдется серверу очень дорого».

Сайт с 500 000 страниц, но с медленными запросами к базе данных может столкнуться с большим количеством проблем при сканировании, чем сайт с 2 миллионами быстро загружающихся статических страниц.

Что это значит? Вам нужно оценить производительность вашей базы данных, а не просто подсчитать количество страниц. Сайты с динамическим контентом, сложными запросами или данными в реальном времени должны отдавать приоритет скорости и производительности.

Настоящий пожиратель ресурсов: индексирование, а не сканирование

Иллис поделился мнением, которое противоречит мнению многих SEO-специалистов.

Он сказал:

«Ресурсы потребляет не сканирование, а индексация и потенциальное обслуживание или то, что вы делаете с данными при их обработке».

Подумайте, что это значит. Если сканирование не потребляет много ресурсов, то блокировка Googlebot может быть бесполезной. Вместо этого сосредоточьтесь на том, чтобы сделать ваш контент более простым для обработки Google после его сканирования.

Как мы сюда попали

Подкаст предоставил некоторый контекст о масштабе. В 1994 году World Wide Web Worm проиндексировал всего 110 000 страниц, тогда как WebCrawler проиндексировал 2 миллиона. Иллис назвал эти цифры «милыми» по сравнению с сегодняшним днем.

Это помогает объяснить, почему отметка в миллион страниц осталась неизменной. То, что когда-то казалось огромным в раннем Интернете, теперь является просто сайтом среднего размера. Системы Google расширились, чтобы справиться с этим, не меняя порог.

Почему порог остается стабильным

Google стремится сократить свой след сканирования. Иллес рассказал, почему это проблема.

Он объяснил:

«Вы экономите семь байтов с каждого сделанного вами запроса, а этот новый продукт добавит обратно восемь».

Это перетягивание каната между улучшениями эффективности и новыми функциями помогает объяснить, почему порог бюджета сканирования остается неизменным. В то время как инфраструктура Google развивается, базовая математика относительно того, когда бюджет сканирования имеет значение, остается неизменной.

Что вам следует делать сейчас

Основываясь на этих выводах, вот на чем вам следует сосредоточиться:

Сайты менее 1 миллиона страниц:

Продолжайте следовать текущей стратегии. Отдавайте приоритет отличному контенту и пользовательскому опыту. Бюджет сканирования вас не волнует.

Более крупные сайты:

повышение эффективности базы данных как ваш новый приоритет. Обратить внимание на:

• Время выполнения запроса
• Эффективность кэширования
• Скорость генерации динамического контента

Все сайты:

перенаправьте фокус с предотвращения сканирования на оптимизацию индексации. Поскольку сканирование не является проблемой ресурсов, помогите Google обрабатывать ваш контент более эффективно.

Основные технические проверки:

• Производительность запросов к базе данных
• Время ответа сервера
• Оптимизация доставки контента
• Правильная реализация кэширования

Взгляд в будущее

Последовательное руководство Google по бюджету сканирования показывает, что некоторые основы SEO действительно являются фундаментальными. Большинству сайтов не нужно беспокоиться об этом.

Однако понимание эффективности базы данных меняет ход разговора для более крупных сайтов. Речь идет не только о количестве страниц, но и о том, насколько эффективно вы их обслуживаете.

Для SEO-профессионалов это означает включение производительности базы данных в ваши технические SEO-аудиты. Для разработчиков это подчеркивает важность оптимизации запросов и стратегий кэширования.

Через пять лет порог в миллион страниц может все еще сохраняться. Но сайты, которые оптимизируют производительность своих баз данных сегодня, будут готовы к тому, что будет дальше.