#3-Robots.txt: что следует включить?. Экспресс-правка

<div class="row">
<div class="col-md-12">
<p class="lead">Скромный файл robots.txt часто незаметно находится на заднем плане сайта WordPress, но его настройки по умолчанию довольно просты и не способствуют индивидуальным директивам, которые вы, возможно, захотите применить.</p>
<h2 class="mt-4">Где находится файл WordPress Robots.txt?</h2>
<p>По умолчанию WordPress генерирует виртуальный файл robots.txt. Вы можете увидеть его, посетив <code>/robots.txt</code> вашей установки:</p>
<div class="alert alert-info">
<p class="mb-0">https://yoursite.com/robots.txt</p>
</div>
<p>Этот файл по умолчанию существует только в памяти и не представлен физическим файлом на вашем сервере.</p>
<p>Если вы хотите использовать пользовательский файл robots.txt, просто загрузите его в корневую папку установки. Это можно сделать либо с помощью FTP-приложения, либо плагина, например Yoast SEO (<strong>SEO &rarr; Инструменты &rarr; Редактор файлов</strong>).</p>
<h2 class="mt-4">Стандартный файл WordPress Robots.txt (и почему его недостаточно)</h2>
<p>Если вы не создаете файл robots.txt вручную, вывод WordPress по умолчанию будет выглядеть следующим образом:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php</code></pre>
<p>Хоть это и безопасно, но не оптимально. Давайте рассмотрим улучшения.</p>
<h3 class="mt-4">Всегда включайте XML-карты сайта</h3>
<p>Убедитесь, что все XML-карты сайта указаны явно, так как это помогает поисковым системам обнаруживать все релевантные URL-адреса:</p>
<pre class="bg-light p-3"><code>Sitemap: https://example.com/sitemap_index.xml
Sitemap: https://example.com/sitemap2.xml</code></pre>
<h3 class="mt-4">Что не следует блокировать</h3>
<p>Существуют устаревшие рекомендации запрещать некоторые основные каталоги WordPress, такие как <code>/wp-includes/</code>, <code>/wp-content/plugins/</code> или даже <code>/wp-content/uploads/</code>. Не делайте этого!</p>
<div class="card mb-4 border-warning">
<div class="card-header">Почему их не следует блокировать:</div>
<div class="card-body">
<ul>
<li>Google достаточно умен, чтобы игнорировать нерелевантные файлы</li>
<li>Блокировка CSS и JavaScript может ухудшить рендеринг и вызвать проблемы с индексацией</li>
<li>Вы можете непреднамеренно заблокировать ценные медиафайлы в <code>/wp-content/uploads/</code>, которые должны быть доступны для сканирования</li>
</ul>
</div>
</div>
<p>Вместо этого позвольте поисковым роботам извлекать CSS, JavaScript и изображения, необходимые для правильного отображения.</p>
<h3 class="mt-4">Управление промежуточными сайтами</h3>
<p>Рекомендуется убедиться, что промежуточные (тестовые) сайты не сканируются ни в целях SEO, ни в целях общей безопасности. Лучше полностью запретить сканирование таких сайтов.</p>
<p>Используйте метатег noindex, но для дополнительной защиты рекомендуется применить оба варианта. В WordPress перейдите в <strong>Настройки &gt; Чтение</strong> и отметьте опцию &laquo;Запретить поисковым системам индексировать этот сайт&raquo;, или добавьте следующее в robots.txt:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /</code></pre>
<div class="alert alert-warning"><strong>Важно:</strong> при переходе к боевой версии сайта обязательно проверьте этот параметр, чтобы убедиться, что вы отменили все запреты индексации.</div>
<h3 class="mt-4">Очистка необязательных путей WordPress</h3>
<p>Многие пути по умолчанию не добавляют никакой ценности для SEO:</p>
<pre class="bg-light p-3"><code>Disallow: /trackback/
Disallow: /comments/feed/
Disallow: */embed/
Disallow: /cgi-bin/
Disallow: /wp-login.php</code></pre>
<h3 class="mt-4">Запрет определенных параметров запроса</h3>
<p>Иногда полезно запретить поисковым системам сканировать URL-адреса с параметрами запроса с низкой ценностью:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /*?*replytocom=
Disallow: /*?*print=</code></pre>
<p>Используйте инструмент &laquo;Параметры URL&raquo; в Google Search Console для мониторинга шаблонов индексации на основе параметров.</p>
<h3 class="mt-4">Запрет таксономий и SERP с низкой ценностью</h3>
<p>Если на вашем сайте WordPress есть архивы тегов или внутренние страницы результатов поиска, вы можете их заблокировать:</p>
<pre class="bg-light p-3"><code>User-agent: *
Disallow: /tag/
Disallow: /page/
Disallow: /?s=</code></pre>
<p>Учитывайте вашу контент-стратегию. Если страницы таксономий тегов являются частью контента, который вы хотите индексировать, то игнорируйте эти запреты.</p>
<p>Убедитесь, что внутренняя структура ссылок поддерживает ваше решение и сводит к минимуму внутренние ссылки на разделы, которые вы не собираетесь индексировать.</p>
<h2 class="mt-4">Мониторинг статистики сканирования</h2>
<p>После настройки файла robots.txt отслеживайте статистику сканирования с помощью Google Search Console:</p>
<div class="card mb-4">
<div class="card-body">
<ol>
<li>Изучите статистику сканирования в разделе &laquo;Настройки&raquo;, чтобы узнать, не тратят ли боты ресурсы впустую</li>
<li>Используйте инструмент проверки URL-адресов, чтобы проверить, проиндексирован ли заблокированный URL-адрес</li>
<li>Проверьте файлы Sitemap и убедитесь, что они ссылаются только на те страницы, которые должны сканироваться и индексироваться</li>
</ol>
</div>
</div>
<p>Некоторые инструменты управления сервером, такие как Plesk, cPanel и Cloudflare, могут предоставлять подробную статистику сканирования, выходящую за рамки Google.</p>
<p>Используйте переопределение конфигурации Screaming Frog для имитации изменений и обратите внимание на функции оптимизации сканирования Yoast SEO, некоторые из которых решают вышеуказанные проблемы.</p>
<h2 class="mt-4">Заключение</h2>
<p>Хотя WordPress &ndash; отличная CMS, в ней не предусмотрен идеальный файл robots.txt по умолчанию и отсутствует оптимизация сканирования из коробки.</p>
<div class="alert alert-success">
<p class="mb-0">Всего несколько строк кода и менее 30 минут вашего времени могут избавить вас от тысяч ненужных запросов на сканирование, а также предотвратить потенциальные проблемы масштабирования в будущем.</p>
</div>
</div>
</div>

Символов: 0 Слов: 0

Текст скопирован в буфер!

Текст вставлен из буфера!

Идентификатор ссылки (англ.)	kakoy-dolzhna-byt-dlina-zagolovka-v-2025-godu
Статус:	Активен

Идентификатор ссылки (англ.)	osnovy-seo-s-ispolzovaniem-iskusstvennogo-intellekta
Статус:	Архив

Сайт	shopnseo.ru
Название	Robots.txt: что следует включить?
Идентификатор ссылки (англ.slug)	robotstxt-chto-sleduet-vklyuchit
Полное название	Robots.txt: что следует включить?
Статус	2

Сайт

shopnseo.ru

Название

Robots.txt: что следует включить?

Идентификатор ссылки (англ.slug)

robotstxt-chto-sleduet-vklyuchit

Полное название

Robots.txt: что следует включить?

Статус

Скромный файл robots.txt часто незаметно находится на заднем плане сайта WordPress, но его настройки по умолчанию довольно просты и не способствуют индивидуальным директивам, которые вы, возможно, захотите применить.

Где находится файл WordPress Robots.txt?

По умолчанию WordPress генерирует виртуальный файл robots.txt. Вы можете увидеть его, посетив /robots.txt вашей установки:

https://yoursite.com/robots.txt

Этот файл по умолчанию существует только в памяти и не представлен физическим файлом на вашем сервере.

Если вы хотите использовать пользовательский файл robots.txt, просто загрузите его в корневую папку установки. Это можно сделать либо с помощью FTP-приложения, либо плагина, например Yoast SEO (SEO → Инструменты → Редактор файлов).

Стандартный файл WordPress Robots.txt (и почему его недостаточно)

Если вы не создаете файл robots.txt вручную, вывод WordPress по умолчанию будет выглядеть следующим образом:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Хоть это и безопасно, но не оптимально. Давайте рассмотрим улучшения.

Всегда включайте XML-карты сайта

Убедитесь, что все XML-карты сайта указаны явно, так как это помогает поисковым системам обнаруживать все релевантные URL-адреса:

Sitemap: https://example.com/sitemap_index.xml
Sitemap: https://example.com/sitemap2.xml

Что не следует блокировать

Существуют устаревшие рекомендации запрещать некоторые основные каталоги WordPress, такие как /wp-includes/, /wp-content/plugins/ или даже /wp-content/uploads/. Не делайте этого!

Почему их не следует блокировать:

Google достаточно умен, чтобы игнорировать нерелевантные файлы
Блокировка CSS и JavaScript может ухудшить рендеринг и вызвать проблемы с индексацией
Вы можете непреднамеренно заблокировать ценные медиафайлы в /wp-content/uploads/, которые должны быть доступны для сканирования

Вместо этого позвольте поисковым роботам извлекать CSS, JavaScript и изображения, необходимые для правильного отображения.

Управление промежуточными сайтами

Рекомендуется убедиться, что промежуточные (тестовые) сайты не сканируются ни в целях SEO, ни в целях общей безопасности. Лучше полностью запретить сканирование таких сайтов.

Используйте метатег noindex, но для дополнительной защиты рекомендуется применить оба варианта. В WordPress перейдите в Настройки > Чтение и отметьте опцию «Запретить поисковым системам индексировать этот сайт», или добавьте следующее в robots.txt:

User-agent: *
Disallow: /

Важно: при переходе к боевой версии сайта обязательно проверьте этот параметр, чтобы убедиться, что вы отменили все запреты индексации.

Очистка необязательных путей WordPress

Многие пути по умолчанию не добавляют никакой ценности для SEO:

Disallow: /trackback/
Disallow: /comments/feed/
Disallow: */embed/
Disallow: /cgi-bin/
Disallow: /wp-login.php

Запрет определенных параметров запроса

Иногда полезно запретить поисковым системам сканировать URL-адреса с параметрами запроса с низкой ценностью:

User-agent: *
Disallow: /*?*replytocom=
Disallow: /*?*print=

Используйте инструмент «Параметры URL» в Google Search Console для мониторинга шаблонов индексации на основе параметров.

Запрет таксономий и SERP с низкой ценностью

Если на вашем сайте WordPress есть архивы тегов или внутренние страницы результатов поиска, вы можете их заблокировать:

User-agent: *
Disallow: /tag/
Disallow: /page/
Disallow: /?s=

Учитывайте вашу контент-стратегию. Если страницы таксономий тегов являются частью контента, который вы хотите индексировать, то игнорируйте эти запреты.

Убедитесь, что внутренняя структура ссылок поддерживает ваше решение и сводит к минимуму внутренние ссылки на разделы, которые вы не собираетесь индексировать.

Мониторинг статистики сканирования

После настройки файла robots.txt отслеживайте статистику сканирования с помощью Google Search Console:

Изучите статистику сканирования в разделе «Настройки», чтобы узнать, не тратят ли боты ресурсы впустую
Используйте инструмент проверки URL-адресов, чтобы проверить, проиндексирован ли заблокированный URL-адрес
Проверьте файлы Sitemap и убедитесь, что они ссылаются только на те страницы, которые должны сканироваться и индексироваться

Некоторые инструменты управления сервером, такие как Plesk, cPanel и Cloudflare, могут предоставлять подробную статистику сканирования, выходящую за рамки Google.

Используйте переопределение конфигурации Screaming Frog для имитации изменений и обратите внимание на функции оптимизации сканирования Yoast SEO, некоторые из которых решают вышеуказанные проблемы.

Заключение

Хотя WordPress – отличная CMS, в ней не предусмотрен идеальный файл robots.txt по умолчанию и отсутствует оптимизация сканирования из коробки.

Всего несколько строк кода и менее 30 минут вашего времени могут избавить вас от тысяч ненужных запросов на сканирование, а также предотвратить потенциальные проблемы масштабирования в будущем.