Настройка robots.txt в WordPress для закрытия служебных страниц

Если в индексе всплывают служебные URL, первым делом проверьте не мета-теги, а robots.txt. В WordPress это часто касается служебных директорий, файлов и технических разделов, которые не должны расходовать краулинговый бюджет: /wp-admin/, /wp-includes/, внутренние поисковые URL, тестовые каталоги, временные файлы. Ошибка здесь обычно не в самом файле, а в том, как его редактируют: закрывают лишнее, забывают про доступ к CSS/JS или пытаются решить через robots.txt то, что должно закрываться noindex.

Когда проблема действительно в robots.txt

Сначала стоит понять, что именно вы хотите исправить. robots.txt управляет обходом, а не удалением из индекса. Если страница уже попала в поиск, одного запрета на обход может быть недостаточно: робот перестанет заходить на URL, но сам URL может еще какое-то время оставаться в выдаче без контента. Поэтому этот способ подходит для служебных разделов, которые не должны сканироваться вообще, а не для страниц, которые уже индексируются и требуют noindex или 301-редиректа.

Типичные симптомы

• В Search Console есть много URL с параметрами, но они не нужны для SEO.
• В логах или аналитике видны частые заходы ботов в служебные каталоги.
• В индексе появляются технические страницы, которые не должны ранжироваться.
• После обновления темы или плагина робот начал обходить лишние файлы статики.

Диагностика: что проверить до правки файла

Перед изменениями откройте текущий robots.txt по адресу https://site.ru/robots.txt и посмотрите, кто его формирует. В WordPress файл может быть виртуальным: его отдает ядро, а не физический файл в корне. Если у вас стоит SEO-плагин или плагин для технической оптимизации, он может подменять содержимое. Это важно, потому что ручная правка файла на сервере иногда вообще не влияет на ответ сайта.

Проверьте три вещи:

• Есть ли в файле директивы User-agent и Disallow, которые уже закрывают нужные разделы.
• Не закрыты ли случайно /wp-content/uploads/ или папки со стилями и скриптами.
• Не пытаетесь ли вы закрыть URL, который должен быть доступен для обхода, чтобы корректно рендериться в поиске.

Если сайт использует CSS/JS из /wp-content/, не блокируйте этот каталог целиком. Поисковым системам нужен доступ к ресурсам, чтобы корректно отрисовать страницу. Закрывать стоит точечно, а не рубить весь путь.

Рабочая схема: что можно закрывать через robots.txt

Ниже пример базового файла для WordPress, где закрыты служебные разделы, но сохранен доступ к ресурсам темы и плагинов. Это не универсальный шаблон, а отправная точка, которую нужно сверить со структурой конкретного сайта.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /?s=
Disallow: /search/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://site.ru/sitemap_index.xml

Здесь есть важный нюанс: строка Disallow: /?s= не заменяет нормальную настройку внутреннего поиска. Если у вас уже есть отдельная статья про закрытие страниц поиска, используйте ее логику для noindex и каноникализации. robots.txt в этом случае — только дополнительный слой, а не основное решение.

Если нужен запрет для конкретных параметров

Иногда в индексе всплывают URL с техническими параметрами, например ?replytocom= или UTM-параметры, которые генерируют дубли. Для таких случаев лучше сначала проверить, можно ли убрать источник генерации ссылок. Если нет, можно добавить точечные правила, но без фанатизма: слишком широкие маски легко ломают полезные страницы.

User-agent: *
Disallow: /*?replytocom=
Disallow: /*?add-to-cart=
Disallow: /*?utm_

Последняя строка выглядит удобно, но ее стоит применять только после проверки структуры ссылок. Если на сайте есть важные страницы, которые доступны с UTM и должны индексироваться как канонические, лучше не закрывать весь шаблон параметров в robots.txt.

Пошаговое решение без лишнего риска

1. Составьте список URL, которые не должны обходиться: служебные каталоги, внутренний поиск, тестовые разделы, технические параметры.
2. Проверьте, не закрываются ли эти URL уже через noindex, canonical или редирект.
3. Сделайте резервную копию текущего robots.txt или настроек SEO-плагина.
4. Внесите точечные правила, а не общий запрет на большие каталоги.
5. Сразу проверьте ответ файла в браузере и в инструментах для проверки robots.txt.
6. После обновления отправьте sitemap на повторную проверку в Search Console.

Если вы правите файл через код, а не через интерфейс плагина, используйте фильтр robots_txt. Это штатный способ изменить содержимое виртуального файла в WordPress.

add_filter('robots_txt', function ($output, $public) {
    $output .= "\nDisallow: /wp-includes/\n";
    $output .= "Disallow: /search/\n";
    $output .= "Allow: /wp-admin/admin-ajax.php\n";

    return $output;
}, 10, 2);

Такой подход удобен, если вы ведете настройки в теме или в небольшом must-use плагине. Но если сайт обслуживается несколькими людьми, безопаснее держать правила в SEO-плагине или в отдельном техническом плагине, чтобы не потерять их при обновлении темы.

Как проверить, что решение сработало

Проверка должна быть не формальной, а по факту ответа сервера и реакции поисковых систем. Сначала откройте /robots.txt в браузере и убедитесь, что файл отдается без редиректов на HTML-страницу, без 404 и без кэшированной старой версии. Затем проверьте конкретный URL, который вы закрывали: робот должен видеть запрет на обход, а не случайный запрет для всех страниц сайта.

Полезно сделать быструю проверку через curl:

curl -I https://site.ru/robots.txt
curl https://site.ru/robots.txt

Если вы используете Search Console, откройте отчет по индексации и посмотрите, уменьшилось ли число технических URL в обходе. Но не ждите мгновенного эффекта: поисковый робот обновляет данные не сразу. Для уже проиндексированных страниц может потребоваться отдельная очистка через удаление URL, noindex или редирект.

Подход	Когда подходит	Минус
robots.txt	Служебные разделы, лишний обход	Не удаляет уже проиндексированные URL
noindex	Страницы, которые должны исчезнуть из индекса	Робот должен иметь доступ к странице
301-редирект	Дубли и устаревшие адреса	Нужно подобрать корректную целевую страницу

Частые ошибки и как их исправить

Закрывают весь /wp-content/

Это одна из самых вредных ошибок. Поисковик может перестать видеть CSS и JS, из-за чего страница рендерится некорректно. Исправление простое: уберите общий запрет и оставьте только точечные служебные каталоги, если они реально есть.

Путают robots.txt и noindex

Если URL уже в индексе, запрет обхода не всегда решает задачу. Нужно либо вернуть noindex, либо сделать 301 на релевантную страницу, либо удалить URL через инструменты поисковой системы, если это временный технический адрес.

Редактируют не тот файл

На WordPress часто работает виртуальный robots.txt. Если вы загрузили физический файл в корень, но сайт отдает другой вариант через плагин или ядро, изменения не увидят боты. Проверьте фактический ответ по URL, а не только содержимое на сервере.

Закрывают полезные параметры

Иногда в погоне за чистотой закрывают все URL с параметрами, включая рабочие фильтры, сортировки или канонические переходы. Перед блокировкой проверьте, не используется ли параметр в навигации, пагинации или аналитике.

Практические советы по безопасности и производительности

Не храните в robots.txt секреты, токены и внутренние пути, которые могут помочь атакующему. Этот файл публичный, и его содержимое видит любой посетитель. Если нужно скрыть административную логику, используйте нормальные меры защиты: ограничение доступа, авторизацию, отключение лишних endpoint'ов, WAF.

Для производительности полезно держать robots.txt коротким и понятным. Чем меньше в нем хаотичных правил, тем проще сопровождать сайт после смены темы, SEO-плагина или структуры URL. Если у вас много технических исключений, удобнее вынести их в отдельный плагин или в настройки технической оптимизации, чтобы не править файл вручную после каждого обновления.

Если нужен более системный подход к технической чистке WordPress, имеет смысл смотреть в сторону инструментов, которые умеют управлять дублями, служебными страницами и базовой SEO-гигиеной. Например, в Clearfy Pro есть набор настроек для технической оптимизации и удаления лишнего мусора, что иногда удобнее ручной правки разрозненных файлов. Ссылка: Clearfy Pro.

Что делать, если robots.txt не помогает

Если после правки файл выглядит корректно, но технические URL все равно остаются в индексе, проблема обычно не в robots.txt. Тогда проверьте три сценария: URL уже проиндексирован, на странице нет noindex, либо на него ведут внутренние ссылки. В таком случае нужно убрать источник ссылок, поставить правильный мета-робот или сделать редирект. Только после этого robots.txt начинает работать как вспомогательный барьер, а не как единственный механизм.