На небольших и средних WordPress-сайтах в индекс часто лезут не те страницы: архивы автора, архивы по датам, служебные страницы с пустым или почти пустым содержимым. В итоге поисковик тратит обход на мусор, а в отчётах появляются дубли и «тонкие» страницы. Самый частый вопрос здесь не «как запретить всё через robots.txt», а как убрать конкретные типы архивов из индекса и не сломать нормальную навигацию по сайту.
Ниже разберём рабочий сценарий: сначала диагностика, потом несколько способов закрыть страницы от индексации, затем проверка результата и типичные ошибки. Сразу оговорка: если у вас на сайте авторские архивы реально полезны, например в медиа-проекте с несколькими редакторами, их не стоит бездумно закрывать. Решение зависит от структуры контента.
Когда страницы автора и архивы становятся проблемой
Проблема обычно проявляется в одном из трёх вариантов:
- в индексе есть страницы вида
/author/username/, но на них дублируется список записей без уникального текста; - архивы по датам создаются автоматически, но не несут ценности и конкурируют с рубриками;
- служебные архивы доступны поисковику, хотя на сайте уже есть более сильные посадочные страницы.
Если сайт небольшой, такие страницы часто выглядят как «пустой шум». Поисковик может их обходить, но не обязан считать полезными. Важно не просто запретить обход, а убрать URL из индекса корректным способом: через noindex и, при необходимости, каноникал.
Диагностика: что именно индексируется
Перед правками проверьте, какие URL уже попали в поиск и как они отдаются сервером. Для этого достаточно трёх шагов.
1. Посмотреть индексируемые URL в поиске
В поиске по сайту и в панели вебмастера проверьте страницы автора, архивы дат и похожие URL. Если они уже в индексе, простого удаления из sitemap недостаточно: поисковик может держать их ещё долго.
2. Проверить мета-теги на странице
Откройте архив автора и посмотрите исходный код. Если там нет noindex, страница может индексироваться как обычная. Если стоит noindex, follow, это уже лучше: поисковик не должен включать её в выдачу, но может переходить по ссылкам дальше.
3. Сравнить sitemap и реальную доступность
Иногда страница убрана из карты сайта, но остаётся доступной по прямому URL и продолжает индексироваться. Это частая ошибка: sitemap — только подсказка, а не запрет.
Как закрыть архивы от индексации: три рабочих подхода
Есть три нормальных варианта: через SEO-плагин, через код темы или плагина, либо через комбинацию настроек и фильтров. Ниже — сравнение без лишней теории.
| Способ | Когда подходит | Плюсы | Минусы |
|---|---|---|---|
| SEO-плагин | Нужна быстрая настройка без кода | Просто включить, меньше риска ошибок | Зависимость от интерфейса плагина |
| Код в теме/мини-плагине | Нужен точечный контроль | Гибко, прозрачно, без лишних настроек | Требует аккуратности и теста |
| robots.txt | Нужно ограничить обход, а не индексацию | Быстро, удобно для ботов | Не убирает URL из индекса сам по себе |
Вариант 1: закрыть архивы через SEO-плагин
Если у вас уже стоит SEO-плагин, найдите настройки архивов автора и дат. Обычно там можно отключить индексацию или убрать архивы из карты сайта. Это самый безопасный путь для тех, кто не хочет лезть в код.
Но важно понимать ограничение: если плагин только убрал URL из sitemap, а мета-тег noindex не выставил, проблема не решена полностью. Поэтому после сохранения настроек всегда проверяйте исходный код страницы.
Вариант 2: добавить noindex через код
Если нужен точечный контроль, можно повесить фильтр на robots meta. В WordPress это делается через wp_robots. Ниже пример для закрытия архивов автора и архивов по датам.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот код лучше добавлять в мини-плагин или в functions.php дочерней темы. Не вставляйте его в родительскую тему, если она обновляется.
Если нужно убрать архивы автора ещё и из sitemap, это уже зависит от SEO-плагина. Сам WordPress не управляет XML-картой сайта так тонко без дополнительного кода или плагина.
Вариант 3: ограничить обход в robots.txt
Иногда администраторы пытаются решить всё через robots.txt. Это полезно только для экономии краулингового бюджета, но не для удаления URL из индекса. Если страница уже известна поисковику, запрет в robots.txt может даже помешать увидеть noindex на самой странице.
Поэтому robots.txt имеет смысл использовать только как дополнительную меру, а не как основной способ. Например, если у вас есть технические URL, которые не должны активно обходиться, но при этом не являются уже проиндексированными страницами.
User-agent: *
Disallow: /author/
Disallow: /2024/
Disallow: /2025/Этот пример показан только как иллюстрация. На живом сайте не закрывайте по датам целые каталоги, если у вас есть важные архивы записей. Сначала проверьте структуру URL.
Пошаговая настройка без лишнего риска
- Определите, какие архивы реально не нужны в индексе: авторы, даты, теги, служебные таксономии.
- Убедитесь, что на этих страницах нет уникального полезного контента.
- Добавьте
noindex, followчерез SEO-плагин или код. - Уберите эти URL из XML-sitemap, если плагин это поддерживает.
- Не блокируйте их в robots.txt до тех пор, пока поисковик не увидит
noindex. - Проверьте заголовки и исходный код после публикации изменений.
Проверка результата после внедрения
После правки не ограничивайтесь визуальной проверкой. Нужны три технических теста.
Проверка исходного кода
Откройте архив автора и найдите в коде страницы мета-роботы. Должно быть что-то вроде noindex. Если используется HTTP-заголовок X-Robots-Tag, его тоже можно проверить через инструменты разработчика или curl.
curl -I https://example.com/author/username/В ответе ищите заголовки, связанные с индексацией. Если страница отдаёт 200 OK и при этом содержит noindex, это нормальный сценарий для постепенного исключения из индекса.
Проверка sitemap
Откройте XML-карту сайта и убедитесь, что архивы автора и даты там не перечислены. Если они остались в sitemap, поисковик будет получать противоречивые сигналы: «не индексируй» и «вот URL для обхода».
Проверка в панели вебмастера
После переобхода страницы статус может меняться не сразу. Это нормально. Важно смотреть не на мгновенный результат, а на динамику: уменьшается ли число таких URL в индексе и исчезают ли они из отчётов по страницам с низкой ценностью.
Частые ошибки и как их исправить
- Закрыли URL в robots.txt, но не поставили noindex. Поисковик может продолжать держать адрес в индексе без доступа к содержимому. Исправление: сначала noindex, потом при необходимости robots.txt.
- Убрали архив из sitemap, но оставили открытым. Это не запрет, а только рекомендация. Исправление: добавьте мета-робот или X-Robots-Tag.
- Закрыли все архивы подряд. Иногда вместе с архивами автора отключают и полезные рубрики. Исправление: проверьте, какие архивы реально дают трафик и навигацию.
- Поставили noindex на страницу, но забыли про каноникал. Если есть дубли с похожими URL, поисковик может выбрать другой адрес. Исправление: проверьте canonical и структуру внутренних ссылок.
- Внесли код в родительскую тему. После обновления правка исчезнет. Исправление: используйте дочернюю тему или мини-плагин.
Что делать, если архивы автора нужны пользователям
Иногда закрывать их не стоит. Например, если у каждого автора есть нормальная биография, фото, описание специализации и подборка материалов. В таком случае страницу автора можно оставить открытой, но усилить её содержанием: добавить уникальный текст, ссылки на лучшие материалы и нормальный заголовок. Тогда это уже не пустой архив, а полноценная посадочная страница.
Если же авторские страницы нужны только для внутренней навигации, лучше не пытаться искусственно «разогнать» их в поиск. Проще и чище закрыть их от индексации и оставить для пользователей.
Практика безопасности и производительности
Любые изменения в индексации делайте через резервную копию и на тестовой среде, если сайт уже получает трафик. Особенно это важно, если вы меняете код в functions.php или правите robots.txt вручную. Ошибка в этих файлах не всегда ломает сайт визуально, но может повлиять на обход и индексацию.
Если на сайте много технических дублей, имеет смысл не собирать решение из случайных фрагментов, а централизовать его в одном инструменте. В экосистеме WPShop для подобных задач часто используют Clearfy Pro: он помогает с чисткой сайта и управлением частью SEO- и технических настроек. Ссылка без слеша: Clearfy Pro.
Но даже с плагином логика остаётся той же: сначала понять, что именно нужно скрыть от индекса, потом проверить мета-теги, sitemap и фактический статус URL. Без этой проверки легко получить ситуацию, когда настройки «вроде включены», а в поиске ничего не изменилось.
Если нужен короткий чек-лист перед публикацией изменений, используйте такой порядок:
- проверить, какие архивы уже в индексе;
- убедиться, что нужные страницы не содержат уникальной ценности;
- добавить
noindex, follow; - исключить URL из sitemap;
- не блокировать страницу в robots.txt раньше времени;
- перепроверить исходный код и заголовки ответа.