Как закрыть сайт на WordPress от индексации поисковыми роботами: три надёжных способа

Во время разработки сайта важно предотвратить его индексацию поисковыми системами — иначе неполные или тестовые страницы могут попасть в выдачу и навредить репутации ресурса. В этой статье разберём три способа закрыть сайт от индексации прямо из админ‑панели WordPress.

Способ 1. Настройка «noindex» в WordPress

Первый шаг — сообщить поисковым системам, что сайт не нужно индексировать. Для этого:

1. Зайдите в админ‑панель WordPress.
2. Перейдите в раздел «Настройки» → «Чтение».
3. Найдите опцию «Попросить поисковые системы не индексировать этот сайт» и поставьте галочку.
4. Сохраните изменения.

Что происходит: WordPress автоматически добавит мета‑тег <meta name="robots" content="noindex"> на все страницы сайта. Это сигнал для поисковых роботов (Google, Яндекс и др.) не включать страницы в поисковую выдачу.

Важно: после активации этой настройки инструменты SEO (например, Yoast SEO) начнут показывать ошибку — они верно отмечают, что сайт заблокирован для индексации. Это ожидаемо: мы сознательно отключаем индексацию на время разработки.

Способ 2. Создание файла robots.txt

Файл robots.txt — это стандарт для управления доступом поисковых роботов к сайту. Он позволяет явно указать, какие разделы можно или нельзя сканировать.

Как создать и настроить robots.txt через плагин Yoast SEO:

1. Откройте плагин Yoast SEO в админ‑панели.
2. Перейдите в «Инструменты» → «Редактор файлов».
3. Выберите опцию создания файла robots.txt.
4. Очистите содержимое файла (если есть) и вставьте следующий код:

User-agent: *
Disallow: /

Разбор кода:

• User-agent: * — правило применяется ко всем поисковым роботам.
• Disallow: / — запрещает сканирование всего сайта (корневой директории и всех подпапок).

5. Сохраните изменения. Файл будет размещён в корневой директории сайта (ваш-сайт.ру/robots.txt).

Способ 3. Включение режима обслуживания (Maintenance Mode)

Режим обслуживания скрывает сайт от посетителей и показывает им заглушку (например, «Сайт на техническом обслуживании»). Одновременно это блокирует доступ и для большинства поисковых роботов.

Как включить режим обслуживания через плагин WP Security:

1. Установите и откройте плагин WP Security в админ‑панели.
2. Найдите раздел «Режим обслуживания» и активируйте его.
3. Настройте страницу‑заглушку:
   • Введите текст сообщения для пользователей (например, «Сайт временно недоступен»).
   • При желании добавьте изображение или логотип.
4. Сохраните настройки.

Теперь при попытке зайти на сайт посетители увидят заглушку, а поисковые роботы получат HTTP‑статус 503 Service Unavailable (временная недоступность). Этот статус говорит роботам: «Вернитесь позже, сайт сейчас не работает».

Почему нужно использовать все три способа?

Каждый метод выполняет свою роль:

• noindex — блокирует индексацию страниц, но не мешает роботам их сканировать.
• robots.txt — запрещает роботам сканировать сайт, но если страницы уже проиндексированы, они могут остаться в выдаче.
• Режим обслуживания — физически закрывает доступ к сайту и даёт поисковикам чёткий сигнал о временном отключении (статус 503).

Совместное использование гарантирует:

• Полное отсутствие сайта в поисковой выдаче на этапе разработки.
• Защиту от частичной индексации (например, если заказчик несколько дней не проверяет сайт, а роботы успевают его просканировать).
• Предотвращение попадания «сырых» страниц в индекс — это убережёт от плохой репутации у поисковых систем.

Важные нюансы

• Перед запуском сайта отключите все три настройки: снимите галочку «noindex», удалите или отредактируйте robots.txt (разрешите индексацию), выключите режим обслуживания.
• После запуска проверьте индексацию: через 1–2 недели страницы должны появиться в поиске. Используйте инструменты для вебмастеров (Google Search Console, Яндекс.Вебмастер), чтобы отслеживать процесс.
• Убедитесь, что robots.txt не блокирует важные файлы (CSS, JS) — это может повлиять на отображение сайта в выдаче.

Итог: комбинация noindex, robots.txt и режима обслуживания — надёжный способ закрыть сайт на WordPress от индексации на этапе разработки. Эти методы просты в настройке через админ‑панель WordPress и защищают проект от преждевременного попадания в поисковую выдачу.