Почему страница не индексируется поисковиком

Страница существует, открывается, вы её видите, но в Google или Яндексе её нет. Это не обязательно «бан». Между публикацией страницы и появлением в поиске есть несколько этапов, и проблема может возникнуть на любом из них.

Сначала поисковик должен узнать URL

Он может найти страницу через:

• внутреннюю ссылку;
• sitemap.xml;
• внешнюю ссылку;
• панель вебмастера;

Потом страницу нужно обойти

Поисковый робот делает HTTP-запрос.

Если сервер отдаёт 500 или постоянно закрыт, нормальной индексации ждать трудно.

Проверьте HTTP-код

curl -I https://example.com/page

Для обычной индексируемой страницы ожидается успешный конечный ответ.

robots.txt

Проверьте, не закрыли ли нужный раздел:

User-agent: *
Disallow: /private/

robots.txt и noindex — разные вещи

robots управляет обходом. noindex сообщает, что страницу не нужно включать в индекс.

Meta robots

Проверьте HTML:

<meta name="robots" content="noindex,follow">

X-Robots-Tag

noindex может находиться и в HTTP-заголовке:

X-Robots-Tag: noindex

Canonical

Если страница говорит:

canonical → другой URL

поисковик может считать другой адрес основной версией.

Дубликаты

Если десятки URL показывают почти одинаковый текст, поисковой системе нет смысла держать все варианты в индексе.

Мало полезного содержания

Технически доступная страница не обязана автоматически попасть в поиск.

Поисковик может решить, что она не добавляет ценности.

Новая страница

Иногда всё настроено правильно, но робот ещё просто не успел обработать URL.

sitemap.xml

Убедитесь, что URL действительно присутствует:

curl -s https://example.com/sitemap.xml | grep page

Но sitemap не гарантирует индексирование

Это способ сообщить о страницах, а не приказ поисковой системе.

Внутренние ссылки

Страница, на которую нигде нет ссылок, называется orphan page. Поисковику сложнее понять её место и важность.

JavaScript

Если основной контент появляется только после сложного клиентского выполнения, обработка может отличаться от обычного серверного HTML.

Проверьте HTML, который реально получает робот

curl -L https://example.com/page

Search Console и Яндекс Вебмастер

Именно там можно получить намного более точный диагноз конкретного URL.

Не делайте вывод по оператору site:

Он полезен для быстрой проверки, но не является полноценным отчётом обо всём индексе.

Как NexIP помогает

SEO-проверка может быстро показать robots, canonical, meta robots, HTTP-код и sitemap, то есть самые частые технические причины.

Чек-лист

1. 200?
2. robots разрешает обход?
3. нет noindex?
4. canonical правильный?
5. URL есть в sitemap?
6. есть внутренние ссылки?
7. контент полезный и уникальный?
8. что говорит панель вебмастера?

FAQ

Страница появилась вчера и ещё не в поиске — проблема?

Не обязательно.

Добавление в sitemap гарантирует индекс?

Нет.

Можно заставить поисковик индексировать любую страницу?

Нет. Владелец сайта может сделать страницу доступной и качественной, но окончательное решение принимает поисковая система.