Что такое robots.txt

robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы сайта им разрешено или нежелательно обходить. Он используется для управления crawling, но сам по себе не является надёжным способом удалить страницу из поисковой выдачи.

Это принципиально важное различие: запрет обхода и запрет индексации — не одно и то же. Неправильный robots.txt может скрыть от поискового робота важные CSS, JavaScript или страницы, усложнить переобход сайта и создать проблемы с техническим SEO.

В этом руководстве разберём синтаксис robots.txt, директивы User-agent, Disallow, Allow и Sitemap, типовые ошибки, отличие от meta robots и X-Robots-Tag и способы проверки файла через браузер, curl и инструменты NexIP.

Где находится robots.txt

Файл должен быть доступен в корне хоста:

https://example.com/robots.txt

Файл по адресу:

https://example.com/blog/robots.txt

не является основным robots.txt для всего сайта.

Простейший robots.txt

User-agent: *
Disallow:

Такой вариант не запрещает обход путей для роботов, которые соблюдают эти правила.

Что означает User-agent

User-agent задаёт робота или группу роботов, для которых применяются следующие правила.

User-agent: *

Символ * означает общее правило для подходящих роботов.

Что означает Disallow

Пример:

User-agent: *
Disallow: /admin/

Такое правило просит робота не обходить URL внутри указанного пути.

Что означает пустой Disallow

Disallow:

Пустое значение не запрещает обход.

Как закрыть весь сайт от обхода

User-agent: *
Disallow: /

Такое правило часто используют на тестовом сайте, но на production оно может стать серьёзной SEO-ошибкой.

Что означает Allow

Allow позволяет уточнить исключение внутри более широкого запрета.

Например:

User-agent: *
Disallow: /private/
Allow: /private/public-info/

Поддержка и трактовка правил должна оцениваться с учётом конкретного поискового робота.

Что означает Sitemap

В robots.txt можно указать адрес sitemap:

Sitemap: https://example.com/sitemap.xml

Это помогает поисковому роботу обнаружить карту сайта.

Можно ли указать несколько sitemap

Да.

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemaps/articles.xml
Sitemap: https://example.com/sitemaps/products.xml

robots.txt и sitemap решают разные задачи

robots.txt управляет правилами обхода, а sitemap сообщает поисковой системе о URL, которые владелец сайта считает полезными для обнаружения.

Один механизм не заменяет другой.

Crawling и indexing — в чём разница

Crawling — процесс получения страницы роботом.

Indexing — обработка страницы и потенциальное добавление её в поисковый индекс.

robots.txt прежде всего относится к crawling.

Почему Disallow не гарантирует удаление страницы из поиска

Если поисковая система знает URL из внешних ссылок, sitemap или других источников, URL потенциально может оставаться известным поисковику даже при запрете обхода.

Поэтому использовать robots.txt как универсальную команду «удалить URL из поиска» неправильно.

Что такое meta robots

Для управления индексированием HTML-страницы применяется:

<meta name="robots" content="noindex, follow">

Чтобы поисковый робот увидел такую директиву, ему обычно необходимо получить сам документ.

Почему нельзя одновременно бездумно ставить Disallow и noindex

Если робот не может получить страницу из-за robots.txt, он может не увидеть находящуюся внутри страницы meta robots.

Поэтому стратегия удаления URL должна учитывать доступность страницы для crawler.

Что такое X-Robots-Tag

Похожую директиву можно передать HTTP-заголовком:

X-Robots-Tag: noindex

Это удобно не только для HTML, но и для некоторых других типов ресурсов.

robots.txt не является системой безопасности

Это очень важное правило.

Если в robots.txt написано:

Disallow: /admin/
Disallow: /backup/
Disallow: /private/

эти URL не становятся защищёнными.

Сам robots.txt публично доступен и способен даже подсказать постороннему человеку существование интересных путей.

Для реальной защиты нужны:

• аутентификация;
• авторизация;
• сетевые ограничения;
• правильные права доступа.

Нужно ли закрывать /admin/

Можно ограничить обход административных страниц, но robots.txt не должен быть единственной защитой панели.

Нужно ли закрывать параметры URL

Иногда большое количество параметрических URL создаёт лишний crawling.

Однако массовые правила для параметров нужно вводить осторожно, чтобы случайно не закрыть полезные страницы.

Нужно ли закрывать результаты внутреннего поиска

Часто внутренние страницы поиска не нужны в поисковой выдаче.

Для NexIP, например, будущий интеллектуальный поиск блога разумно отдавать с:

noindex, follow

Это предотвращает создание огромного количества индексируемых страниц вида:

/blog/search?q=dns
/blog/search?q=ssl
/blog/search?q=site

Что такое wildcard *

Некоторые поисковые системы поддерживают шаблоны с *.

Например:

Disallow: /*?sort=

Но сложные шаблоны нужно проверять особенно внимательно.

Что означает символ $

В поддерживаемых реализациях $ может обозначать конец URL-шаблона.

Например:

Disallow: /*.pdf$

Не следует автоматически считать нестандартные расширения синтаксиса одинаково поддерживаемыми абсолютно всеми crawler.

Комментарии в robots.txt

# Administrative area
User-agent: *
Disallow: /admin/

Строки после # используются как комментарии.

Имеет ли значение регистр

URL-пути могут быть чувствительны к регистру, поэтому правила должны соответствовать реальной структуре URL сайта.

Можно ли закрыть отдельного робота

Да, если известен его User-agent и он соблюдает robots.txt.

User-agent: ExampleBot
Disallow: /

Все ли роботы соблюдают robots.txt

Нет.

robots.txt является правилом взаимодействия с добросовестными crawler, а не техническим запретом доступа.

Что происходит, если robots.txt отсутствует

Само отсутствие файла обычно не означает запрет обхода сайта.

Но для production-сайта полезно явно контролировать его содержимое.

Что происходит при HTTP 404 для robots.txt

Поведение зависит от crawler, но отсутствие robots.txt нельзя считать эквивалентом:

Disallow: /

Почему HTTP-статус robots.txt важен

Проверяйте не только текст файла, но и его HTTP-ответ.

curl -I https://example.com/robots.txt

В нормальной ситуации для существующего файла ожидается успешный ответ.

Как посмотреть содержимое robots.txt

curl -sS https://example.com/robots.txt

Как проверить redirect

curl -IL https://example.com/robots.txt

Так можно увидеть, происходит ли перенаправление HTTP → HTTPS или между hostname.

robots.txt на www и без www

Хосты:

https://example.com
https://www.example.com

технически являются разными hostname.

Если оба доступны, конфигурацию необходимо рассматривать с учётом фактического основного хоста.

robots.txt и HTTP/HTTPS

При миграции сайта на HTTPS проверяйте, что robots.txt доступен на конечном основном URL и не содержит случайных старых ограничений.

Типичная ошибка после переноса с тестового сервера

Одна из самых опасных ситуаций:

User-agent: *
Disallow: /

Этот файл ставят на staging, затем вместе с проектом переносят в production и забывают изменить.

Типичная ошибка: закрыли CSS и JavaScript

Поисковой системе может потребоваться загрузка ресурсов для корректного рендеринга страницы.

Не стоит без причины запрещать важные CSS/JS-файлы.

Типичная ошибка: URL есть в sitemap, но закрыт robots.txt

Это противоречивый сигнал.

Если URL важен и включён в sitemap, обычно нужно убедиться, что поисковый робот может его нормально получить.

Типичная ошибка: robots.txt возвращает HTML

Иногда маршрутизация CMS перехватывает запрос и вместо текстового файла возвращает обычную HTML-страницу.

Поэтому проверяйте Content-Type и фактическое содержимое:

curl -i https://example.com/robots.txt

Типичная ошибка: robots.txt сломан после CDN

CDN может кешировать старую версию файла или применять отдельные правила маршрутизации.

После изменения robots.txt полезно проверить публичный endpoint извне.

Как должен выглядеть простой robots.txt сайта

Для небольшого публичного сайта базовый вариант может выглядеть так:

User-agent: *
Disallow: /admin/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Но универсального robots.txt для всех проектов не существует.

Что не нужно автоматически добавлять

Не стоит копировать огромный robots.txt чужого сайта без понимания правил.

Особенно осторожно относитесь к:

• массовым wildcards;
• закрытию query parameters;
• закрытию каталогов ресурсов;
• правилам для неизвестных User-agent;
• устаревшим SEO-рекомендациям.

Как проверить robots.txt через NexIP

SEO-инструменты NexIP могут использовать robots.txt как часть технической диагностики сайта.

При проверке полезно определять:

• доступность файла;
• HTTP status;
• основные User-agent groups;
• Disallow;
• Allow;
• Sitemap;
• потенциально опасные правила.

Что проверять вместе с robots.txt

Для технического SEO robots.txt нельзя анализировать отдельно.

Проверяйте также:

1. sitemap.xml;
2. meta robots;
3. X-Robots-Tag;
4. canonical;
5. HTTP status;
6. redirect;
7. внутренние ссылки.

robots.txt и canonical

Canonical сообщает предпочтительный URL среди похожих страниц.

robots.txt управляет crawling.

Это совершенно разные механизмы, и один не заменяет другой.

robots.txt и nofollow

nofollow относится к обработке ссылок, а не является эквивалентом Disallow.

robots.txt и удаление страницы

Если страницу действительно нужно убрать, решение зависит от ситуации.

Могут использоваться:

• noindex;
• HTTP 404;
• HTTP 410;
• redirect;
• удаление из sitemap;
• инструменты поисковой системы.

Просто добавить Disallow не всегда достаточно.

Практический порядок проверки

1. Открыть /robots.txt.
2. Проверить HTTP status.
3. Проверить Content-Type и содержимое.
4. Найти подходящую User-agent group.
5. Проверить Disallow и Allow.
6. Проверить Sitemap.
7. Сравнить правила с фактическими URL.
8. Проверить meta robots.
9. Проверить X-Robots-Tag.
10. Проверить canonical.
11. Проверить sitemap.

Связь с sitemap.xml

Следующая статья нашего SEO-кластера подробно разбирает sitemap.xml: какие URL туда включать, как устроен sitemap index и почему наличие URL в sitemap не гарантирует его индексацию.

Что важно запомнить

• robots.txt управляет прежде всего crawling.
• Disallow не является надёжной командой удаления URL из поиска.
• Для noindex существуют отдельные механизмы.
• robots.txt не защищает приватные данные.
• Файл должен находиться в корне хоста.
• Sitemap можно указать внутри robots.txt.
• Нельзя бездумно закрывать CSS и JavaScript.
• Production robots.txt нужно проверять после каждого крупного переноса.
• HTTP status файла тоже имеет значение.
• NexIP должен анализировать robots.txt вместе с другими SEO-сигналами.

FAQ

robots.txt запрещает индексацию?

Не напрямую. Его основная задача — управление обходом URL.

Как закрыть страницу от индексации?

В зависимости от типа ресурса применяют meta robots или X-Robots-Tag с noindex. При этом робот должен иметь возможность получить директиву.

Можно ли скрыть админку через robots.txt?

Нет. robots.txt не является механизмом безопасности.

Нужно ли добавлять sitemap в robots.txt?

Это полезный и распространённый способ сообщить crawler адрес карты сайта.

Почему URL остаётся в поиске после Disallow?

Потому что поисковая система может знать URL из других источников, даже если содержимое страницы не обходится.

Нужен ли robots.txt маленькому сайту?

Он не всегда требует сложных правил, но наличие корректного и контролируемого файла полезно.

Можно ли запретить плохому боту доступ через robots.txt?

Только если этот бот добровольно соблюдает правила. Для технической блокировки нужны серверные или сетевые средства.

Как быстро проверить robots.txt?

curl -i https://example.com/robots.txt