robots.txt подсказывает поисковым роботам, какие разделы сайта можно обходить. Ошибка в одной строке способна закрыть важные страницы.
Что это значит
Файл robots.txt находится в корне сайта и содержит правила для поисковых роботов. Он управляет обходом, но не является надёжной защитой закрытых данных: секретные страницы нужно ограничивать авторизацией.
Когда стоит проверить
Проверяйте файл перед запуском сайта, после переноса и при резком падении числа страниц в поиске. На тестовом сайте часто ставят общий запрет, а перед публикацией забывают его снять.
Как проверить
Введите домен в проверке robots.txt. Убедитесь, что файл доступен, не запрещает важные разделы и содержит правильный адрес карты сайта. Читайте правила для конкретного робота сверху вниз с учётом выбранной группы User-agent.
Что делать с результатом
Удалите случайные запреты и проверьте изменённый файл снова. Не закрывайте через robots.txt адреса, которые уже попали в поиск, без отдельного плана удаления: робот должен иметь возможность увидеть указание noindex или новый статус страницы.