Что это значит?
Файл с правилами обхода сайта поисковыми роботами.
Файл размещается в корне домена и сообщает, какие разделы роботам не следует обходить.
Почему это важно
Случайный общий запрет может убрать сайт из нормального обхода, но файл не защищает секретные данные.
Как проверить
Проверьте доступность файла и правила для нужного робота.
02 / ИНСТРУМЕНТЫ
Проверить на практике
Посмотрите реальные значения с помощью инструментов NexIP.
03 / ПОДРОБНЕЕ
Читайте в журнале NexIP
NEXIP / NEXT STEP
Запустить проверку ↗
От теории — к результату
Проверьте свой сайт, домен или сетевые настройки с помощью NexIP.