Что проверяет инструмент
Загружает /robots.txt и показывает статус, содержимое и директивы Sitemap.
SEO
Проверка robots.txt и его директив
Загрузите robots.txt, проверьте статус, ссылки Sitemap и случайные запреты для роботов.
Как читать результат
Ищите случайные запреты важных разделов и неверные адреса Sitemap.
Ограничения
robots.txt носит рекомендательный характер и не защищает конфиденциальные данные.
Пример
Цель для пробной проверки
https://example.comУкажите свой публичный адрес, чтобы получить результат для вашей конфигурации.
Приватность
Что обрабатывается
Проверка обрабатывает указанную публичную цель на сервере NexIP. Не передавайте секреты, токены и приватные адреса.
Политика конфиденциальностиКогда использовать
Перед запуском и при инцидентах
Запускайте проверку после изменения конфигурации, при диагностике сбоя или перед публикацией нового сервиса.
Вопросы об этой проверке
Можно ли запускать инструмент через API?
Да, инструмент доступен через POST /api/v1/tools/robots-check при включённом API.
Сохраняется ли история проверки?
Да, если история инструментов включена в настройках NexIP CMS.
Можно ли поделиться результатом?
Да, после проверки можно создать публичную ссылку на сохранённый результат.
Нужны регулярные проверки и история инцидентов?
Создайте монитор и получайте уведомления при изменении состояния.