Что проверяет инструмент
Загружает /robots.txt и показывает статус, содержимое и директивы Sitemap.
SEO
Проверить robots.txt сайта онлайн
Проверьте robots.txt сайта: доступность, директивы, Sitemap и запреты индексации.
Как читать результат
Ищите случайные запреты важных разделов и неверные адреса Sitemap.
Ограничения
robots.txt носит рекомендательный характер и не защищает конфиденциальные данные.
Пример
Цель для пробной проверки
https://example.comУкажите свой публичный адрес, чтобы получить результат для вашей конфигурации.
Приватность
Что обрабатывается
Проверка обрабатывает указанную публичную цель на сервере NexIP. Не передавайте секреты, токены и приватные адреса.
Политика конфиденциальностиКогда использовать
Перед запуском и при инцидентах
Запускайте проверку после изменения конфигурации, при диагностике сбоя или перед публикацией нового сервиса.
Раздел NexIP
Продолжить диагностику
Откройте полный тематический раздел со связанными проверками, статьями и справочными материалами.
Открыть раздел проверокВопросы об этой проверке
Можно ли запускать инструмент через API?
Да, инструмент доступен через POST /api/v1/tools/robots-check при включённом API.
Сохраняется ли история проверки?
Да, если история инструментов включена в настройках NexIP CMS.
Можно ли поделиться результатом?
Да, после проверки можно создать публичную ссылку на сохранённый результат.
Материалы по теме
Что такое robots.txtТермины по теме
robots.txtНужны регулярные проверки и история инцидентов?
Создайте монитор и получайте уведомления при изменении состояния.