Файл размещается в корне домена и сообщает, какие разделы роботам не следует обходить.
Почему это важно
Случайный общий запрет может убрать сайт из нормального обхода, но файл не защищает секретные данные.
Как проверить
Проверьте доступность файла и правила для нужного робота.