Тег: robots.txt

SEO-проверки

Что такое robots.txt

robots.txt подсказывает поисковым роботам, какие разделы сайта можно обходить. Ошибка в одной строке способна закрыть важные страницы.