Глоссарий
robots.txt
Файл инструкций для поисковых роботов.
robots.txt — текстовый файл в корне сайта, который указывает поисковым роботам, какие страницы можно сканировать, а какие — нет. Используется для закрытия от индексации служебных, дублирующих или ненужных страниц. Не является гарантией закрытия от индексации.
Связанные термины
Нужна помощь с SEO? Получите бесплатную консультацию