Глоссарий
Краулер (поисковый робот)
Программа, которая сканирует сайты для поисковых систем.
Краулер (web crawler, spider) — программа поисковой системы, которая автоматически обходит и сканирует веб-страницы. Googlebot и YandexBot — основные краулеры для Google и Яндекс. Задача SEO — обеспечить краулерам доступ ко всем важным страницам и блокировать ненужные.
Связанные термины
Нужна помощь с SEO? Получите бесплатную консультацию