Файл robots.txt для Word Press состоит из множества директив. Часто они разделяются на секции правил индексирования для Google и Яндекс, а иногда даже и для других поисковиков.
Сущность правил из robots.txt заключается в том, чтобы разрешить или запретить роботам из ПС индексирования тех или иных страниц и частей сайта. Но есть несколько директив для этого файла, которые отвечают за тонкую настройку правил индексирования.
В данной статье мы и обсудим одну из них – Crawl delay.
Что делает Crawl delay
Crawl delay переводится как задержка сканирования. То есть эта директива задаёт интервал времени, с которым робот поисковика будет загружать страницы сайта.
Параметр задаётся в секундах. Также есть возможность указывать десятичные величины. Например, если Crawl delay показывает 3, то робот будет посещать страницы не чаще, чем раз в 3 секунды. Если в директиве указанно 2.5, то, соответственно, сканирование страниц робот будет осуществлять не чаще, чем раз в 2,5 секунды.
Благодаря этому можно настроить точную минимальную величину говорящую роботу о том, как часто его готовы встречать на этом сайте.
Многие web-мастера считают, что Crawl delay равная, например, 1, означает то, что робот будет приходиться раз в секунду. Это не так. Повторимся – робот будет приходиться не чаще, чем раз в секунду.
Как писать Crawl delay
Данная директива необходима только для робота из Яндекса (это вакцина против их чрезмерно агрессивных роботов), и Google её не понимает. Поэтому и записывать её следует в ту секцию, где прописаны правила для Яндекса.
Прописывать директиву следует в самом конце правил для Яндекса, после всех разрешающих, запрещающих директив Allow и Disallow, а также после Sitemap.
Параметр следует писать после двоеточия. Например, Crawl delay: 3 или Crawl delay: 2.5.
Зачем нужно использовать Crawl delay
Использование директивы Crawl delay целесообразно на слабых хостингах. То есть, когда слишком частое посещение робота может привести к тому, что оборудование хостера не выдерживает и временно отключает сайт.
Также, если сайт загружается слишком медленно, то можно дать роботу с помощью директивы Crawl delay немного времени, чтобы улучшить процесс индексации. Прочитайте здесь о том, что ещё можно сделать при слишком долгой загрузке сайта.
После прописывания директивы и её параметра, следует проверить robots.txt в соответствующем сервисе Яндекс Вебмастера. В Google Вебмастере при проверке будет выводиться ошибка о том, что этот робот не знает такой директивы. Это нормально.