От того, насколько правильно создан файл robots, зависит индексация сайта. И если что-то сделано не верно, то и индексация будет не правильной, а, следовательно, посещаемость упадёт. О том, как сделать правильный robots, мы рассказали тут, и даже привели там образец этого файла, который можно использовать. Но иногда возникают индивидуальные ситуации, которые требуют вмешательства вебмастера в robots, и ему приходится его корректировать, вносить изменения. И тут-то влияет человеческий фактор – ведь по невнимательности или незнанию могут возникать разнообразные ошибки в robots, которые в итоге ухудшат индексацию сайта.
Итак, чтобы не допускать ошибки, расскажем, какие из них встречаются чаще всего, и эти знания помогут вам составлять правильный robots.
Частые ошибки при составлении robots
Самая частая ошибка, которую допускают вебмастера – это перепутывание инструкций. Например, такая ошибка приведёт к тому, что robots будет не правильным:
User-agent: /
Disallow: Googlebot
Правильно будет так:
User-agent: Googlebot – название бота, для которого правила ниже
Disallow: / – правила.
Перепутываться могут не только эти инструкции, но и другие. Поэтому проверяем файл после написания.
Другая частая ошибка – несколько правил в одной инструкции. Например:
Disallow: /wp-admin/ / wp-plugins/ /wp-themes/ – это не верно, ведь в правильном robots для каждого правила должна быть своя инструкция. Правильно так:
Disallow: /wp-admin/
Disallow: / wp-plugins/
Disallow: /wp-themes/
Другой ошибкой, которую совершают вебмастера, это неправильное наименование файла robots. Иногда название файла пишут с большой буквы или заглавными буквами полностью: Robots или ROBOT – это всё не правильно. Файл должен называться robots. И нельзя пропускать ни одной буквы в наименовании, в том числе «s» в конце. Кроме того, файл должен иметь расширение .txt и только такое. Поэтому полное название правильно файла должно быть таким: robots.txt и никак иначе.
Следующая частая ошибка – оставление пустыми правила User-agent: в надежде, что так оно подействует вообще на все роботы в интернете. На самом деле, так оно никак не действует. Чтобы назначить правила всем роботам, которые приходят на сайт, в правильном robots нужно написать правило User-agent: со значением «*». Вот так:
User-agent: *
Есть и другие ошибки, которые допускаются вебмастерами при составлении файла robots. Все их перечислить сложно, поэтому рекомендуется проверять файл через специальные инструменты, например такой есть в Яндексе.