Создаём правильный robots: самые частые ошибки

От того, насколько правильно создан файл robots, зависит индексация сайта. И если что-то сделано не верно, то и индексация будет не правильной, а, следовательно, посещаемость упадёт. О том, как сделать правильный robots, мы рассказали тут, и даже привели там образец этого файла, который можно использовать. Но иногда возникают индивидуальные ситуации, которые требуют вмешательства вебмастера в robots, и ему приходится его корректировать, вносить изменения. И тут-то влияет человеческий фактор – ведь по невнимательности или незнанию могут возникать разнообразные ошибки в robots, которые в итоге ухудшат индексацию сайта.

Итак, чтобы не допускать ошибки, расскажем, какие из них встречаются чаще всего, и эти знания помогут вам составлять правильный robots.

Частые ошибки при составлении robots

Самая частая ошибка, которую допускают вебмастера – это перепутывание инструкций. Например, такая ошибка приведёт к тому, что robots будет не правильным:

User-agent: /

Disallow: Googlebot

Правильно будет так:

User-agent: Googlebot – название бота, для которого правила ниже

Disallow: / – правила.

Перепутываться могут не только эти инструкции, но и другие. Поэтому проверяем файл после написания.

Другая частая ошибка – несколько правил в одной инструкции. Например:

Disallow: /wp-admin/ / wp-plugins/ /wp-themes/ – это не верно, ведь в правильном robots для каждого правила должна быть своя инструкция. Правильно так:

Disallow: /wp-admin/

Disallow: / wp-plugins/

Disallow: /wp-themes/

Другой ошибкой, которую совершают вебмастера, это неправильное наименование файла robots. Иногда название файла пишут с большой буквы или заглавными буквами полностью: Robots или ROBOT – это всё не правильно. Файл должен называться robots. И нельзя пропускать ни одной буквы в наименовании, в том числе «s» в конце. Кроме того, файл должен иметь расширение .txt и только такое. Поэтому полное название правильно файла должно быть таким: robots.txt и никак иначе.

Следующая частая ошибка – оставление пустыми правила User-agent: в надежде, что так оно подействует вообще на все роботы в интернете. На самом деле, так оно никак не действует. Чтобы назначить правила всем роботам, которые приходят на сайт, в правильном robots нужно написать правило User-agent: со значением «*». Вот так:

User-agent: *

Есть и другие ошибки, которые допускаются вебмастерами при составлении файла robots. Все их перечислить сложно, поэтому рекомендуется проверять файл через специальные инструменты, например такой есть в Яндексе.