robots.txt для Word Press

Файл robots.txt имеет большое значение на индексацию сайта в поисковых системах. Его правильная настройка важна. Многие web-мастера теряют недели времени из-за того, что ввели не правильные значения в robots.txt,  и пришлось потом всё переделывать.

Итак, рассмотрим, каким должен быть robots.txt для сайта на Word Press, так, чтобы он оказался успешно проиндексированным.

Как сделать robots.txt

robots.txt позволяет настраивать процесс индексации сайта, запрещать добавление в поисковик некоторых страниц и файлов. В robots.txt могут использоваться следующие команды:

• User-agent – используется для того, чтобы показать, для какого поисковика какие-либо правила. Так, например User-agent:
• Yandex означает, что всё, что ниже нужно для Yandex. А User-agent: * устанавливает правила для всех поисковиков.
• Disallow – это команда, которая показывает, какие ссылки не следует индексировать. Это могут быть страницы с дублированным материалом, карты сайта html, формы регистрации и другие. От индексации также следует закрыть некоторые папки CMS. Например, Disallow: /wp-content/themes
• Host – указывается главное зеркало сайта с www или без него.
• Sitemap – указывает адрес к карте сайта.

Заполнение всех этих параметров важно. Создание robots.txt следует провести внимательно, иначе потратите много времени зря.

В robots.txt могут использоваться и другие команды. Приведённые выше являются основными.

Пример robots.txt для Word Press

В образце следует заменить «сайт.ру» на ваш сайт.

Обратите внимание, если у вас не установлен плагин, который создаёт человекопомнятный url, то могут возникнуть проблемы индексации, если вы используете вышеприведённый robots.txt. Чтобы их избежать, нужно либо установить такой плагин, либо убрать из robots.txt строку Disallow: /*?*

Как проверить robots.txt

В Yandex есть специальный сервис, в котором вы можете проверить правильность заполнения robots.txt. В нём нужно нажать на кнопку «Загрузить robots.txt с сайта». Затем вы увидите содержание этого файла, и сообщения об ошибках, если они есть.

В Yandex можно также проверить, не закрывает ли robots.txt доступ к какой-либо нужной странице сайта. Для этого нужно ввести url проверяемой страницы и нажать на кнопку «Проверить». Таким образом, можно добиться правильного robots.txt и хорошей и быстрой индексации сайта.