Файл robots.txt для сайта на WordPress

В одной из наших предыдущих статей мы обсуждали файл robots.txt и даже приводили пример этого файла, который можно использовать на практике на любом сайте под WordPress. Но переоценить значение robots.txt для сайта трудно, ведь он крайне важен. Индексация без robots txt не пройдёт успешно, сайт будет плохо ранжироваться и мало посещаться. А этого нельзя допустить.

В виду важности файла robots txt вокруг него возникает множество споров. Особенно они появляются в том случае, если говорит тот, кто не совсем понимает всех тонкостей настройки этого файла. В данной статье рассмотрим, как сделать robots txt для WordPress, чтобы польза от него была максимальная, и чтобы не возникло вреда. Это позволит устранить все споры и недознания начинающих и неопытных вебмастеров.

Мы уже знаем, что robots.txt – это файл, в котором указываются правила для поисковиков, то, как индексировать сайт. Рассмотрим, какие правила устанавливать.

Нужно ли индексировать метки

Метки, именуемые в robots.txt «/tag», являются самым частым предметом споров. Некоторые считают, что необходимо установить запрет на индексацию меток, другие, что не нужно. В чём же истина?

Как правило, метки дублируют рубрики или раскрывают их более подробно. Статьи, отмеченные теми или иными метками, уже индексируются через категории и принадлежность их к той или иной тематике поисковику должна быть понятна через рубрики.

Однако если вы проиндексируете метки, и они действительно раскрывают рубрику более подробно, то это сделает страницу записи более понятной поисковику, что должно улучшить её ранжирование. Но при этом во время индексации меток, если их много, поисковик может нагрузить сервер сайта, что приведёт к его падению, и сайт окажется не доступным.

Истина в этом вопросе действительно не достигнута, но есть совет – метод тыка. Попробуйте сначала проиндексировать метки, а потом закрыть их от индекса, и посмотреть, что будет. Главное понимать, какой может быть результат.

Надо ли создавать отдельную секцию для Яндекса

Некоторые неопытные вебмастера удивляются, зачем для Яндекса в robots.txt для WordPress создана отдельная секция и почему нельзя обойтись одной, которая для всех роботов. И не создают эту секцию из чувства принципа, наверное.
На это можно ответить уже однозначно, что для Яндекса секция нужна, и если её убрать, то индексация может быть замедленной.

Правила в секции для Яндекса позволяют описывать путь до карты сайта и зеркало, в то время, как другие роботы не поймут этих директив. Кроме того, сюда можно вставить правило crow delay, которое помогает замедлить скорость робота, что уменьшает нагрузку на серверы. А также в справке Яндекса можно найти и другие полезные правила, которые можно описать в секции для роботов этого поисковика.