Директивы allow и disallow

Файл robots.txt имеет большое значение для любого сайта. Он создаётся специально для поисковых ботов. Если кто-то ещё не знает или уже не помнит, то поисковый бот (робот) – это программа, которая в некотором роде копирует поведение пользователей на web-ресурсе. Он точно также заходит на сайт и начинает кликать по ссылкам, читать тексты и делать свою работу.

Именно эти роботы индексируют наши с вами сайты. На сегодняшний день они сделали существенный шаг вперёд в сравнении с прошлым временем. Так плавно мы перешли к вопросу – зачем нужен robots.txt

Что такое robots.txt

Несмотря на постоянное развитие, поисковые боты всё ещё далеко не идеальны. Что бы сделать их работу более качественной, поисковые системы предлагают web-мастерам сделать подсказку ботам. Именно для этого и используется robots.txt. C его помощью мы можем сделать следующее:

• Указать боту, на что он должен обращать внимание;
• Что следует пропустить;
• Как правильно пишется адрес ресурса и т.д.

Файл robots.txt составляется самим web-мастером и о том, как это правильно делать, можно прочитать на сайтах поисковиков. Сегодня мы поговорим об основных моментах в его настройке и директивах allow и disallow.

Настройка robots.txt

Существует много директив для ботов, например, тут мы писали про Crawl delay. Есть несколько, без которых robots будет не правильным, что скажется на индексации и продвижении вашего ресурса.

Любой файл должен начинаться с директивы User-agent, после которой указывается имя поискового бота – yandex или google. В одном файле может быть несколько подобных записей.

И теперь двух самых главных директивах. С помощью команды disallow можно запретить боту индексировать любую часть ресурса.
Не менее важной является и команда allow в robots txt. Она противоположна предыдущей и разрешает для индексации ресурс в целом или его любую часть. Есть один важный момент – пока нет запрещающей команды, ресурс открыт для индексации. То есть, можно, например, запретить доступ ко всему ресурсу, кроме нужной страницы. Если этих команд несколько, то сначала ботом будет выполняться первая из них.

Конечно при создании и настройке файла robots много нюансов, о которых можно говорить долго, поэтому лучше всего обратиться к информации, которую предоставляют сами поисковые системы. Там написано всё доходчиво и просто.