Яндекс обеспечивает половину трафика на сайте, поэтому индексирование в этом поисковике крайне важно. Большую роль в успешном продвижении в Яндекс играет анализ и настройка файлов robots.txt и sitemap, а также зеркало сайта. Все эти данные можно получить в панели вебмастера Яндекса в пункте настройка индексирования.
Рассмотрим в данной статье, как настроить и проанализировать зеркало, robots.txt и sitemap.
Анализ robots.txt
В пункте «Настройка индексирования» и подпункте «Анализ robots.txt» можно увидеть содержимое файла robots.txt. Мы знаем, что этот файл настраивает индексирование сайта, определяет правила для роботов поисковых систем и крайне важен для продвижения.
В панели вебмастера можно определить, правильно ли создан этот файл для поисковика Яндекс. Там вы можете видеть, какие секции созданы для робота Яндекса, для какого именно робота и нет ли в них ошибок.
Благодаря этому инструменту Яндекс Вебмастера, можно определить увидит поисковик сайт так, как требуется или нет.
Кроме того, можно проверить тот или иной адрес сайта на то, запрещён ли он к индексированию в файле robots.txt. Можно добавить неограниченное количество URL. Если адрес окажется запрещённым, то вы увидите, каким именно правилом robots.txt.
Файлы Sitemap
В подпункте «Файлы Sitemap» мы можем настраивать карту сайта. О том, что это такое, мы писали тут. Сюда следует добавить XML карту сайта. Карта сайта ускоряет индексацию сайта поисковиком, а также позволяет роботу лучше понять структуру сайта.
В панели вебмастера Яндекса можно произвести проверку файла карты сайта через валидатор. Перед добавлением карты в индекс следует проверить файл, так как на обработку карты уходит несколько недель, и если что-то окажется в нём не правильно, время окажется зря потраченным.
Яндекс Вебмастер позволяет анализировать, сколько страниц сайта содержит карта, и какие из них оказались проиндексированы поисковиком.
Главное зеркало
Подпункт вебмастера «Главное зеркало» позволяет настраивать зеркало сайта – доступность с WWW или без WWW. Зеркало сайта также настраиваться и в файле robots.txt в директиве host. Очевидно, что настройка зеркала в панели Вебмастера должна соответствовать данным в robots.txt.
Кроме того, в «Главном зеркале» есть возможность выбрать «На усмотрение робота». Однако практика показывает, что установка этой опции без точного указания зеркала делает индексацию медленнее.