Что делать, если индексация страниц сайта протекает плохо

Индексация страниц сайта является главным процессом в продвижении. Если страниц в индексе нет, то делать что-то для продвижения бессмысленно. В задачу вебмастера входит добиться того, чтобы поисковик проиндексировал как можно больше качественных страниц с сайта.

Однако иногда случается, что индексация страниц сайта протекает плохо – слишком медленно, индексируются не те страницы, некоторые вообще не попадают в поиск. В этой статье мы разберёмся в частых причинах этой неприятности.

Неправильная настройка файла robots.txt

Файл robots.txt управляет индексацией страниц – он запрещает или разрешает индексирование тех или иных частей сайта. Если этот файл настроен неправильно, то индексация тоже будет происходить не так, как необходимо.

Вот частые ошибки в файле robots.txt:

• Запрещены к индексации нужные страницы сайта.
• Технические страницы (страницы плагинов, шаблонов и др.) доступны для поисковиков. Это замедляет индексацию страниц сайта.
• Отсутствие правил, которые запрещают поисковикам индексировать дубли страниц. О дублях страниц вам следует прочитать тут. Это отдельная важная тема.
• Отсутствие названий user-agent поисковиков там, где это нужно.
• Отсутствие правил, которые указывают XML карту сайта и главное зеркало.

Отсутствие XML карты сайта

XML карта сайта – это то же самое, что и HTML карта, только для роботов. То есть она помогает поисковым роботам легко ориентироваться на сайте и быстро индексировать новые материалы.

Если индексация страниц сайта происходит слишком медленно, проверьте, есть ли XML карта сайта. А также необходимо убедиться, показаны ли поисковиками ссылки на эту карту. Проверить это можно в кабинете вебмастера.

Техническое несовершенство сайта

Индексация страниц сайта может протекать слишком медленно, с ошибками или вообще не происходить, если сайт имеет технические недостатки. К проблемам, которые могут навредить индексации следует отнести следующее:

• Слабый хостинг, который не справляется с нагрузкой, оказываемой роботами и посетителями. В этом случае индексирующие роботы будут получать ошибку при обращении к страницам сайта.
• Отсутствие технической оптимизации сайта, что приводит к его медленной работе. В этом случае поисковый робот также может получать ошибки при обращении к страницам сайта.
• Сайт содержит элементы, которые не поддерживаются поисковыми роботами, и они не могут их проиндексировать.