Индексация страниц сайта является главным процессом в продвижении. Если страниц в индексе нет, то делать что-то для продвижения бессмысленно. В задачу вебмастера входит добиться того, чтобы поисковик проиндексировал как можно больше качественных страниц с сайта.
Однако иногда случается, что индексация страниц сайта протекает плохо – слишком медленно, индексируются не те страницы, некоторые вообще не попадают в поиск. В этой статье мы разберёмся в частых причинах этой неприятности.
Неправильная настройка файла robots.txt
Файл robots.txt управляет индексацией страниц – он запрещает или разрешает индексирование тех или иных частей сайта. Если этот файл настроен неправильно, то индексация тоже будет происходить не так, как необходимо.
Вот частые ошибки в файле robots.txt:
- Запрещены к индексации нужные страницы сайта.
- Технические страницы (страницы плагинов, шаблонов и др.) доступны для поисковиков. Это замедляет индексацию страниц сайта.
- Отсутствие правил, которые запрещают поисковикам индексировать дубли страниц. О дублях страниц вам следует прочитать тут. Это отдельная важная тема.
- Отсутствие названий user-agent поисковиков там, где это нужно.
- Отсутствие правил, которые указывают XML карту сайта и главное зеркало.
Отсутствие XML карты сайта
XML карта сайта – это то же самое, что и HTML карта, только для роботов. То есть она помогает поисковым роботам легко ориентироваться на сайте и быстро индексировать новые материалы.
Если индексация страниц сайта происходит слишком медленно, проверьте, есть ли XML карта сайта. А также необходимо убедиться, показаны ли поисковиками ссылки на эту карту. Проверить это можно в кабинете вебмастера.
Техническое несовершенство сайта
Индексация страниц сайта может протекать слишком медленно, с ошибками или вообще не происходить, если сайт имеет технические недостатки. К проблемам, которые могут навредить индексации следует отнести следующее:
- Слабый хостинг, который не справляется с нагрузкой, оказываемой роботами и посетителями. В этом случае индексирующие роботы будут получать ошибку при обращении к страницам сайта.
- Отсутствие технической оптимизации сайта, что приводит к его медленной работе. В этом случае поисковый робот также может получать ошибки при обращении к страницам сайта.
- Сайт содержит элементы, которые не поддерживаются поисковыми роботами, и они не могут их проиндексировать.
Познавательно.
Для новичка очень помогло.
Интересная статья, мнекажется что неплохо делать еще и ресурсы полегче
Статья мне очень помогла спасибо