Быстрая и полная индексация сайта является необходимым условием для его продвижения. Но во время индексации часто возникают ошибки, и владельцу сайта долго приходится гадать – почему не индексируется сайт?
Сайт только что сделан
Такая проблема, как правило, возникает только с Яндексом. Google оперативно индексирует сайты, особенно если сразу добавить его в вебмастер. А вот у Яндекса на это может уйти несколько недель. Поэтому если вы только сделали сайт, то не стоит беспокоиться и нужно просто подождать.
Индексация запрещена в robots.txt
Бывает, что на время разработки сайт специально закрывали от индексации, чтобы он предстал перед поисковиками в готовом виде, но потом просто забыли снять запрет. Если вы увидите строчку «Disallow: /», значит, это именно этот случай. Просто удалите ее. Об этих директивах мы писали тут.
Сайт или его отдельные страницы закрыты от индексации метатегами
Если не индексируется сайт или только отдельные его страницы, стоит проверить, нет ли запрета в метатегах. Они могли быть установлены случайно или по умолчанию в каких-либо настройках.
Домен был под баном до того, как вы его купили
Если вы не сами придумали совершенно уникальный домен, а использовали тот, который кому-то принадлежал, может возникнуть ситуация, что санкции, примененные к прошлому домена, отражаются и на его настоящем. Поэтому желательно проверять веб-архив перед покупкой домена, чтобы избежать такого неприятного сюрприза.
Сайт попал под фильтр
Если в индексе есть только главная страница или она и еще парочка – это сигнал задуматься, а не попал ли ваш сайт под фильтр.
Ошибка сервера
Бывает так, что не индексируется сайт из-за ошибки сервера. Убедитесь, что ответ сервера 200. Если результат будет другим, нужно проводить настройку.
Неуникальный контент
Особенно опасно это для молодого сайта. Поисковым роботам абсолютно не интересно индексировать одну и ту же информацию сотни раз. Если ваш контент не уникален, они перестанут его посещать.
Длительное время загрузки
У поисковых роботов имеется определенный лимит ожидания загрузки, если он будет превышен, они ничего не загрузят. Проверьте скорость загрузки сайта, чтобы исключить эту причину.
Сложная структура
Если какая-то часть вашего сайта упорно не индексируется, возможно, она просто недосягаема для роботов. Сложная и запутанная структура может препятствовать индексации. Чтобы ее облегчить, нужно создать карту сайта и пересмотреть структуру.
Вы можете в кабинете вебмастера у поисковика увидеть, какие страницы не индексируются и по какой причине. Там узнаете, какие части сайты не индексируются из-за метатегов.