Плохая индексация сайта: список причин

Индексация — это процесс сканирования и занесения в базу данных информации о содержимом страниц сайта. Чем лучше индексация, тем больше поисковик знает о сайте полезного. Плохая индексация сулит плохое продвижение и низкую посещаемость. 

В этой статье рассмотрим причины плохой индексации. Их можно разделить на пять направлений. 

Поисковик не знает о странице 

• Мало времени. На индексацию нужно время. И то, насколько быстро страница окажется в индексе, зависит от разных факторов: наличия ссылок на неё, преднамеренное добавление в индекс, частоты появления новых публикаций.  

Страница недоступна поисковику 

• Сайт недоступен. Проверяете индексацию? Проверьте для начала доступен ли ваш сайт вообще, открывается ли он.  
• Закрытие через файл robots.txt. Проверьте, не заблокирован ли доступ поисковику к созданной странице в файле robots.txt. Файл robots.txt находится в корневой папке сайта. Запрет в нём устанавливается с помощью директивы Disallow. 
• Закрытие через meta-robots. Мета-тег meta-robots позволяет управлять индексацией, аналогично файлу robots.txt. Мета-теги располагаются в области head. В WordPress ими можно гибко управлять с помощью разнообразных плагинов. Если случайно включить эту опцию, то страница не попадёт в индекс. 
• Закрытие через User-agent или IP поисковика. Некоторые поисковики на слабых хостингах создают большую нагрузку, от которой сайт становится недоступным. В этом случае хостинг автоматически блокирует его по User-agent (проще говоря, по его уникальному имени) или по его IP. Выяснить о такой блокировке можно в поддержке хостинга.  

Страница находится под санкциями 

• Фильтры поисковиков. У поисковиков есть множество алгоритмов, которые определяют качественный перед ним сайт или нет. И сегодня алгоритмы развились очень сильно и действительно плохой сайт окажется под санкциями, и он не будут на хороших позициях или вообще будут отсутствовать в поиске. Основные причины наложения санкций следующие: некачественный, неуникальный контент, много рекламы, создание сайта только для поисковика, искусственное воздействие на результаты поиска, наличие на сайте вируса. 

Наличие технических ошибок на странице 

• Не правильный HTTP заголовок. Код ответа страницы, которая должна попасть в поиск, обязательно должна быть 200. Если она отдаёт какой-либо другой код, то в поиск она не попадёт. Популярные другие коды такие: 404 – страницы нет, 403 – доступ запрещён, 500/501/502/503 – страница не может быть отображена, сервер завис. 
• Неправильные редиректы. Редирект — это перенаправление с одного адреса на другой. Популярные коды ответов редиректа — это 301 (постоянное перенаправление) и 302 (временное перенаправление). При первом старый URL удаляется из индекса, и записывается новый. При втором старый URL остаётся в индексе. Если перепутать это, то возникнут сложности в индексации. Кроме того, технически неверное создание перенаправления тоже ухудшает индексирование.  
• Слишком долгая загрузка страницы. Проблема, которой часто страдает WordPress в непрофессиональных руках – медленна работа. Бывает, что страница отдаёт код ответа 200, но загружается так долго, что поисковик не может её полноценно просканировать и получить этот ответ. В результате содержимое остаётся неизвестным. Правильная техническая оптимизация сайта поможет избавиться от этого недостатка WordPress. 

Плохое качество страницы 

• Контент есть на других сайта. Публикация неуникального контента не позволит проиндексировать сайт. Если такого контента будет много, то весь сайт окажется исключённым и поиска. Профессиональные вебмастера не совершают таких ошибок, так как перед публикацией проверяют статьи на уникальность. А вот новички могут столкнуться в этой проблемой. Копировать текст с других сайтов нельзя. 
• Контент есть в других частях сайта. Ещё один недостаток WordPress — это создание дублей: когда по разным URL находится одинаковый контент. Избавиться от этого можно очень легко – с помощью правильного файла robots.txt или верной настройки используемого SEO плагина. Однако, если страница не попадает в индекс, проверить сайт на наличие дублей тоже нужно. Вдруг вы что-то упустили.  
• Слишком мало текста. Текст является наиболее ценным рабочим материалом в SEO. И если его слишком мало, то поисковик не сможет определить качественная ли эта страница или нет. Какой минимум? По заявлениям поисковиков нужно публиковать не меньше 500 символов. Но всё-таки лучше, чтобы было от 1 000 символов. В идеале же нужно делать не менее 2 000 символов.  
• Глубокий уровень вложенности. Создание большого количества подрубрик в WordPress создаёт глубокий уровень вложенности. То есть, страница, которую нужно проиндексировать, находится, например, по адресу example.com/category/subcategory/subsubcategory/post-name. У неё будет четвёртый уровень вложенности. А для удачного индексирования рекомендуется делать не более второго уровня. Поэтому не стоит увлекаться подрубриками.