10 причин почему не индексируется сайт

Иногда у вебмастеров возникает серьёзная проблема – не индексируется. Под этим понимается то, что страницы никак не попадают в поиск, ни на какие позиции вообще. После осознания этой проблемы начинаются серьёзные и лихорадочные поиски причин и способов её решения. И, надо сказать, не всегда удаётся сразу быстро найти их, особенно новичкам.

В этой статье мы приведём десяток частых причин, почему не индексируется сайт. Если вы столкнулись с этой проблемой, то пройдитесь по этим причинам и проверьте, нет ли их у вас. Вероятно, что это поможет запустить наконец индексирование.

Как долго индексируется сайт

Перед началом рассмотрения причин не индексации нужно упомянуть о допустимых сроках этого процесса.

Многие уже знают, что поисковики очень медлительны. Порой для внесения изменений в результаты поиска им необходимо несколько месяцев. Поэтому, если результатов индексации не видно через день-два после добавления сайта в поисковики, то не нужно беспокоиться. Это нормально.

Можно смело дать поисковику две-три недели на индексацию нового сайта. И только после истечении этого срока, если страницы не попадают в поиск, следует бить тревогу и искать причины.

Поисковики ещё не знают о сайте

Самая первая причина, почему не индексируется сайта — это то, что поисковики его ещё просто не увидели. C этой проблемой чаще всего сталкиваются именно новички, так как те, кто уже делал и продвигал свой сайт, знают, что его нужно добавить в Яндекс и Google.

Процедура добавления в поисковики не такая уж и трудная, мы не станем здесь её подробно рассматривать. Чтобы дать старт индексации, нужно сделать это. И после добавления результаты появятся в течение двух-трёх недель.

Сайт закрыт от индексации в файле robots.txt

Файл robots.txt управляет индексацией. Он определяет, какие страницы нужно индексировать, а какие нет. Иногда перед запуском проекта, в этом файл сайт полностью запрещается к индексации, что бы поисковик не видел пока ещё некачественные страницы.

В результате в поиск выкатывается сайт, который забыли открыть для поисковиков и возникают проблемы с попаданием страниц в поиск.

Поэтому если вы думаете о том, почему не индексируется сайт, следует заглянуть в robots.txt. Чаще всего закрытие всего сайта происходит такой конструкцией кода в этом файле:

User-agent: *
Disallow: /

Включены приватные настройки

В WordPress есть встроенная приватная опция, включение которой так же, как и robots.txt закрывает весь сайт от индексации. Её включают по тем же соображениям – чтобы сырые страницы не попадали в поиск.

Управлять этой опцией можно в пункте консоли “Настройки”, подпункте “Чтение”. Называется она “Видимость для поисковых систем”, чтобы произошла индексация, нужно снять галочку.

Закрытие мета-тегом noindex

В WordPress редко приходится сталкиваться с такой проблемой, но упомянуть её нужно. Суть в том, что сайт закрывается для поисковиков с помощью мета-тега noindex. Найти и увидеть его можно в исходном коде, выглядит он так:

meta name=»robots» content=»no index, nofollow»

Такой код может появиться в следствии настроек SEO плагина или особенностей активированной темы.

Большое количество ошибок сканирования

Если сканирующий робот при индексировании постоянно натыкаться на разнообразные ошибки, то в результате он может вообще перестать сканировать сайт. Поэтому страницы в поиске не окажутся.

В кабинете Goolge и Яндекс можно просматривать статистику сканирования и видеть, есть ли ошибки. Если они есть, то их нужно как можно скорее исправить. Как правило, при обнаружении ошибок отправляется уведомление вебмастеру от поисковика.

Сайты закрыт от индексации файлом .htaccess

.htaccess управляет конфигурацией сервера, в нём можно включать и настраивать разнообразные возможности. Так может быть установлено и закрытие от индексации поисковиками.

Этот файл находится в корневой папке. Если наблюдаются проблемы с попаданием страниц в поиск, то нужно найти .htaccess и проверить его на наличие соответствующего кода.

Нестабильная работа хостинга

Если решается вопрос о том, почему не индексируется сайт, то нужно обратить внимание на то, как качественно он работает, нет ли у него сбоев, всегда ли он доступен. Это в первую очередь зависит от качества хостинга.

Если сайт часто “падает” и бывает недоступным для посещения, то поисковик не сможет его просканировать. В результате сканирующий робот вообще перестанет заходить, и индексация не произойдёт.

Плохая индексация AJAX/JavaScript

Некоторые темы на WordPress используют технологии AJAX/JavaScript, для которых требуется выполнять особые настройки для успешной индексации. В некоторых случаях индексация страниц с использованием этих технологий не проходит как нужно. Поэтому лучше вообще отказаться от преобладания AJAX/JavaScript на сайте.

Много неуникального контента

Если на сайте много страниц-дублей или просто неуникального контента, то на него будет наложен фильтр, который исключит его из поиска. В результате индексация не произойдёт. Поэтому следует проверить проект на наличие дублей страниц, а статьи на уникальность.

Медленная скорость загрузки сайта

Если страницы загружаются очень медленно, то сканирующему роботу надоест ждать, и он перестанет его индексировать. Если вы решаете вопрос о том, почему не индексируется сайт, то нужно проверить скорость загрузки и улучшить её, если она низкая.