Как ни странно, иногда работа вебмастера заключается в том, чтобы сделать так, чтобы поисковик не индексировал ту или иную часть сайта. Это может потребоваться в тех случаях, когда на страницах содержится неуникальный контент, или, если речь идёт о дублях страниц, так же не нужно быть в поисковой выдаче страницам, созданным для почтовых рассылок, для узкой целевой аудитории, техническим частями сайта, служебным и другим.
Может быть ещё множество причин, зачем следует запретить индексацию. И, как бы то ни было, если вы зашли на эту страницу, значит у вас появилась такая причина. В этой статье мы расскажем вам о методах, которые позволят надёжно спрятать страницу от поискового индексирующего робота.
Файл robots.txt
Файл robots.txt – это инструмент, который обязательно должен быть на каждом сайте. В нём прописываются участки сайта, которые не следует индексировать. Так, для каждой CMS существуют свои robots.txt, содержащие строки для запрета индексации технических частей сайта. О robots.txt для WordPress мы рассказали здесь.
Чтобы запретить к индексации ту или иную страницу, нужно записать строку с директиву Disallow, где следует прописать URL запрещаемой части сайта.
Данный способ является самым простым, и при этом надёжным. Если всё сделать правильно, то он будет прекрасно работать.
Установка мета-тега noindex
Мета-тега noindex запрещает поисковым системам индексировать ту или иную страницу сайта. Данный мета-тег можно установить непосредственно в коде страниц. Но в условиях WordPress, чтобы запретить индексацию, практичнее использовать какой-либо SEO плагин, например, Yoast SEO или All in One SEO. Каждый из этих плагинов создаёт в редакторе записей и страниц блок опций, среди которых есть и возможность включения мета-тега noindex
Установка редиректа
Редирект – это перенаправление, которое создаётся на уровне программного обеспечения хостинга. Если сделать редирект, то поисковой робот, пришедший на одну страницу, будет перенаправлен на другую, таким образом, первая страница не будет проиндексирована.
Особенность метода в том, что и посетители тоже не смогут попасть на эту страницу, так как перенаправляться будут все. Поэтому используйте его только тогда, когда понимаете, что он вам нужен.
В условиях WordPRess редирект можно сделать с помощью плагинов. Либо можно внести изменения в файл .htaccess, чтобы не нагружать сайт плагинами ради одного перенаправления.
Есть и другие способы запретить индексацию, но эти методы являются самыми удобными и практичными.