Дубли страниц — это распространенная проблема, которая возникает из-за того, что какая-либо страница сайта доступна по нескольким адресам. Например, example.ru и www.example.ru – это по сути две разные страницы для поисковых систем. Конечно, сейчас они уже автоматически могут определять какую копию допускать в поиск, а какую нет, но никто не застрахован от каких-либо сбоев в системе. Поэтому стоит использовать редиректы и другие способы защиты от копий страниц на своем сайте.
Если у вас много дублированного контента в индексе поисковых систем, то это может очень плохо сказаться на продвижении вашего сайта. Самые распространенные дубли — это «www» и «/» в конце. Кроме того во многих CMS всегда есть какие-либо дубли страниц, или страницы, которые стоит закрыть от индексации, в том числе такие есть и в WordPress.
Как избавиться от дублей страниц на сайте
Самый сложный и самый эффективный способ — это настроить 301-редирект на сайте. Это отличное решение, если вы хотите, чтобы при заходе на сайт с «www», пользователя автоматически перенаправляло на версию без «www». Вам не нужно специально что-то настраивать для Яндекса или Гугла, потому что они сами начнут индексировать только одну версию сайта. Для создания 301-редиректа необходимо уметь пользоваться файлом .htaccess. Конечно, в сети есть множество разных статей по настройке этого файла, но не все они работают и результат может оказаться плачевным, потому что .htaccess очень важен и из-за какой-то лишней строчки работа сайта будет нарушена. Но в интернете можно найти сервисы, которые автоматически создают этот файл — вам всего лишь нужно выбрать нужные вам функции.
Если вы пользуетесь CMS WordPress, то плагин All in One Seo Pack станет отличным помощником по решению этой проблемы. Он автоматически ставит тег канонической страницы, и позволяет использовать очень «сильный» метатег – <meta name=”robots” content=”noindex, nofollow”/>. Вставка этого тега на страницу скажет поисковым системам, что ее индексировать не нужно. Конечно, эта страница будет доступна для всех пользователей, но в поиске она никогда не появится.
Файл Robots.txt – это обязательный файл на сайте, если вы используете какую-либо CMS. В нем вы указываете, что поисковым системам индексировать разрешено, а что нет. Ведь у нас нет возможности вставлять на дубли страниц специальный метатег, а этот файл позволяет нам запрещать к индексации копии страниц, при этом не трогая кода. Подробнее про файл robots.txt мы рассказали тут.