Дублированный контент — это когда одинаковая информация находится на двух или более страницах, то есть повторяется. Хоть под дублированным контентом обычно понимают дубли страниц именно на одном сайте, но это не так. Копипаст — это тот же повторяющийся контент. Взяв у одного сайта информацию, и добавив на свой, вы создаете дублированный контент.
Дубли страниц частая проблема у многих веб-сайтов и зачастую это связанно с плохой настройкой и отсутствием технической оптимизации.
Из-за чего появляются дубли страниц
Отображение сайта с www и без www. Если ваш сайт доступен по двум путям, например, «example.ru» и «www.example.ru», то это, хоть и редко, но может создать проблемы с индексацией. Обычно поисковые системы сами определяют канонический URl сайта и www дубли страниц не появляются в индексе, но лучше перестраховаться. Самым легким решением этой проблемы является использование тега <link rel= “canonical”>. Более сложный, но действенный способ — это настроить 301-й редирект.
Теги, категории и главная страница. Вообще не рекомендуется показывать статью полностью в категориях или ленте новых статей на главной странице. Всегда лучше прибегнуть к написанию анонса на пару предложений. Если вам это не подходит и в категориях выводится вся статья полностью, то нужно закрыть категории от индексации, чтобы не отдавать дубли страниц на сайте поисковым системам.
Создание администратором копий страниц. Создавая версию страницы для печати, адрес которой изменен, например, кроме обычной статьи «example.ru/page» будет ещё одна «example.ru/page/print». Это может быть сделано для удобства и ничего плохого для пользователя тут нет, но закрывать это от поисковых систем необходимо.
Способы избавления от дублей
Чтобы проверить дубли страниц на сайте нужно проверять свой контент на уникальность. Если вы видите, что статья, размещенная на сайте, принадлежит не вам, то стоит ее удалить или закрыть от индекса.
Файл robots.txt должен быть обязательно на сайте, если он сделан на какой-либо CMS, а не на голом HTML. Правильно настроенный robots.txt запрещает поисковикам использовать дубли страниц. Например, такая строчка в файле robots: «Disallow: /wp-admin», закрывает административную панель WordPress от индексирования.
На CMS WordPress установите SEO плагины, например, All in one SEO Pack закрывает архивы и другие дубли с помощью тега <meta name=”robots” content=”noindex” />, который работает абсолютно всегда.