Дубли страниц – последствия древовидных комментариев

У WordPress есть одно замечательно достоинство – древовидные комментарии, когда ответ одного пользователя отображается под тем комментарием, на который он отвечал. Древовидность может иметь несколько уровней вложенности. Но у этой CMS возникает негативный побочный эффект – дубли страниц, появляющиеся при каждом новом комментарии в дереве структуры.

Дубли страниц, как известно, негативно влияют на продвижение сайта – страницы с одинаковым содержимым, но по разным адресам считаются поисковыми роботами, как взаимонеуникальные разные страницы, и понижаются как плагиат друг друга. Эффект неприятный. Рассмотрим, как от него избавиться.

Google и replytocom

Страницы с древовидными комментариями имеют в конце URL слово replytocom. Для Яндекса и большинства других поисковиков можно запретить к индексированию эти страницы с помощью стандартного метода – через robots.txt, прописав в этом файле:

Disallow: /*?replytocom

Disallow: /?replytocom

Однако, Google известен своим частичным игнорированием robots (от чего появляются так называемые сопли, о которых мы писали тут). Поэтому replytocom появляется в поисковой выдаче, как дубли страниц. Хоть и только в «соплях», от них лучше избавиться.

Как убрать replytocom

Чтобы убрать replytocom из дублей страниц, есть два хороших способа. Один из них связан с редактированием файла .htaccess. Этот метод удобен тем, что позволяет устранить replytocom сразу для всех поисковых роботов, этих страниц просто не будет существовать, они станут зеркалом.

Чтобы сделать это, записываем в .htaccess

RewriteCond %{QUERY_STRING} ^replytocom= [NC]

RewriteRule (.*) $1? [R=301,L]

Как видим, дубли страниц с replytocom передаются через редирект 301.

Другой способ попроще и работает только для Google. Заходим в панель вебмастера Google, переходим в пункт «Сканирование» и подпункт «Параметры URL». Здесь в разделе «replytocom» нужно выбрать «Изменить» и затем, в следующем окне выбрать пункт «Да». Всё, теперь Google не будет индексировать эти страницы.

Если дубли страниц уже появились в индексе, то их лучше удалить вручную из поиска. Если этих страниц собралось уже много (порой доходит до 1 000 и больше), придётся тратить очень много времени на их удаление. Однако можно попробовать понадеяться на автоматичность Google, возможно страницы попозже сами исключатся их поиска.