В рамках проходившей Search Marketing Expo был проведен саммит посвященный дублированию контента. Со стороны Google в нем принимала участие Ванесса Фокх (Vanessa Fox).

Общее отношение Google к дублированию контента:

• Google хочет показывать в результатах поиска свежий и уникальный контент и предоставляет возможности веб-мастерам избавиться на их сайтах от дублирования контента.
• Само по себе дублирование контента не может повлечь за собой наказания в виде пенальти. Google старается выбирать из дублей только одну копию для показа в результатах поиска.
• Само по себе дублирование контента не может привести к тому, что сайт попадет в дополнительный индекс (suggestion results), хотя косвенно дублирование может повлиять на это.

Некоторые вопросы, обсуждавшиеся на саммите:
Определение предпочтительного варианта URL
Обсуждался вопрос указания предпочтительно варианта URL для поисковых роботов в sitemap, чтобы они могли выбирать из дублирующего контента наиболее предпочтительный вариант.

Предоставление метода для удаления параметров из URL
Обсуждался интерфейс удаления параметров из URL. Например, если URL содержит идентификаторы сессий, то веб-мастер мог бы, указав переменную сессии ID, удалить такие URL, чтобы поисковые системы индексировали прямые URL. Аудитория склонилась к использованию robots.txt для этих целей.

Предоставление способа аутентификации собственника контента
Правильная аутентификация собственника контента поможет поисковым системам показывать в результатах поиска только первоначальный вариант статьи. К сожалению, для решения этой проблемы пока не предложено подходящего решения. Предложения рассматривать сроки создания документов или регистрация контента авторами не выдерживают критики. В настоящее время Google учитывает множество факторов для решения этой проблемы: авторитетность сайта и входящие ссылки например.

Обеспечение отчетов о дублировании контента для владельцев сайтов
Обсуждался вопрос создания системы оповещения владельцев сайтов о дублировании контента уведомлениями по электронной почте или RSS-фида.

Взаимодействие с разработчиками CMS и блогов для решения вопросов дублирования контента
Дублирования контента на сайте может произойти из-за особенностей работы CMS или блога. Например, блог может иметь одинаковый контент на главной странице, странице с постом, странице категории и в архиве. Google (Ванесса Фокс) заявил, что они открыты для обсуждения таких вопросов разработчикам CMS и блогов.

Некоторые вопросы аудитории саммита:
Если я использую атрибут «nofollow» для большого числа внутренних ссылок с целью запретить индексирование дублирующего контента, может ли это вызвать санкции со стороны поисковых систем?
Число таких ссылок не должно вызывать санкций со стороны поисковых систем, но, вероятно, это не самый лучший способ запретить индексацию дублирующего контента. Лучший способ запрета – использование команд в файле robots.txt.

Продолжат ли поисковые системы сотрудничество в ходе альянса Sitemap?
Sitemaps.org появился в ноябре прошлого года и встречи с тех проходят регулярно. В апреле была добавлена возможность сообщать о файлах Sitemap сайтов в файле robots.txt. Планируется продолжение совместной работы, чтобы облегчать жизнь веб-мастнров.

Большинство страниц на моем сайте состоят в основном из графиков. Хотя на каждой странице различные диаграммы, как я могу быть уверен, что поисковые системы не видят их как дублирование контента, поскольку они не умеют различать графические образы?
Для того, чтобы поисковые системы рассматривали эти страницы как уникальный контент необходимо включать уникальный текст на каждой странице (например, различные названия, надписи и описания для каждого графика) и включать уникальный альтернативный текст для каждого изображения. Например, вместо alt=”график”, использовать что-нибудь вроде alt=”кривая, которая показывает дьявольский тренд в течение времени”.

Я синдицировал мои книги для множества сайтов и теперь некоторые из этих сайтов находятся в рейтинге поиска вместо моего сайта. Что мне делать в этой ситуации?
Если Вы свободно распространяете контент своего сайта, то Вам, возможно, придется увеличивать и увеличивать контент своего сайта, чтобы сделать его уникальным.

Как пользователь поисковой системы, я хотел бы видеть дубликаты в результатах поиска. Вы можете дать мне такую возможность?
Google выявил, что большинство пользователей предпочитают не получать дубликаты в результатах поиска. Для того чтобы видеть в результатах поиска дубликаты, точнее дублирующий контент с точки зрения поисковой системы в других документах и на других сайтах, можно, например, добавить парметр «&filter=0» в конец URL для Google и он покажет дополнительные результаты поиска (suggestion results).

Duplicate content summit at SMX Advanced