Содержание

1. Введение
2. Эволюция алгоритмов Google
3. Понятия и определения
4. Постановка задачи и исходные данные
5. Программы и сервисы, используемые для обработки данных
6. Краевые эффекты
7. Исходная информация, полученная в результате эксперимента
8. Статистика сайтов в каждой группе
8.1 Распределение дорвеев в каждой нише
8.2 Количество дорвеев в каждой тематике
9. Определение основных игроков
9.1 Анализ основных игроков среди белых сайтов
10. Выводы
11. Заключение

1. Введение

Поисковый трафик традиционно считается наиболее ценным с момента появления поисковых машин в сети Интернет. Тысячи вебмастеров ежедневно трудятся над оптимизацией сайтов, с целью получения нужных позиций в результатах поиска. Не секрет, что трудозатраты и стоимость продвижения сайта очень сильно зависят от тематики и частотности запросов. Более того, для различных ниш присущи различные механизмы продвижения. Естественно, что серьезным двигателем появления новых технологий продвижения является конкуренция между игроками рынка.

С появлением новых механизмов конвертации трафика грань между коммерческими и некоммерческими запросами стала размываться. Однако и сейчас можно утверждать, что существуют области запросов, где идет напряженная борьба между участниками рынка, а есть тематики, где поисковый трафик менее привлекателен.

Поисковые машины, тоже, в свою очередь не стоят на месте. Постоянно совершенствуются механизмы ранжирования, наращиваются серверные мощности, вводится модерация поисковой выдачи и так далее. Это приводит к тому, что технологии, которые давали гарантированный результат вчера, сегодня могут быть уже не актуальными.

Однако количество пользователей сети Интернет неуклонно растет. Растет и объем информации, представленной на сайтах. Сложно сказать, когда объем вычислительных мощностей поисковиков будет достаточно велик, что бы обеспечить релевантную выдачу по всем тематикам и запросам, интересующим пользователей. На данный момент, изучая результаты поиска можно увидеть как серьезные, контентные сайты, так и поисковый спам (дорвеи). В различных тематиках соотношение между этими группами будет различно. Мы не будем касаться этических и экономических аспектов поискового спама. Это тема для отдельной дискуссии.

Целью данного доклада будет анализ выдачи ведущей поисковой системы Google в зависимости от тематики и частотности запросов.

2. Эволюция алгоритмов Google

Поисковая система Google довольно быстро стала популярной благодаря качеству поиска. Во многом благодаря революционной технологии Page Rank'а. За короткий промежуток времени Google обогнал по посещаемости всех конкурентов, став мощнейшим источником трафика для сайтов. Естественно, что появилось много вебмастеров, специализирующихся на оптимизации сайтов под Google.

В частности, широкое распространение получили "черные" методы оптимизации. Особенно индустрия поискового спама стала популярной после появления множества партнерских программ и Pay-Per-Click систем.

Для любой поисковой системы проблема "спама" является одной из самых насущных. Для борьбы со спамом Google стал принимать энергичные меры. Так, многие помнят нашумевшие технологии Florida, Hilltop, Trust Rank и др. В результате введения новых алгоритмов количество недобросовестных ресурсов резко сокращалось. Затем, технологии продвижения совершенствовалась, и в выдаче опять появлялись "дорвеи".

Справедливости ради, надо сказать, что с введением всех этих алгоритмов качество поиска Google неизменно улучшалось. А продвижение "недобросовестных" ресурсов все более ресурсоемко и экономически затратно. Наиболее быстро усилия по преодолению новых фильтров и алгоритмов реализуются в коммерческих нишах. Соответственно, со стороны Google этим направлениям и тематикам уделяется пристальное внимание.

С некоторого времени становится очевидно, что в различных тематиках поисковые результаты Google ведут себя по-разному.

3. Понятия и определения

Перед началом анализа нам необходимо ввести некоторые определения, что бы исключить разногласия в толковании результатов. Задача не из легких, поскольку Интернет общественность так и не пришла к единому мнению, что считать качественным сайтом, а что считать поисковым спамом.

Начнем с поискового спама (дорвеев). Определений данной технологии давалось очень много. Вот одно из них:

Дорвей (англ. doorway) - технология, часто используемая как метод поискового спама. Страница сайта, оптимизированная под одну или несколько поисковых фраз с целью попадания на высокие места в результатах поиска. Автоматически созданный дорвей содержит случайный текст, в котором периодически встречается нужная поисковая фраза, и потому не приносит посетителю никакой пользы. Созданный вручную дорвей может быть осмысленной страницей по узкой теме, полезной и нужной пользователю.

Подобные определения не дают четких данных для выявления дорвеев. А более однозначных определений, увы, нет. Кроме того, с развитием технологий искусственно созданные сайты приобретают все более осмысленный вид. Порой, отличить качественный дорвей от нормального, контентного сайта под силу только профессионалу.

С определением качественных контентных сайтов дело обстоит еще сложнее. Порой обычная HTML страница с текстом обладает большим весом, чем сайт над которым трудятся солидные компании.

Исходя из этого, можно утверждать, что человек, который поставил себе целью выявить в результатах поиска дорвеи, будет руководствоваться скорее субъективными, чем объективными ощущениями.

Однако для поисковых машин такие оценки не уместны. Поисковые машины отделяют поисковый спам от контентных сайтов по множеству признаков. Набор этих признаков и их вес в принятии решения является тайной. Кроме того, технологии определения спама постоянно эволюционируют, используются новые методы оценки.

В силу вышеперечисленных обстоятельств, будет уместно абстрагироваться от популярных определений "белых" и "черных" сайтов. Для нашего анализа будет гораздо удобнее воспользоваться результатами выдачи Google и ввести новые определения с некоторыми допущениями.

"Белыми" сайтами мы будем считать сайты, которые находятся в поисковой выдаче Google значительное время по отношению к времени эксперимента (от 18 дней).

Поисковым спамом (дорвеями) будем называть сайты, которые находились в выдаче короткий промежуток времени (меньше недели).

Данные определения стоит воспринимать скорее как "вероятностные". Очевидно, что вероятность обнаружить дорвеи в первой группе гораздо ниже, чем во второй.

Однако, надо понимать, что эти определения не дают 100% однозначности определения "белых" сайтов и поискового спама. Возможны ситуации, когда в результате изменения результатов выдачи качественные сайты пропадают из поиска. Примером могут служить новостные сайты, которые публикуют материалы по рассматриваемым тематикам. После того, как содержимое страниц изменяется, страницы сайтов, со временем, пропадают из результатов поиска по данным запросам. Так же, среди сайтов, которые находятся в выдаче достаточно давно, можно обнаружить искусно подготовленный поисковый спам.

Однако можно смело утверждать, что влияние этих сайтов на картину в целом не так значительно. Кроме этого, надо учитывать, что при анализе нескольких сотен тысяч запросов невозможно подойти к рассмотрению каждого сайта индивидуально.

4. Продлжение