Название самой популярной поисковой системы по русскоязычному Интернету, т.е. Яндекса, означает "Языковой index", а также имеет несколько других схожих трактовок, общий смысл которых выражается слоганом "Найдется все". Прогрессирующая конкуренция среди поисковых машин заставляет более предвзято относиться к подобным обещаниям, т.к. мало найти все, надо уметь найти самой главное. Однако поисковая система Яндекс довольно успешно с этим справляется, чем и оправдывает право называться сегодня самым посещаемым ресурсом Рунета.

Официально поисковая машина Яндекс была представлена в сентябре 1997 года и сразу же начала победное восхождение на вершины славы. Периодом наиболее бурного развития Яндекса был 1999 год, характеризующийся молниеносным увеличением Рунета как в объемах текстов, так и по количеству пользователей почти на порядок.

В конце 2002 года Яндекс вышел на самоокупаемость, т.е. достиг превышения доходов над расходами. В данный момент более 60% доходов Яндекс получает от контекстной рекламы и около 20% - за переходы пользователей в электронные магазины. Известность принесла не только славу, но и трудности, проявившиеся в очередях на покупку рекламных мест на портале.

Сегодня Яндекс - это крупнейший портал, предоставляющий кроме поискового сервиса и каталога большое количество разнообразных веб-служб: новости, энциклопедии, словари, каталоги товаров, бесплатную почту, хостинг, платежную систему и многое другое.

Ежедневно портал посещают около двух миллионов человек с учетом зарубежных гостей. При этом из всех российских пользователей, заходящих в Сеть в течение дня, в среднем около 75% посещают и сайт Яндекса.

За последние полгода Яндекс особенно усилил свои позиции, что отразилось в увеличении посещаемости примерно на 60% и достижении цифры в почти 10 млн. человек в месяц (около 80% приходят из Рунета). На данный момент Яндекс вдвое популярнее Рамблера и на столько же популярнее остальных поисковых систем русскоязычного Интернета вместе взятых. Поиск остается самой востребованной функцией портала, который обрабатывает в месяц около 150 млн. запросов.

Яндекс обладает наиболее полным и актуальным индексом страниц русскоязычного Интернета. Качественный поиск обеспечивается тщательной лингвистической и технической проработкой текстов. Алгоритм нечеткого поиска, а также качественный морфологический и синтаксический анализ позволяют Яндексу понимать запросы на естественном языке. Поэтому начинающие пользователи, чтобы не утруждать себя правилами использования служебных слов при построении поисковых запросов, могут их формулировать, например, так: "где арендовать офис в центре Минска". Средняя длина запроса на Яндексе примерно равна 2,8 слова, а в 1997 году она составляла 1,2 слова. Приведенные цифры отражают тенденцию повышения уровня владения интернет-пользователями возможностями информационного поиска.

Яндекс прекрасно понимает русский язык и может образовывать и понимать любые словоформы. Например, если введен запрос на слово "думать", то машина выдает результаты поиска также и по словам "думал", "подумавши" и даже "разум".

Паук Яндекса индексирует все документы в русскоязычной части Интернета, в том числе и в странах СНГ. Наши белорусские пользователи отдают подавляющее большинство запросов на поиск информации именно Яндексу, оставляя далеко позади местные поисковики. Для поиска по Байнету желательно установить в настройках поиска ограничение по региону (http://www.yandex.ru/regions.html).

Ежедневно Яндекс решает во благо пользователя такие же насущные проблемы, как и любой другой известный поисковик: корректного ранжирования, обновления и синхронизации индекса, работы с различными языками и кодировками, дублирующейся информации, поддержания свежести базы данных и т.д.

Размер индексной базы наряду с качеством поиска является одним из основных показателей, характеризующих поисковую систему. Примером тому служит молниеносный рост популярности таких машин как Google и Fast, который идет пропорционально развитию объема их индекса. Рост базы Яндекса кроме технических проблем, которые он успешно решает благодаря кластерной структуре (т.е. размещению индекса на нескольких серверах), сталкивается с необходимостью отсеивать повторяющиеся документы, происхождение которых многообразно. Один и тот же документ может быть представлен в различных кодировках и форматах, может содержать незначительные включения в виде даты публикации, рекламы или ремарок другого автора. Активному копированию и редактированию постоянно подвергаются новости, юридические документы, прайс-листы, статьи.

Поисковой машине не выгодно хранить дублированные документы в базе, а также засорять выдачу почти одинаковыми документами. Методика Яндекса по выявлению дубликатов постоянно совершенствуется. Ее необходимо учитывать, соблюдая такие правила. Если сайт имеет несколько зеркал, то первым индексацию в Яндексе должно пройти главное из них, т.к. часто остальные идентичные сайты игнорируются. Например, если на сайте размещаются перепечатанные с других ресурсов статьи, то, чтобы избежать попадания страницы в дубликат и исключения из результатов поиска, можно разбить текст статьи на несколько частей или использовать побольше побочного текста (ремарок редактора, перекрестных ссылок на материалы подобной тематики этого же сайта и т.д.). И наоборот, если ресурс продвигается за счет публикуемых на нем статей, чтобы после перепечатки на другие сайты статья не была идентифицирована Яндексом в качестве дубликата, не рекомендуется ставить с этой страницы ссылки на перепечатанные варианты, а, наоборот, со страниц-дублеров ссылаться на оригинал.

Яндекс как мощная поисковая система обходит Сеть за несколько дней. Однако по мере роста системы основная нагрузка ложится уже не на индексирующего робота, а на поиск и выдачу результатов. В ближайшее время планируется активное внедрение на Яндексе традиционных для многих систем с мировым именем технологий эшелонирования и прюнинга. Суть первой методики состоит в разделении индекса на две части: более релевантную и менее релевантную. Сначала поиск осуществляется в первой и, если результат не удовлетворяет количественно, поисковая машина обращается ко второй части индекса.

Технология прюнинга (от англ. pruning - отсечение, сокращение) позволяет динамически прекращать обработку запроса при накоплении достаточного количества релевантной информации. Эта технология значительно сокращает время поиска и нагрузку на поисковик, тем более, заведомо известно, что большинство пользователей при просмотре результатов поиска чаще всего не заходят далее третьей страницы результатов.

Главный критерий приема сайта Яндексом - это текст, написанный на русском языке. Поисковая система имеет достаточно быстрый поисковый робот, который позволяет при первичной индексации странице уже через 2-4 часа появляться в результатах поиска. Далее страница ставится системой в очередь на полную индексацию, после которой она иногда может пропасть из результатов поиска, если будет принята за спам, или из-за каких-либо технических проблем. Поэтому позицию страницы нужно отслеживать в течение нескольких дней, пока Яндекс проведет полную индексацию. Кроме того, список результатов, выдаваемых Яндексом, может меняться зависимости от загруженности серверов. После индексации главной страницы, остальные обычно включаются в индекс примерно через две недели.

Яндекс, обнаруживая новую или измененную страницу, индексирует ее, разбивая документ на элементы: текст, заголовок, подписи к картинкам, содержимое тега описания, текст ссылок и некоторые другие. При этом учитываются позиции слов, то есть их положение в документе или его элементе. Сам документ Яндекс не хранит, поэтому и создает очень компактный индекс. Робот регистрирует дату последнего обхода каждой страницы, дату ее изменения, присланную сервером, и дату внесения последних изменений в базу. Яндекс оптимизирует обход Сети таким образом, чтобы чаще посещать наиболее изменяемые ресурсы. Обычно переиндексация происходит раз в две-три недели. Изменения, внесенные в уже проиндексированные страницы, робот отслеживает самостоятельно при следующем заходе на сайт.

У робота Яндекса свой график деятельности и изменить его, например, как в других поисковиках, не представляется возможным, т.к. Яндекс игнорирует тег .

Чтобы выяснить, проиндексировал ли Яндекс сайт, необходимо на странице www.yandex.ru/addurl.html ввести в поле регистрационной формы адрес сайта и проанализировать результаты. Если будет выдано сообщение что "Ваш URL был только что внесен в нашу базу данных", это значит, что сайт будет проиндексирован в ближайшее время. Если получено сообщение "Ваш URL уже проиндексирован. Вы можете посмотреть, какие страницы вашего сайта проиндексированы в Яndex.Ru к настоящему времени", то, нажав на ссылку "проиндексированы в Яndex.Ru", можно получить весь список документов ресурса, которые были проработаны поисковиком. Если регистрируемый сайт пропал из результатов поиска (чаще всего по техническим причинам самой машины), можно воспользоваться описанным выше способом, чтобы убедиться, что сайт все-таки прописан в индексе. Обычно при этом выдается сообщение о том, что "Ваш URL уже известен роботу. Данный ресурс будет проиндексирован в ближайшее время".

Яндекс постоянно совершенствует поисковый механизм. Последние изменения оказались наиболее кардинальными и внесли новизну не только в способ формирования результатов выдачи, но и значительно расширили возможности поиска. Чтобы составить о Яндексе полное впечатление, необходимо обязательным образом рассмотреть факторы, которые влияют на рассчитываемую поисковиком релевантность страниц введенному запросу.

Стремясь удерживать лидирующие позиции лучшего поисковика по русскоязычному Интернету, Яндекс постоянно совершенствует алгоритм расчета релевантности страниц, заимствуя передовые идеи у машин с мировым именем. Последние изменения, внедренные Яндексом, оказались наиболее кардинальными.

На сегодняшний день стало ясно, что поиск не может быть эффективным и корректным, если он основан только на анализе текста документов, т.к. внетекстовые факторы могут играть не меньшую роль, чем сам текст. Поисковая машина должна учитывать положение страницы на сайте, авторитетность источника, частоту обновления, цитируемость страницы. Сочетание этих факторов может дать более полноценную картину о деятельности ресурса и его восприятии сетевой общественностью, чем анализ только текстового содержимого. Поэтому Яндекс постепенно внедряет в свою практику анализ влияния подобных факторов на релевантность страницы запросу пользователя.

При анализе текстовых критериев релевантности Яндекс учитывает:

Нетекстовые критерии, учитываемые Яндексом, можно условно разделить на три вида:

К первому типу критериев относят индекс цитирования (ИЦ) Яндекса, который определяется как совокупность всех страниц, ссылающихся на данную (включая и страницы данного сайта). На Яндексе ИЦ исследуемого ресурса можно узнать по адресу http://yandex.ru/info/cy.html#cycounter.

Индекс цитирования Яндекс рассчитывает для всех ресурсов, ссылки на которые были найдены им в русском интернете, при условии, что результирующее значение тематического ИЦ для них не меньше 10. При учете ИЦ Яндекс наверху результатов поиска по запросу выдает несколько ссылок на сайты, зарегистрированные в своем каталоге.

При подсчете ИЦ не берутся во внимание ссылки с форумов, электронных досок, конференций. Кроме того, Яндекс не учитывает ссылки с сайтов, которые не были ими проиндексированы.

Учет при расчете релевантности ИЦ был очень популярен в зарубежных поисковых системах примерно до 1998 года. Однако из-за того, что этот показатель легко подвергается накрутке и не учитывает качество самих источников, дополнительно ввели его усовершенствованные версии - тематический и взвешенный индексы цитирования (тИЦ и вИЦ соответственно). Эти два показателя по указанной выше классификации нетекстовых критериев расчета релевантности относят к ссылочно-расчетным.

Для быстрого анализа индекса цитирования можно использовать специальный плагин Яндекс.Бар для Internet Explorer 5-6. Модуль, который можно скачать по адресу http://bar.yandex.ru/, формирует в браузере дополнительную панель инструментов. При этом расширяются возможности поиска и просмотра страниц, а главное, отображается взвешенный индекс цитирования. Индикатор показывает "весомость" и "авторитетность" сайта, просматриваемого в данный момент браузером, позволяет узнать раздел каталога Яндекса, в котором зарегистрирован ресурс, и список ссылающихся на него сайтов.

В начале 2000 г. учет поисковыми алгоритмами качества ссылочной политики сайта был взят за основу при модификации наиболее популярных зарубежных поисковых систем, уточнивших методику ранжирования результатов. Яндекс, следуя общемировой тенденции, также научился учитывать не только количество ссылок, но и их качество. В связи с этим им рассчитывается три вида индекса цитирования: ИЦ, вИЦ и тИЦ (взвешенный с учетом тематики).

Т.к. все ссылки на некоторый ресурс нельзя признать равными, используется ранжирование их ценности, т.е. определение веса ссылки. Чем популярнее ресурс, тем больше вес, а значит, качество ссылки. Т.о. ВИЦ сайта определяется не количеством ведущих на него ссылок, а суммой их весов.

Тематический индекс цитирования рассчитывается по специальному алгоритму, в котором главную роль играет близость тематики анализируемого ресурса и ссылающихся на него сайтов. При подсчете используется количество ссылок на сайт и их тематический вес.

При анализе ресурсов на степень схожести тематики исследуется их взаимное положение в каталоге Яндекса. Например, сайты, расположенные в одной рубрике каталога, считаются близкими по тематике. Однако только этого фактора мало для того, чтобы полноценно рассчитать тИЦ ресурса. Чтобы решить эту проблему, Яндекс позаимствовал у Гугла уже отработанную "человеческую" технологию использования асессоров - специалистов, выносящих вердикт о релевантности страницы.

Некоторые зарубежные поисковики уже давно применяют практику использования человека для оценки релевантности результатов поиска. Приход новой методики работы асессоров на Яндекс должен был частично заменить учет оценки интервала между кликами одного и того же пользователя на разных позициях в результатах поиска. Анализ кликов теперь используется Яндексом, но для других целей, например, для интегральной оценки качества поиска. Непосредственно для настройки качества поиска эти данные не годятся, т.к. пользователи делают выбор только по цитатам из документов и адресам страниц. Асессоры же работают по более полноценной методике. Однако Яндекс не отказался от старого способа, а просто удачно совместил их, получив тем самым синергетический эффект. Благодаря работе асессоров поисковый механизм Яндекса отделяет тематические ссылки, т.е. связывающие сайты одинаковой тематики, от любых других. Т.о. для оценки качества поиска Яндексом совмещаются как автоматические, так и ручные методы оценки.

Ссылочно-текстовые критерии, учитываемые Яндексом при определении релевантности страницы, основаны на анализе текста ссылок. При этом, если содержимое запроса совпадает с содержимым тега ссылки, в результатах поиска выдается адрес, указанный в теге. При этом в результатах поиска такая страница выводится Яндексом без титула и сопровождается текстом: "адрес найден по ссылке".

Т.о. для высоких позиций в Яндексе оптимизируемый сайт должен иметь как можно большее количество входящих ссылок, увеличивающих ИЦ, вИЦ и тИЦ, расположенных на ресурсах, близких по тематике исходному.

При ранжировании результатов поиска по запросу пользователя Яндекс учитывает не только наличие ссылок на эту страницу с других страниц, но и их текст. Поэтому при верстке html-кода рекомендуется ссылаться на различные страницы сайта с использованием характерных ключевых слов и словосочетаний. А также стараться выделять несколько страниц, которые будут посвящены высококонкурентным темам, и ставить на них ссылки как можно чаще.

Однако гонка за высокими показателями ссылочных критериев приводит к определенным трудностям. Оптимизированная ссылочная структура сайта не должна затруднять полную индексацию сайта поисковой системой. Для этого желательно уменьшать число уровней иерархии, т.е. количество ссылок, которое должен пройти робот Яндекса, чтобы проиндексировать самую глубокую страницу сайта. Если же структура сайта имеет более 3-4 уровней желательно вынести наиболее важные внутренние ссылки на отдельную страницу.

Для того, чтобы правильно задать тематическую концепцию ресурса, содержащего разнородную информацию, необходимо при проектировании распределять страницы сайта по разделам, посвященным отдельным темам, и правильно связывать между собой страницы каждого из разделов. Главная страница или карта сайта, в свою очередь, должны ссылаться на одну из страниц каждого раздела. Т.о. при оптимизации сайта под Яндекс необходимо особое внимание уделять соблюдению тематической целостности ресурса.

Как видно из изложенного выше материала, Яндекс постоянно вносит коррективы в методику расчета релевантности страниц. Одними это воспринимается как очередной камень преткновения для оптимизаторов, другими - как благо. Однако в целом качество поиска постоянно улучшается, чем довольны все. Сегодня Яндекс заслуживает особого внимания, поэтому знание его возможностей, а также методов улучшения показателей, которые берутся им при расчете релевантности страниц, необходимо для любого пользователя.

Автор: Татьяна Зуенок

Источник