В поисках показателей соответствия
Раздел: Все поисковые системы 03-12-2004 FAQ оптимизатору на форуме Searchengines
By Danny Sullivan, Editor
December 5, 2002
В прошлом месяце Inktomi спустила с конвейера последнюю модель своей поисковой машины, предоставленную партнерам по бизнесу и пользователям, как MSN.
Но лучше ли Inktomi"s "Web Search 9" от своих предыдущих версий?
Действительно, лучше ли она своих основных конкурентов, таких как Google, AllTheWeb, Teoma и AltaVista?
«С запуском Web Search 9, Inktomi сравнялась, либо обошла все остальные поисковые системы по ряду ключевых показателей: релевантность, новизна и размеры индекса» - говорит Inktomi.
Для подтверждения своих заявлений Inktomi приводит цифры по двум из основных показателей. Они утверждают, что частота посещения их роботами всех документов индексной базы данных по крайней мере раз в две недели. Что касается размера индекса – то говорится о 3 миллиардах веб-документов. Это новая цифра (но Google начал говорить о такой же цифре с прошлого месяца).
А как же насчет релевантности? Поисковой системе Inktomi нечего предложить на этот счет в плане показателей.
Inktomi в изменениях не одинока. В прошлом месяце AltaVista также провела сильные изменения (relaunch – перезапуск).
В пресс релизе (press release), описывающем новые черты AltaVista и проделанные ввиду этого изменения, также отмечается, что AltaVista предоставляет «новый индекс, предоставляющий исключительные, качественные результаты поиска». Подкреплено ли это какими либо цифрами? Нет.
Так где же цифры релевантности?
В то время, как релевантность – наиболее важная черта, предлагаемая поисковиком, к нашему огорчению, не существует повсеместно удобного способа ее оценивания, насколько точны выдаваемые результаты, вводимым запросам.
Как мы убеждаемся, перевод релевантности в цифровые показатели не так-то и прост. Но это задача, которую должна преодолеть индустрия поисковых машин, в пользу своего потребителя.
Измеряя релевантность.
Существуют множество различных способов тестирования поисковых машин. Одни хорошие, другие плохие и очень часто применение тех или иных методов зависит от определенной ситуации. Давайте рассмотрим некоторые из них.
«Анекдотический опыт». Или «Все считают, что…».
Некто сообщает об общем впечатлении, полученном по определенной поисковой машине в рамках изолированного поиска. Например, множество моих читателей, с которыми мне доводилось общаться, продолжают превозносить результаты Google.
Итак, «Все считают, что…» Google великолепен.
Тем не менее, все это говорит в пользу того, что он лучший.
Подобным образом, когда некоторые люди жаловались в октябре на падение релевантности Google, они давали всего лишь «анекдотические» данные на этот счет.
В то время, как защитники Google также подобным образом подкрепляли свои аргументы в обсуждении претензий.
"Mega Search" – вид тестирования, который я нахожу в особенности плохим.
В этом случае кто-нибудь производит поиск, а затем подсчитывает, сколько соответствий нашел каждый поисковик по данному запросу.
Машина с большим числом «попаданий» - выигрывает, даже несмотря на отсутствие оценки качества.
"Ego Search"(именной поиск) – другой способ из числа неважных, но часто проводится в пример корреспондентами и прочими специалистами. В ego search вы ищете ваше название. Если оно не появляется в первых результатах – вы делаете вывод о плохой работе поисковой ситемы.
В некоторых случаях, возможно, это и правильно.
Если я ищу "bill gates," (счет законопроэкт ворота), то вполне очевидно, что я найду найти официальный сайт представителя Microsoft Bill Gates.
Но что, если вы не являетесь такими же известными, как Bill Gates, либо ваше название совпадает с другим широкоизвестным?
А как поступить, если вы разместили сайт на бесплатном хостинге, на котором так же размещены страницы спамеров?
По причине этих сайтов вас могут «ронять» - и правильно!
Более того, если вы склонны в целом определить поисковую машину, как плохую, основываясь на результатах единственного поиска, то это большая ошибка.
Я то уж повидал, как это случается!
Overture позволяет провести один вид самотестирования релевантности, прогоняя то по своим базам поиск, который я бы назвал "Binary Search".
В нем пользователям предлагают списки ключевых фраз для поиска и спрашивают, удовлетворены ли они результатами. Ответ может быть либо «да», либо «нет» - бинарный выбор. Оцените список из 100 выдаваемых результатов, и если 95 будут подходить, то вы можете заявить о 95% релевантности.
Все это звучит здорово. Но не приводится никаких уточнений или указаний на то, что могут отсутствовать объекты, более релевантные по данному запросу.
Это то же самое, что просить людей пробовать на вкус различные виды пирожных и отвечать на вопрос, съедобны они или нет. Съедобность полезна в некоторых случаях, но вам в действительности требуется знать, кто предлагает пирожные вкуснее и лучше.
Не только одна Overture проводит тесты внутренней релевантности. AltaVista также предлаагет один из вариантов, где списки сравниваются со списками конкурентов, хотя отсутствует возможность проверки названий и форматирования. Так что список участвующих поисковых систем остается неизвестным.
Пользователи сами решают, какой результат лучше, либо наравне с другими результатами. Все же есть какой-то смысл в «бинарности» тестов такого типа.
Удовлетворены ли пользователи результатом поиска? Если нет, то они могут не знать о важных сайтах, отсутствующих в обеих группах результатов поиска.
Это означает, что оба результата будут считаться релевантными, хотя какой-нибудь эксперт в данном направлении может признать релевантность слабой.
В самом деле, преодоление субъективности личных точек зрения пользователей на результаты поиска – самое сложное в тестировании релевантности. Два человека могут искать "dvd players," причем один ищет плэйер для покупки, а другой хочет больше о них узнать. Первый будет удовлетворен, найдя списки, относящиеся к коммерческим сайтам, продающим DVD- плейеры. В то время, как другой, наверное, предпочтет больше редакторские обозрения и страницы с описанием.
Точки зрения, касающиеся релевантности, различны и может быть важным протестировать релевантность в обоих направлениях – коммерческом и нет.
В том, что я называю "goal oriented testing," (тестирование, направленное в цель), субъективность ставится под слегка больший контроль. В целевом тесте вы осуществляете запрос, в котором знаете, какая страница должна появиться, в соответствии с тем, что вам посоветовало большинство людей.
Company Name Tests, которые я запрашивал похожи на вышеуказанное. Например, поиск "microsoft", действительно, подает ссылку на Microsoft web site. Немногие будут возражать против этого.
К несчастью, проблема использования имен компаний, как цели - в том, что в действительности тестируются «навигационные» аспекты поисковой машины. Большинство людей, ищущих компанию по названию, наверное, хотят найти эту компанию, получить ссылку на ее сайт. Эта важная часть задачи поисковика, но это только один вид соответствия.
Perfect Page Test, что недавно осуществлялся Search Engine Watch, был другим видом целевого поиска. Тогда на обсуждение подымался список сайтов, и было чувство, что множество людей, осведомленных в определенной степени в их тематике, согласятся с некоторыми результатами выдачи. Конечно, проблема этого теста – как мы указывали в нашей статье - в том, что он нет оценки других выдаваемых сайтов. Поисковая машина, не сумевшая назвать целевую страницу определенного поиска, может получить плохую оценку. И в то же время предоставить девять других высоко релевантных находок.
Ограничения данного теста – одна причина, по которой мы не превозносим создателей в первых строках статьи. Действительно, мы похоронили очки под 12 абзацами объяснений.
А тот факт, что Google, Yahoo and MSN Search получили пятерку с плюсом по результатам этого теста, еще совсем не значит, что качественные результаты их поиска превышают AltaVista, получающую троечку. И это также не ставит AltaVista в разряд троечников по всем ее результатам.
Это всего лишь говорит о том, что при очень ограниченном, частном и узком месте тестирования были получены частные результаты. В других тестах лидеры могли провалиться, а плохие исполнители – достичь успехов.
В идеале, то, что требуется – это серия тестов, с проведением десятков, сотен и тысяч запросов по различным направлениям.
Как работает данный запрос в отношении "product mode?"(разновидность продукта?) Как поисковая машина проводит навигационный запрос?
Как насчет именных запросов (ego search) по некоторым известным личностям?
И так далее…
Search Engine Watch пытается частично решить этот вопрос, проводя незначительное тестирование.
Тем не менее, настоящее решение в том, чтобы поисковые машины пришли к единому мнению, договору по некоторым стандартам тестирований. А также обнародованию результатов, какими бы они не оказались.
Поисковикам требуется достичь согласия.
Я не настаиваю на своем варианте тестирования релевантности запросов. Я лишь был бы счастлив помочь, высказав свое мнение о том, как оно должно производиться. И я уверен, что другие специалисты по поисковой оптимизации с удовольствием примут в этом участие. Но вопрос в том, что тут действительно должна быть организованность действий.
Могу привести пример.
В прошлом eTesting Labs (теперь VeriTest), признавалась многими специалистами и самими поисковыми системами, как хороший инструмент для проведения серии тестов по измерению релевантности.
Эта компания или другие могли бы по договоренности считаться инструментом тестирования для большого количества поисковых машин и проведения, возможно, ежеквартального тестирования в соответствии с общевыработанными критериями.
Также было бы неплохо и ознакомить публику с этими данными.
Однако некоторые компании, в прошлом заключившие контракты с eTesting Labs, отказывались обнародовать результаты, если они были неважными.
Подобным образом, NPD Group практиковало потребительские исследования, в которых собственные пользователи оценивали релевантность. Поисковики с хорошими показателями часто демонстрировали свои результаты, в то время, как при плохих – помалкивали.
Конечно, лучше припрятывать плохие новости. В то же время, если поисковые машины желают нас поверить в правдивость их заверений – они должны согласиться открыть как положительные, так и отрицательные свои стороны. Если поисковик плохо справляется – это должно заставить его работать лучше и с большими усилиями.
Не утруждайте нас громкими заявлениями.
Почему значение показателя релевантности так важно для потребителя?
Прежде всего, это принесет большую уверенность в действительности результатов поиска. Мне нравится релевантность Google, но не могу воспевать хвалу работе компании по значительному улучшению релевантности результатов их поиска.
В течении последних нескольких лет они представляли из себя ведущие силы в подъеме качества поиска и их тяжкий труд заслуживает уважения. Тем не менее, в настоящее время у Google есть несколько сильных конкурентов (см. major search engines).
Некоторые из этих поисковиков-конкурентов могут даже иметь поисковые алгоритмы, работающие лучше в некоторых отраслях. Либо у них есть поисковые услуги, уступающие Google. Или, взять просто интерфейс, более импонирующий потребителю.
Некоторые ищущие, возможно, никогда не потрудятся испробовать другие поисковики, поскольку уверены, либо им говорили, что Google лучше всех.
Регулярно публикующиеся показатели релевантности помогут им. Если результаты тестирования покажут, что Google и его соперники в целом на равном уровне соответствия, возможно, обычные пользователи сети захотят воспользоваться услугами и других поисковых систем.
Это также означает, что они будут уделять больше внимания выбору поиска для определенных целей. Например, функции уточнения поискового термина, способности видеть сразу несколько результатов поиска, или проверки правописания.
Показатель релевантности будет также предохранять нас от поисковиков, разыгрывающих карту «размера индексной базы» или «новизны» с целью победить своих конкурентов.
Да, в общем неплохо иметь большую индексную базу. Также желательно, чтобы она была свежей.
Тем не менее, ни то, ни другое не указывает, насколько релевантны запросы поисковой машины. И все-таки поисковики продолжают нам «впаривать», в особенности, журналистам, в попытке одержать победу над конкурентами.
И это можно понять. Журналисты и прочие отчаянно хотят определить, какая из поисковых машин «лучше» в определенном смысле.
Размер и свежесть – легкий путь для поисковиков поиграть цифрами, превращающимися в чудную вывеску. Все же, мы уже достаточно наигрались в эти игры и порядком подустали. Также все это отвлекает от самого важного фактора – релевантности.
Делай это, или это будет сделано за тебя.
В конце концов, если поисковые машины не смогут представить приемлемые способы оценки релевантности, их будут продолжать оценивать по одному из давно устаревших методов «ego searchers», или «на глазок».
Взгляните, что говорит один из студентов колледжа в campus newspaper article о поиске: «Не тратьте время на что-то новое. Jeeves бесполезен, а AOL – кусок хлама. Просто держитесь Yahoo и Google."
Вообще-то Ask Jeeves далек от бесполезности, хотя бы потому, что его результаты происходят от Teoma search engine. Что же в отношении AOL, то она на 100% поддерживается Google, и называть ее «куском хлама» нет оснований.
В то же время Yahoo, в распространенном большинстве случаев, сейчас предоставляет такие же результаты, как и Google. Так что «держаться» только Yahoo и Google означает, по сути, держаться только Google. То же самое касается и широты поиска.
Я немного упростил вещи. Хотя Yahoo и AOL берут свое начало у Google, они не то же самое. У Yahoo в действительности есть некоторые дополнительные черты (additional features), в то время, как у AOL недостает из того, что предлагает Google. Но пользователям AOL предлагаются некоторые дополнительные возможности (offers some things), чего не делает Google.
Все же этот студент, вне всякого сомнения, ссылается на некоторый плохой опыт, связанный с Ask Jeeves и AOL до их модернизации. И в неведении последних перемен Yahoo.
Его высказывание построено на старых данных, и нет оценки релевантности в подтверждение его высказываний.
И поэтому за его высказыванием остается последнее слово, а не за более авторитетным измерением релевантности.
При поддержке дизайн-студии Netsah – web site design and development studio, web site promotion services, graphic design
А так же студии Promodo – Раскрутка сайта. Продвижение оптимизация сайтов. Реклама маркетинг в Интернет. Советы специалистов.
