Спам во имя поисковой оптимизации
Дата публикации: 03/07/2003
Категория: Поисковые системы
Версия для печати Фил Крэвин
Клоакинг
Клоакинг - метод выдачи разных страниц по результатам запроса, в зависимости от того, кто или что их запрашивает. Например, пользователь получил бы в ответ реальную страницу, тогда как спайдер поисковика получит совсем другую страницу, думая, тем не менее, что это и есть та страница, которую видит пользователь. Цель клоакинга - скрыть хорошо оптимизированные страницы от пользователя, а роботам поисковых систем предоставить высокооптимизированные страницы, которые в браузере выглядели бы не так уж хорошо.
Есть три способа клоакинга. Один из них - "доставка IP", когда сервер распознает IP-адреса спайдеров и они соответствующим образом обрабатываются; другой - "доставка User-Agent", когда распознаются пользовательские посредники (User-Agents) спайдера; а третий - это сочетание первых двух.
Этично ли заниматься клоакингом?
Скажем так. Поисковые системы делают это все время. К примеру, Google выдает разные страницы, в зависимости от того, в какой части планеты расположен пользователь. Пользователи в UK получают рекламные объявления AdWord, имеющие отношение к UK, а американские пользователи получают рекламу AdWord, относящуюся к US. Google выдает разные страницы в зависимости от IP-адреса пользователя. Это доставка IP, и это клоакинг.
Вместо этого, проверяя IP-адрес пользователя, они направляют его к местным версиям - даже если пользователь действительно хочет зайти в версию .com! И снова это доставка IP, и снова это клоакинг.
Так как поисковые системы занимаются клоакингом, очевидно, что по существу в этом нет ничего неэтичного или неправильного. Если поисковые системы могут этим заниматься, почему бы кому-то другому не делать то же самое. Так что же такого в клоакинге, против чего некоторые решительно протестуют?
Внятного ответа на этот вопрос нет. Общая идея такова, что предоставление пользователям одной страницы, а поисковым средствам - другой просто неправильно. Эта идея - просто вопрос принципа, и не имеет ничего общего со здравым смыслом.
А здравый смысл подсказывает, что, если рейтинг страницы определен правильно, в соответствии с ее темой, пользователь найдет ее в результатах поиска, откроет ее и попадет туда, куда и предполагалось согласно информации в результатах поиска. Неважно, каким образом страница заняла свою позицию в рейтинге, и не имеет значения, если другая страница заняла ее место. До тех пор пока она находится на правильном месте, в соответствии с ее релевантностью, пользователи вполне довольны.
Тот факт, что клоакинг можно использовать для отсылания пользователей к тем сайтам и темам, куда они вообще-то не собирались, является основательным аргументом против злоупотребления клоакингом, но это совсем не причина выступать против метода клоакинга в целом.
Пример того, как клоакинг может реально помочь Google
Роботы Google не просматривают страницу, если она содержит в своем URL что-либо, напоминающее Session ID. Если бы они все же просматривали такие страницы, они бы рисковали нарваться на просмотр бесконечного множества страниц, так как каждая запрашиваемая страница содержала бы ссылки к другим подобным, а URLы линков содержали бы текущий Session ID, который отличается от URL в момент последнего запроса страницы. И так это продолжалось бы до бесконечности, с громадным количеством неповторяемых URLов, которые нужно было бы исследовать и индексировать.
Это значит, что Google не запускает своих роботов на большинство страниц некоторых сайтов. Но в действительности Google хотел бы проверять большинство или все страницы сайта. Выход - применить клоакинг.
Путем определения запросов страниц при помощи спайдеров и доставки измененных страниц без обычного Session ID в URL ссылки, Google может проверить все страницы сайта. Это как раз то, что нужно Google, это то, что нужно владельцу сайта и это то, что нужно пользователю. Это помогает всем и никому не вредит.
Один этот пример показывает, что по существу в клоакинге нет ничего неправильного или неэтичного. Этот метод может быть использован в неэтичных целях, но у него есть масса вполне этичных способов применения.
Как задействовать клоакинг?
Простой способ сделать это на сервере Apache - использовать файл .htaccess с модулем mod_rewrite. При наличии файла .htaccess все файловые запросы подчиняются ему.
Файл .htaccess применяют с разными целями, но для клоакинга он использует модуль Apache mod_rewrite, чтобы проверить IP-адреса и User-Agents спайдеров поисковика, либо и то, и другое. При выявлении спайдера mod_rewrite используется для предоставления страницы, специально разработанной для спайдеров. Если же запрос отправляет не спайдер, все проходит по обычной программе и предоставляется обычная страница. Спайдеры не имеют представления об этом надувательстве. Что касается их деятельности, они получают страницу, которую запрашивали.
Статьи по теме:
