|
|
Может ли утечь контент, закрытый в robots.txt ?
Раздел: Разработка сайта 26-07-2011
Да, легко. Для этого работают специальные программы, написанные дорвейщиками и прочими кто в поиске свежего контента в промышленных масштабах.
Все директории что Вы закрыли от индексации в файле - по ним проходят программы собирая контент. Так что не удивляйтесь если увидите на других сайтах в огромном количестве повторения того что закрыли у себя на сайте через robots.
Сайты в индексе от SubAqua
|
|
|
Новые поступления сателлитов в продажу;
Заметки по работе с сателлитами, доходность в биржах ссылок;
Разборка "полетов" с забаненными сайтами на Searchengines.ru, или как удерживать стабильно свои сайты в индексе.
Периодичность несколько раз в месяц.
|
|
| |
ICQ 562840330
