Robots.txt

Раздел: Оптимизация сайтов - основы 05-01-2008 FAQ оптимизатору на форуме ZenBroker


Все о Robots.txt
http://www.webmascon.com/topics/adv/8a.asp
(ну не все конечно...)

Мультиязычный сайт, Яндекс и robots.txt
http://forum.searchengines.ru/showthread.php?t=169421
Вопрос на форуме Searchengines.ru

Robots.txt
http://www.searchengines.ru/articles/004558.html
Составление файла

Редактор файлов robots.txt
http://www.netpromoter.ru/metatag/help/robots_editor.html
Страница продукта компании Net Promoter по работе с файлом Robots.txt

Robots.txt
http://ru.wikipedia.org/wiki/Robots.txt
Материал из Википедии

Robots.txt
http://www.citforum.ru/internet/search/rbtspec.shtml
"Стандарт исключений для роботов Standard for robot exclusion"

Robots.txt
http://robotstxt.org.ru/
Все о файле robots.txt по-русски. Ряд документов

Основной домен без www
http://forum.searchengines.ru/showthread.php?t=172532
Устанавливаем правильно директивы

robots.txt и Host
http://forum.searchengines.ru/showthread.php?t=173574
сайты на бесплатном хостинге. Обсуждение.

Зачем нужен robots.txt
http://www.artpix.ru/about/articles/robots.txt/
Андрей Сидоров

Про зеркала и robots.txt
http://forum.searchengines.ru/showthread.php?t=176880

Обсудить на форуме - Составляем FAQ по SEO