Robots.txt - есть или нет? :)

[RoLex]

Не забывай что сам файл должен находится в родительской дериктории сайта. Вот на всякий пожарный ссылка от Вики (имеются и примеры и рассмотрение синтаксиса, Англ. версия имеет больше инфы Для просмотра ссылки Войди или Зарегистрируйся

 

[werner2]

Не будет никаких проблем На этот файл многие поисковики кладут даже если он есть

На этот файл поисковики кладут тогда, когда человек, пишущий этот фалй кладет на правила поисковиков для этого файла. А вообще все, что в нем правильно прописано всегда соблюдается поисковиками.

 

[rijy]

Про роботс.тхт на русском можно прочитать тут:
Для просмотра ссылки Войди или Зарегистрируйся

Наличие этого файла желательно, но не обязательно. Если этот файл есть и в нем заблокированы всякие служебные странички сайта и прочий мусор - поисковикам легче разобраться в полезной структуре сайта, кроме того в выдаче с сайта будет отсутствовать всякий мусор, который опять же мешает воспринятию людьми нужной информации.

 

[Kotoff]

На моих 10 сайтах нигде нету robots.txt, но везде есть сайтмап. ИМХО, значение сайтмапа гораздо важнее robots.txt для индексации...

 

[Hesh]

Интересен следующий вопрос: создаёте ли вы robots.txt, если вам не нужно ничего блокировать от индексирования?

 

[Ivaylo Ivanov]

Гугл говорит, что ты должен создать robots.txt . Для меня это достаточно.
Я создаю, это работа на пять минут.

 

[Hesh]

Гугл говорит, что ты должен создать robots.txt . Для меня это достаточно.
Я создаю, это работа на пять минут.

И с каким синтаксисом? =)

 

[javer]

robots.txt обязательно нужен
особо полезна директива sitemap (понимается Яндексом и др. поисковиками)

 

[Hesh]

robots.txt обязательно нужен
особо полезна директива sitemap (понимается Яндексом и др. поисковиками)

Вообще, как показывает практика, поисковики одинакого "видят" сайты как без robots.txt, как и с robots.txt с содержимым типа:
User-Agent: *
Allow: /

Напиши, какой синтаксис используешь ты для своих сайтов.

 

[doc09]

вот мой robots.txt ...кроха...я сначала через meta но потом рещил все таки robots.txt :User-agent: *Disallow:Host: и название моего сайта без http://