Как составить robots.txt

[nol]

Просмотрел кучу сайтов о написании robots txt но ничего путного не нашел . Вопрос собственно по прочитанному зачем роботам запрещать просмотр директорий , почему нужен запрет файлов к индексации поисковыми роботами.И если можно напишите робот который должен стоять в корне сайта. Спасибо

 

[meresyew]

Попробуйте посмотреть ниже по ссылке

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[shketus]

В вебмастере Яши есть раздел помощи по роботсу.

 

[ewolwer]

на примере оврдпресс, закрывать от индексации нужно системные папки которые не желательно что бы попали в индекс, я так думаю подобные папки есть на любом движке, вот хорошее описание составления robots.txt для вордпресса на блоге у димка, описано что прописывать как и зачем

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Benediktoz]

Причин может быть много:

1. вы не хотите чтобы определенный раздел был в выдаче
2. желание избежать дублирования контента
3. скрытия информации-мусора (например профилей пользователей)

по поводу составления роботса подробно написано здесь

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[NNS]

+ анализатор robots.txt от Яндекс

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Forvator]

Просмотрел кучу сайтов о написании robots txt но ничего путного не нашел . Вопрос собственно по прочитанному зачем роботам запрещать просмотр директорий , почему нужен запрет файлов к

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Mixxa]

По поводу того, какой именно robots.txt нужен - смотря какая у вашего сайта CMS. Добрые люди уже давно позаботились и составили стандартные оптимальные роботсы для каждой CMS - и для вордпресс, и для ДЛЕ, для битрикса, для чего душа пожелает.

Поэтому, чтобы не ошибиться, заходите в яндекс, набираете в поиске robots txt и название движка - для всех мало мальски распространенных CMS найдете в выдаче проверенные роботсы, просто скопируете себе, и все.

 

[the_pimpest]

всё верно отписали выше, но также стоит сказать, что закрытие в robots.txt некоторых разделов не панацея от индексации.
например гуглу чхать на роботс

 

[Drakasmit]

нет, если робост правильно составлен гугл повыкидывает закрытые страницы из индекса или не будет индексить

псы, по поводу составления роботса все уже давно по 10 раз составленно в гугл вбиваем robots.txt для %cms_name%
???
профит