robost.txt и дор

[Abradox]

В инете многие утверждают что поисковики любят когда есть robots.txt, в частности что там написано что сайт открыт для индексирования, правдо ли это и играет ли он большую роль?

 

[Sapr21]

Особой роли не играет, если не хочешь запретить к индексации некоторые страницы, но и не помешает никогда, если создаешь дорвеи на автомате.

 

[pavlenkora]

Для сайтов robots играет роль, а вот для дора он совершенно не к чему! Да и представьте как с каждым дором заливать доп. Файл на хост, по моему не к чему это!

 

[acme]

Для сайтов robots играет роль, а вот для дора он совершенно не к чему! Да и представьте как с каждым дором заливать доп. Файл на хост, по моему не к чему это!

а к доргену эту функцию проблемно прикрутить?
на редбаттон есть вроде мод такой

 

[ko-yg]

а к доргену эту функцию проблемно прикрутить?
на редбаттон есть вроде мод такой

абсолютно верно. в сп есть функция создания роботс тхт. причем можно галку как поставить так и снять

 

[Bags85]

+ robots.txt в том что можно указать xml карту сайта, бот хавает её с первого захода...

 

[baddan]

все что есть у google.com должно быть и у тебя

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[tarkut]

Думаю robot.txt пригодится для того, что бы скрывать файлы админки доров. А так не знаю особого применения в дорвеестроительстве

 

[booch]

robots.txt заливаю только для того, чтобы лог ошибок был меньше, а то поисковики его постоянно дёргают, и 404 отдаётся.

 

[filler00]

Для сайтов robots играет роль, а вот для дора он совершенно не к чему! Да и представьте как с каждым дором заливать доп. Файл на хост, по моему не к чему это!

оо. целый файл залить.. ооо!!.. что за ламерство? сложно чтоли +1 файл залить?