помогите с robots.txt

[porokh]

Каким должен быть файл robots.txt чтобы запретить яндексу индексировать весь сайт, а гуглу разрешить?
Как можно это же самое сделать через htaccess?

 

[Delk0]

в robot.txt добавь

User-agent: Yandex
Disallow: /

 

[bork75]

User-agent: *		
User-agent: Yandex
Disallow: /

 

[DuvE]

Я конечно много понимаю уже в СЕО, но какой в этом смысл не могу понять, подскажите =)

 

[Vitarikin]

Я конечно много понимаю уже в СЕО, но какой в этом смысл не могу понять, подскажите =)

Согласен, тоже не совсем новичок. Просьба объяснить тайный смысл robot.txt

 

[SEOshnik]

Смысл в том, чтобы запретить роботам поисковых систем индексировать определённые страницы или разделы сайта. Делается это с целью исключения из индекса страниц с дублированным контентом.

 

[Delk0]

Думаю людей больше интересует зачем Весь сайт исключать из яндекса.

 

[DuvE]

Видимо у автора там что то незаконное...

 

[bork75]

Ну, например на популярном портале есть форма поиска, и Вы вписываете в поиск свой сайт Для просмотра ссылки Войди или Зарегистрируйся - и поисковику скармливаете страницу с результатом поиска и упоминанием вашего сайта.

Многие сеошники до сих пор пользуются такими приёмами. Поэтому имеет смысл закрывать некоторые страницы от поисковиков.

 

[Red Gubbler]

Ну, например на популярном портале есть форма поиска, и Вы вписываете в поиск свой сайт Для просмотра ссылки Войди или Зарегистрируйся - и поисковику скармливаете страницу с результатом поиска и упоминанием вашего сайта.
Многие сеошники до сих пор пользуются такими приёмами. Поэтому имеет смысл закрывать некоторые страницы от поисковиков.

XSS-атаки уже не работают. Даже в Яндекс веб-мастер об этом есть информация. Тут не поиск закрывать надо, а дыры латать.