помогите с robots.txt

Тема в разделе "Вопросы новичков", создана пользователем porokh, 19 май 2010.

Статус темы:
Закрыта.
  1. porokh

    porokh Создатель

    Регистр.:
    28 апр 2008
    Сообщения:
    38
    Симпатии:
    24
    Каким должен быть файл robots.txt чтобы запретить яндексу индексировать весь сайт, а гуглу разрешить?
    Как можно это же самое сделать через htaccess?
     
  2. Delk0

    Delk0

    Регистр.:
    26 мар 2010
    Сообщения:
    288
    Симпатии:
    57
    в robot.txt добавь

    User-agent: Yandex
    Disallow: /
     
  3. bork75

    bork75 The Team

    Регистр.:
    21 июн 2008
    Сообщения:
    1.450
    Симпатии:
    717
    Код:
    User-agent: *		
    User-agent: Yandex
    Disallow: /
     
  4. DuvE

    DuvE

    Регистр.:
    16 май 2010
    Сообщения:
    510
    Симпатии:
    10
    Я конечно много понимаю уже в СЕО, но какой в этом смысл не могу понять, подскажите =)
     
  5. Vitarikin

    Vitarikin Создатель

    Регистр.:
    11 май 2010
    Сообщения:
    11
    Симпатии:
    0
    Согласен, тоже не совсем новичок. Просьба объяснить тайный смысл robot.txt
     
  6. SEOshnik

    SEOshnik Постоялец

    Регистр.:
    28 июл 2009
    Сообщения:
    127
    Симпатии:
    18
    Смысл в том, чтобы запретить роботам поисковых систем индексировать определённые страницы или разделы сайта. Делается это с целью исключения из индекса страниц с дублированным контентом.
     
  7. Delk0

    Delk0

    Регистр.:
    26 мар 2010
    Сообщения:
    288
    Симпатии:
    57
    Думаю людей больше интересует зачем Весь сайт исключать из яндекса.
     
  8. DuvE

    DuvE

    Регистр.:
    16 май 2010
    Сообщения:
    510
    Симпатии:
    10
    Видимо у автора там что то незаконное...
     
  9. bork75

    bork75 The Team

    Регистр.:
    21 июн 2008
    Сообщения:
    1.450
    Симпатии:
    717
    Ну, например на популярном портале есть форма поиска, и Вы вписываете в поиск свой сайт Перейти по ссылке - и поисковику скармливаете страницу с результатом поиска и упоминанием вашего сайта.

    Многие сеошники до сих пор пользуются такими приёмами. Поэтому имеет смысл закрывать некоторые страницы от поисковиков.
     
  10. kp3k

    kp3k

    Регистр.:
    3 окт 2009
    Сообщения:
    403
    Симпатии:
    62
    XSS-атаки уже не работают. Даже в Яндекс веб-мастер об этом есть информация. Тут не поиск закрывать надо, а дыры латать.
     
Статус темы:
Закрыта.