Помогите составить robots.txt (нужно запретить ненужных роботов)

Тема в разделе "Вопросы новичков", создана пользователем carlitoz, 18 апр 2010.

Статус темы:
Закрыта.
  1. carlitoz

    carlitoz

    Регистр.:
    22 мар 2008
    Сообщения:
    353
    Симпатии:
    54
    нужно разрешить доступ только яндексу, гуглу, мейлу и рамблеру, и боту сапы. остальных запретить. тут где-то выкладывали список имен ненужных роботов. Если у кого есть поделитесь, и вообщебудет интересналюбая информация, как реализовать то, что мне нужно.

    Это мне необходимо, чтоб ненужные роботы не нагружали сервак.
     
  2. WINTERSPROWS

    WINTERSPROWS Постоялец

    Регистр.:
    22 мар 2010
    Сообщения:
    149
    Симпатии:
    93
    Сначала укажи нужных ботов и директории куда они могут смотреть.
    Потом в robots.txt впиши
    PHP:
    User-agent: *
    Disallow: /
    это запретит индексирование ссылок ботами, не указанными выше.
     
  3. sens08

    sens08 Постоялец

    Регистр.:
    13 авг 2009
    Сообщения:
    112
    Симпатии:
    22
    Таким образом вы запретите всем индексировать ваш сайт.

    Вот нашел список буржуйских ПС:
    Таким образом, мы запрещаем индексировать сайт роботам, которые перечислены в списке.
     
Статус темы:
Закрыта.