robots.txt с запрещёнными ненужными поисковиками

Тема в разделе "Русские поисковики", создана пользователем pgood7, 30 июн 2009.

Статус темы:
Закрыта.
  1. pgood7

    pgood7 Постоялец

    Регистр.:
    25 июн 2008
    Сообщения:
    123
    Симпатии:
    35
    Давно уже хотел запретить всяким левым ботам по моим сайтам, вот наконец руки дошли. Посмотрел я статистику ботов, которые были у меня на сайтах, сравнил со списком поисковиков, дающих трафик. И тех кто не даёт трафика, но постоянно шарится на сайтах я предлагаю блокировать - незачем им ресурсы жрать, а особенно Yahoo - он гад только и может что бэки палить, а трафика не даёт!
    Также я поставил задержку в 2 секунды между скачиваниями страниц (опять же для снижения нагрузки).
    Итак вот что у меня получилось:
    Код:
    User-agent: Yanga
    Disallow: /
    User-agent: Yahoo! Slurp
    Disallow: /
    User-agent: msnbot/
    Disallow: /
    User-agent: ia_archiver
    Disallow: /
    User-agent: Baiduspider+(
    Disallow: /
    User-agent: MJ12bot/
    Disallow: /
    User-agent: Gigabot/
    Disallow: /
    User-agent: msnbot-media/
    Disallow: /
    User-agent: Scooter/
    Disallow: /
    User-agent: Ask Jeeves
    Disallow: /
    User-agent: msnbot-NewsBlogs/
    Disallow: /
    User-agent: SEO search Crawler/
    Disallow: /
    User-agent: SEOsearch/
    Disallow: /
    User-agent: voyager/1.0
    Disallow: /
    User-agent: W3 SiteSearch Crawler
    Disallow: /
    User-agent: W3C-checklink/
    Disallow: /
    User-agent: W3C_*Validator
    Disallow: /
    User-agent: Yahoo-MMCrawler/
    Disallow: /
    User-agent: Yahoo! DE Slurp
    Disallow: /
    User-agent: YahooSeeker/
    Disallow: /
    User-agent: *
    Allow: /
    Crawl-delay: 2
    Скопируйте код и поместите в файл robots.txt в корень сайта.

    з.ы. Если у кого есть ещё боты, которые нужно внести в этот список или убрать из этого списка - не стесняемся пишем.
     
    Moron нравится это.
  2. EugeneVC

    EugeneVC

    Регистр.:
    28 окт 2007
    Сообщения:
    297
    Симпатии:
    83
    Нашел как то, через SAPE файлик на сайте - видно сеточка у кого то. Давно искал :D
     

    Вложения:

    • robots.txt
      Размер файла:
      5,8 КБ
      Просмотров:
      54
  3. Xansen

    Xansen

    Регистр.:
    30 мар 2006
    Сообщения:
    443
    Симпатии:
    119
    Господа, когда платил за сайтовый траффик тоже пытался обрезать всех лишних ботов, но затем заметил что посетиловка упала. Возможна ли какая либо связь?
     
  4. masterx15

    masterx15

    Регистр.:
    9 мар 2008
    Сообщения:
    213
    Симпатии:
    71
    Понятное дело. С менее популярных поисковиков тоже может быть траф хоть какой-то ;)
     
  5. tatams

    tatams

    Регистр.:
    15 май 2009
    Сообщения:
    501
    Симпатии:
    84
    Ну копеечки мне Яха и на русские сайты засылает иногда
     
  6. pgood7

    pgood7 Постоялец

    Регистр.:
    25 июн 2008
    Сообщения:
    123
    Симпатии:
    35
    Господа, когда я предлагал запретить роботов, я имел ввиду не всех подряд, а именно тех, с которых нет трафика для русскоязычного сайта, но которые регулярно скачивают сайт.
    Вот к примеру yahoo на моих сайтах даёт трафика менее 0,01%, а ходит по ним регулярно и ещё палит мои беки.
    Поэтому если предлагаете тут роботов, то именно тех что ходят по сайтам и не дают трафика!
     
  7. MyOST

    MyOST

    Регистр.:
    13 сен 2007
    Сообщения:
    261
    Симпатии:
    53
    нужно блочить через .htaccess - надежнее выходит, а через роботс тотже бинг пробивается, например
     
  8. extrimportal

    extrimportal

    Регистр.:
    28 ноя 2008
    Сообщения:
    540
    Симпатии:
    70
    Сомневаюсь что существуют поисковики которые вообще трафа не дают. А каждый посетитель эт деньга. Советую лучше хороший хостинг купить. Несколько левых заходов все ровно никого не спасут.
     
  9. pgood7

    pgood7 Постоялец

    Регистр.:
    25 июн 2008
    Сообщения:
    123
    Симпатии:
    35
    Так в том то и дело, что они не просто заходят, а регулярно качают весь сайт.
    з.ы. Посоветуйте недорогой хостинг (>100 доменов, >10Гб, трафик анлимит, выдерживает приличную нагрузку и цена около 3000р/год) и я сразу же на него перейду :thenks: и нафиг забуду эти роботсы.
    Но пока я такого не встречал, вот и пытаюсь выжать из своего хостинга всё что только можно (уменьшаю ненужную нагрузку) :confused:
     
  10. locker

    locker Писатель

    Регистр.:
    15 дек 2008
    Сообщения:
    6
    Симпатии:
    0
    Обычно обрезая так ботов можно и нужных обрезать - самая частая ошибка по IP резать
     
Статус темы:
Закрыта.