robots.txt с запрещёнными ненужными поисковиками

[pgood7]

Давно уже хотел запретить всяким левым ботам по моим сайтам, вот наконец руки дошли. Посмотрел я статистику ботов, которые были у меня на сайтах, сравнил со списком поисковиков, дающих трафик. И тех кто не даёт трафика, но постоянно шарится на сайтах я предлагаю блокировать - незачем им ресурсы жрать, а особенно Yahoo - он гад только и может что бэки палить, а трафика не даёт!
Также я поставил задержку в 2 секунды между скачиваниями страниц (опять же для снижения нагрузки).
Итак вот что у меня получилось:

User-agent: Yanga
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: msnbot/
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Baiduspider+(
Disallow: /
User-agent: MJ12bot/
Disallow: /
User-agent: Gigabot/
Disallow: /
User-agent: msnbot-media/
Disallow: /
User-agent: Scooter/
Disallow: /
User-agent: Ask Jeeves
Disallow: /
User-agent: msnbot-NewsBlogs/
Disallow: /
User-agent: SEO search Crawler/
Disallow: /
User-agent: SEOsearch/
Disallow: /
User-agent: voyager/1.0
Disallow: /
User-agent: W3 SiteSearch Crawler
Disallow: /
User-agent: W3C-checklink/
Disallow: /
User-agent: W3C_*Validator
Disallow: /
User-agent: Yahoo-MMCrawler/
Disallow: /
User-agent: Yahoo! DE Slurp
Disallow: /
User-agent: YahooSeeker/
Disallow: /
User-agent: *
Allow: /
Crawl-delay: 2

Скопируйте код и поместите в файл robots.txt в корень сайта.

з.ы. Если у кого есть ещё боты, которые нужно внести в этот список или убрать из этого списка - не стесняемся пишем.

 

[EugeneVC]

Нашел как то, через SAPE файлик на сайте - видно сеточка у кого то. Давно искал

 

[Xansen]

Господа, когда платил за сайтовый траффик тоже пытался обрезать всех лишних ботов, но затем заметил что посетиловка упала. Возможна ли какая либо связь?

 

[masterx15]

Господа, когда платил за сайтовый траффик тоже пытался обрезать всех лишних ботов, но затем заметил что посетиловка упала. Возможна ли какая либо связь?

Понятное дело. С менее популярных поисковиков тоже может быть траф хоть какой-то

 

[tatams]

Ну копеечки мне Яха и на русские сайты засылает иногда

 

[pgood7]

Нашел как то, через SAPE файлик на сайте - видно сеточка у кого то. Давно искал

Господа, когда я предлагал запретить роботов, я имел ввиду не всех подряд, а именно тех, с которых нет трафика для русскоязычного сайта, но которые регулярно скачивают сайт.
Вот к примеру yahoo на моих сайтах даёт трафика менее 0,01%, а ходит по ним регулярно и ещё палит мои беки.
Поэтому если предлагаете тут роботов, то именно тех что ходят по сайтам и не дают трафика!

 

[MyOST]

нужно блочить через .htaccess - надежнее выходит, а через роботс тотже бинг пробивается, например

 

[extrimportal]

Сомневаюсь что существуют поисковики которые вообще трафа не дают. А каждый посетитель эт деньга. Советую лучше хороший хостинг купить. Несколько левых заходов все ровно никого не спасут.

 

[pgood7]

Сомневаюсь что существуют поисковики которые вообще трафа не дают. А каждый посетитель эт деньга. Советую лучше хороший хостинг купить. Несколько левых заходов все ровно никого не спасут.

Так в том то и дело, что они не просто заходят, а регулярно качают весь сайт.
з.ы. Посоветуйте недорогой хостинг (>100 доменов, >10Гб, трафик анлимит, выдерживает приличную нагрузку и цена около 3000р/год) и я сразу же на него перейду и нафиг забуду эти роботсы.
Но пока я такого не встречал, вот и пытаюсь выжать из своего хостинга всё что только можно (уменьшаю ненужную нагрузку)

 

[locker]

Обычно обрезая так ботов можно и нужных обрезать - самая частая ошибка по IP резать