Поисковые боты убивают сервак

[binladen]

Проблема такая, что прибегает куча поисковых ботов в один момент и кладет сервер , как можно с этим бороться? прописывать в robots не индексировать форум не подходит как вариант...

 

[tirrex]

задавайте роботам паузу в загрузке страниц директивой
crawl-delay в robots

а еще лучше подумать об апгрейде - что это за сервер, которого боты кладут, а если посетители нагрянут?
их директивой пнуть не получится

 

[RuSurg]

Форум не ипб?
У вас сервер или виртуальный хостинг?виртуальный хост не подойдет.минимум впс

 

[Maxerka]

Честно, такое некогда не слышал, да и сам некогда не сталкивался... Хотя бывало пользовался дешевыми и сомнительными хостингами, и под поисковики открывал индексацию...
Ну если роботы часто посещают сайт, это ведь хорошо, более прохо когда они этого не делают...
Как уже говорилось выше, сделайте паузу, либо запретите индексацию, а лучше вообще, хочтинг смените....

 

[3d tiger]

Попробуйте прописать в robot.txt после User-agent: * директиву Crawl-delay: 10 и закрыть все служебные страницы от индексации

 

[Revenge-R]

Эт чет новенькое, все борятся за индекс binladen против черезмерного внимания.
Скорее всего это не сервер а вирт хост, боты поисковиков не могут ложить серв!

А это точно поисковые боты? Есть логи посмотреть?
Присутсявие бота так сказать ходящего за пользоватлем попятам, это наоборот хороший признак.

 

[alexandr1235]

Просто скрипт :die: Уже была

. Скрипт сам себя заDoSSил.
Создавл бесконечное количество Url для создания базы google_searches.

 

[Revenge-R]

User-agent: *
Request-rate: 1/10 # загружать не более одной страницы за десять секунд
Visit-time: 0600-0845 # загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.

И сколько страниц в секунду можно заиндексить
Поставь время когда меньше всего народа на сайте

 

[binladen]

всем спасибо за ответы, тут скорее всего все взаимосвязано и скрипт и боты, буду пробовать предложенные варианты, оптимизировать скрипт, посмотрим, что из этого получится. нет не ipb...

 

[porsche2]

смотрите логи и пользуйтесь фаерволом, а не robots.txt. Мелким и бешеным ботам (webalta) делать на сайте нечего, граберам контента тоже. Всех на нож и полегчает.

если проблема в скриптах, то сами знаете что делать