Поисковые боты убивают сервак

Тема в разделе "Коммерческие", создана пользователем binladen, 26 май 2009.

Информация :
Публиковать (для всех) нуленые версии, особенно от modulesgarden КАТЕГОРИЧЕСКИ не стоит. Тема мониторится оным разработчиком, а к нам приходят абузы которые нельзя игнорировать.
Статус темы:
Закрыта.
Модераторы: Amazko, Aste
  1. binladen

    binladen Создатель

    Регистр.:
    2 апр 2007
    Сообщения:
    22
    Симпатии:
    7
    Проблема такая, что прибегает куча поисковых ботов в один момент и кладет сервер :mad:, как можно с этим бороться? прописывать в robots не индексировать форум не подходит как вариант...
     
  2. tirrex

    tirrex

    Регистр.:
    9 ноя 2008
    Сообщения:
    213
    Симпатии:
    60
    задавайте роботам паузу в загрузке страниц директивой
    crawl-delay в robots

    а еще лучше подумать об апгрейде - что это за сервер, которого боты кладут, а если посетители нагрянут?
    их директивой пнуть не получится
     
  3. RuSurg

    RuSurg Постоялец

    Регистр.:
    7 авг 2008
    Сообщения:
    108
    Симпатии:
    10
    Форум не ипб?
    У вас сервер или виртуальный хостинг?виртуальный хост не подойдет.минимум впс
     
  4. Maxerka

    Maxerka Создатель

    Регистр.:
    21 фев 2009
    Сообщения:
    24
    Симпатии:
    2
    Честно, такое некогда не слышал, да и сам некогда не сталкивался... Хотя бывало пользовался дешевыми и сомнительными хостингами, и под поисковики открывал индексацию...
    Ну если роботы часто посещают сайт, это ведь хорошо, более прохо когда они этого не делают...
    Как уже говорилось выше, сделайте паузу, либо запретите индексацию, а лучше вообще, хочтинг смените....
     
  5. 3d tiger

    3d tiger

    Заблокирован
    Регистр.:
    14 июн 2008
    Сообщения:
    521
    Симпатии:
    370
    Попробуйте прописать в robot.txt после User-agent: * директиву Crawl-delay: 10 и закрыть все служебные страницы от индексации
     
    binladen нравится это.
  6. Revenge-R

    Revenge-R Mr. Revenge-R

    Регистр.:
    6 фев 2009
    Сообщения:
    897
    Симпатии:
    319
    Эт чет новенькое, все борятся за индекс binladen против черезмерного внимания.
    Скорее всего это не сервер а вирт хост, боты поисковиков не могут ложить серв!

    А это точно поисковые боты? Есть логи посмотреть?
    Присутсявие бота так сказать ходящего за пользоватлем попятам, это наоборот хороший признак.
     
  7. alexandr1235

    alexandr1235 Постоялец

    Регистр.:
    28 дек 2007
    Сообщения:
    121
    Симпатии:
    34
    Просто скрипт :die: Уже была Перейти по ссылке. Скрипт сам себя заDoSSил.
    Создавл бесконечное количество Url для создания базы google_searches.
     
  8. Revenge-R

    Revenge-R Mr. Revenge-R

    Регистр.:
    6 фев 2009
    Сообщения:
    897
    Симпатии:
    319
    User-agent: *
    Request-rate: 1/10 # загружать не более одной страницы за десять секунд
    Visit-time: 0600-0845 # загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.

    И сколько страниц в секунду можно заиндексить
    Поставь время когда меньше всего народа на сайте
     
    shoman и binladen нравится это.
  9. binladen

    binladen Создатель

    Регистр.:
    2 апр 2007
    Сообщения:
    22
    Симпатии:
    7
    всем спасибо за ответы, тут скорее всего все взаимосвязано и скрипт и боты, буду пробовать предложенные варианты, оптимизировать скрипт, посмотрим, что из этого получится. нет не ipb...
     
  10. porsche2

    porsche2

    Регистр.:
    18 ноя 2007
    Сообщения:
    667
    Симпатии:
    210
    смотрите логи и пользуйтесь фаерволом, а не robots.txt. Мелким и бешеным ботам (webalta) делать на сайте нечего, граберам контента тоже. Всех на нож и полегчает.

    если проблема в скриптах, то сами знаете что делать :)
     
Статус темы:
Закрыта.