spider04.yandex.ru

Тема в разделе "Администрирование серверов", создана пользователем Pashka Korchagin, 9 июл 2011.

Модераторы: mefish, stooper
  1. Pashka Korchagin

    Pashka Korchagin Постоялец

    Регистр.:
    23 дек 2009
    Сообщения:
    106
    Симпатии:
    7
    spider04.yandex.ru третий день перегружает хостинг, что это за бот? Прописал в robots.txt Crawl-delay: 5, не реагирует.
     
  2. BuxarNET

    BuxarNET Писатель

    Заблокирован
    Регистр.:
    23 дек 2006
    Сообщения:
    91
    Симпатии:
    9
    Очевидно что бот поисковика яндекса, а вот чкак он умудряется перегружать, нужно разбераться что он там делает