Бот уходит по таймауту?

Тема в разделе "Русские поисковики", создана пользователем Dmytr0, 29 июн 2009.

Статус темы:
Закрыта.
  1. Dmytr0

    Dmytr0

    Регистр.:
    11 авг 2008
    Сообщения:
    242
    Симпатии:
    34
    Несколько раз замечал в логах такое явление Христа народу яшкиного бота на сайт - хавает sitemap.xml, и все - дальше не идет. Подозреваю, что виноват в этом размер карты - 5к ссылок и вес в 800кб. Может ли бот уходить с сайта, не дождавшись загрузки карты? Или причина может быть в чем-то еще?
     
  2. tatams

    tatams

    Регистр.:
    15 май 2009
    Сообщения:
    501
    Симпатии:
    84
    Жестковатый конечно объем...Но не загрузить столько можно только если сервер полудохлый. Такие огромные количества страниц в принципе сложновато за раз в индекс вогнать.
     
  3. ProTemplates.ru

    ProTemplates.ru Прохожие

    Хостер тоже не последнюю роль играет,на личном опыте убедился, хостер тупо отключал сайт за нагрузку когда боты активно шарили по страницам
     
  4. Stick

    Stick Постоялец

    Регистр.:
    11 мар 2008
    Сообщения:
    112
    Симпатии:
    9
    Поэксперементируйте, попробуйте убрать сайтмап или сжать как-нибудь. Спросите у хостера, нет ли у них каких ограничений на ботов ПС.
     
  5. Dmytr0

    Dmytr0

    Регистр.:
    11 авг 2008
    Сообщения:
    242
    Симпатии:
    34
    Навряд ли могу грешить на хостера, боты yandexblog и yandexsomething заходят по несколько раз на дню, кроме них шарятся гуглобот (уже ~500 страниц съел за пару недель) и какие-то левые боты от radian6.com, cuil.com и еще парочки каких-то невнятных пс, подумываю, кстати - может забанить их? Все равно толку от них мало.

    Вообще, как мне думается, проблему можно попытаться узреть еще и в общей низкой активности яшки, судя по темам о последнем апдейте: в индекс ничего не лезет, доры и гсы вылетают, ну и т.п.
     
  6. xumukys

    xumukys

    Регистр.:
    16 ноя 2008
    Сообщения:
    495
    Симпатии:
    90

    Лишних ботов в топку!

    Насчет активности так я наоборот заметил её увеличение в последнее время, точнее в последние 2 апа:-]
     
Статус темы:
Закрыта.