Бот уходит по таймауту?

[Dmytr0]

Несколько раз замечал в логах такое явление Христа народу яшкиного бота на сайт - хавает sitemap.xml, и все - дальше не идет. Подозреваю, что виноват в этом размер карты - 5к ссылок и вес в 800кб. Может ли бот уходить с сайта, не дождавшись загрузки карты? Или причина может быть в чем-то еще?

 

[tatams]

Жестковатый конечно объем...Но не загрузить столько можно только если сервер полудохлый. Такие огромные количества страниц в принципе сложновато за раз в индекс вогнать.

 

[ProTemplates.ru]

Хостер тоже не последнюю роль играет,на личном опыте убедился, хостер тупо отключал сайт за нагрузку когда боты активно шарили по страницам

 

[Stick]

Несколько раз замечал в логах такое явление Христа народу яшкиного бота на сайт - хавает sitemap.xml, и все - дальше не идет. Подозреваю, что виноват в этом размер карты - 5к ссылок и вес в 800кб. Может ли бот уходить с сайта, не дождавшись загрузки карты? Или причина может быть в чем-то еще?

Поэксперементируйте, попробуйте убрать сайтмап или сжать как-нибудь. Спросите у хостера, нет ли у них каких ограничений на ботов ПС.

 

[Dmytr0]

Навряд ли могу грешить на хостера, боты yandexblog и yandexsomething заходят по несколько раз на дню, кроме них шарятся гуглобот (уже ~500 страниц съел за пару недель) и какие-то левые боты от radian6.com, cuil.com и еще парочки каких-то невнятных пс, подумываю, кстати - может забанить их? Все равно толку от них мало.

Вообще, как мне думается, проблему можно попытаться узреть еще и в общей низкой активности яшки, судя по темам о последнем апдейте: в индекс ничего не лезет, доры и гсы вылетают, ну и т.п.

 

[xumukys]

Навряд ли могу грешить на хостера, боты yandexblog и yandexsomething заходят по несколько раз на дню, кроме них шарятся гуглобот (уже ~500 страниц съел за пару недель) и какие-то левые боты от radian6.com, cuil.com и еще парочки каких-то невнятных пс, подумываю, кстати - может забанить их? Все равно толку от них мало.
Вообще, как мне думается, проблему можно попытаться узреть еще и в общей низкой активности яшки, судя по темам о последнем апдейте: в индекс ничего не лезет, доры и гсы вылетают, ну и т.п.

Лишних ботов в топку!

Насчет активности так я наоборот заметил её увеличение в последнее время, точнее в последние 2 апа