WinHTTP Robot/1.0 и SoftLayer Technologies Inc - кто такие и зачем обыскивают сайты?

Тема в разделе "Зарубежные поисковики", создана пользователем tritnu, 21 мар 2008.

Статус темы:
Закрыта.
  1. tritnu

    tritnu Постоялец

    Регистр.:
    5 мар 2008
    Сообщения:
    52
    Симпатии:
    5
    Последнее время появилось некоторое количество сообщений на форумах типа:
    Т.е. явно появился некий новый юзерагент ведущий себя как весьма напористый поисковый бот и посему очень хочется узнать "кто такой и откуда".

    По теме этого юзерагента уже есть обсуждение на сирчэнжинс.ру, но там толком ничего так и не сказали.

    В общем есть три версии:

    1. Возможно это прога которая для какой-нибудь новой Webalt'ы делает зеркала сайтов (есть версия и о том, что это новоявленный "самопальный" rss агрегатор).

    Но тогда мне не ясно, зачем (судя по логам) каждую страницу открывать по 7 раз с интервалом в 1-2 сек - мышка заела или контент так понравился?

    2. Это айпишка мирхостинга, т.е. данный скан производит ботнет типа "желатиновый шторм".

    Пару недель назад, при анализе статистики упавшего в результате ddos'а сайта наткнулся на кучу посещений этого WinHTTP Robot/1.0 (судя по логам буквально за полчаса до того как сайт ушел в аут) - хотя возможно эти парни тут не причем.

    3. Есть такая прога WinHTTTrack (старая правда)...

    Суть создания топика попытаться разобраться имеет ли место быть легитимный поисковый робот которого банить не надо, а надо наоборот любить и извлекать пользу или же наоборот - убивать на месте.

    И кто такие эти "SoftLayer Technologies Inc.", которые так активно домогаются контента?

    Есть у вас информация по этой теме?
     
  2. Conroe

    Conroe

    Регистр.:
    16 янв 2008
    Сообщения:
    204
    Симпатии:
    23
    может и бот, только robots.txt не запрашивает, а это наводит на мысль что не совсем поисковый бот.
    тоже интересно кто что про него знает. приходит с разных IP по IP пробиваются совершенно левые сайты.
     
  3. Eclipsik

    Eclipsik Постоялец

    Регистр.:
    26 окт 2006
    Сообщения:
    142
    Симпатии:
    41
  4. deltrix

    deltrix Постоялец

    Заблокирован
    Регистр.:
    24 янв 2008
    Сообщения:
    79
    Симпатии:
    14
    У меня всегда подобные вещи вызывают подозрение в воровстве контента.
    А можно узнать в каких обьемах он кушает твой сайт?
     
  5. tritnu

    tritnu Постоялец

    Регистр.:
    5 мар 2008
    Сообщения:
    52
    Симпатии:
    5
    Это-то понятно. И понятно, что это "типа как-бы" компания хостер сдающая серваки всем кому не лень. Непонятно почему именно от них происходят "налеты" этого самого "WinHTTP Robot/1.0" и насколько критично блокировать такой трафик.

    Добавлено через 1 минуту
    судя по отзывам 2 торрентовских площадки и 4 новостных сайта съедены на 100%, причем некоторые аж по 7 раз ЗА ДЕНЬ! Поражает то, что сожраны и те страницы которые из индексов поисковиков давно вылетели по разным причинам.
     
  6. masto

    masto Прохожие

    Да потому что сервер с которого приходит бот, размещён в их сетке.
    Кто-то из их клиентов шалит.

    Если не ошибаюсь, бот обсуждался на searchengines, посмотри там.
     
Статус темы:
Закрыта.