Пинг яше+гуглу и скан ботсетью

Тема в разделе "Поисковые машины", создана пользователем borodatych, 18 июл 2016.

Модераторы: Sorcus
  1. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    Здравствуйте.

    Не знал куда писать, и раз поселился здесь, решил испытать счастье сперва на данном форуме.

    Несколько дней, а может почти с неделю скормил ребятам через их пинг сервисы по 10млн записей.
    Сегодня обнаружили, что клиенты жалуются на скорость работы софта, что обращается к нашему серверу.

    Проблему найти самостоятельно не смог, помог старший админ 80-го левела.
    Было обнаружено, что забита временная директория (100Мб) файлами от сессий.

    Далее уже в логах обнаружил обращение к тем страницам, что скормили яше и гуглу.
    Но обращение шло (проверил 5 адресов) с китайских IP.

    На текущий момент 1395 уникальных IP (кому интересно прикрепил файлик).

    Собственно вопрос/ы:
    От куда китайский ботнет смог узнать о страницах, что нет еще в поиске?
    Может это яшин или гугла ботнет, ведь надо же 10млн оббработать, и это только моих?
    Может у кого то из них поломали сервак, что собирает пинги?

    UPD: По файлу, с лева это колонка, сколько раз было обращение с этого IP.
     

    Вложения:

  2. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.329
    Симпатии:
    2.300
    Запросы явно идут с групп подсетей, т.е. это прокси/vds.
    Это примитивный скан. Зачем - без понятия. Скорее всего - сделали дамп сайта для продажи статей с твоего сайта, либо создания дубликата под рекламу.

    Яндекс/гугл сканируют только со своих подсетей, хотя и делают чек с приватных сетей, но никак не всё подряд.

    У меня только один вопрос... А зачем пользоваться левыми сервисами?
    У Яндекса и Гугла есть родные пинг-сервера... Мы же пытаемся сделать как всегда через задний проход, а потом удивляемся, что что-то пошло не так...

    Если у гугла для Вас ограничение (условно) 10 запросов к пинг-серверу в сутки, то, поверь, для Васи Пупкина, когда он твой домен отправит, ограничение будет то же. Смысл?

    Сначала версим Васе Пупкину, а потом обнаруживаем слитый сайт на варезнике... А главное все ссылки сами же подарили парсеру.

    P.s. сеошник из меня никакой, но чисто логикой всё так...
     
  3. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    Возможно я не так выразился:
    Я использовал именно родные сервера, кроме одного НО (чуть ниже).

    По яндексу отправлял так:

    PHP:
    $service 'http://ping.blogs.yandex.ru/RPC2';
    $method "weblogUpdates.ping";

    $params = array(
        
    $name,
        
    $url
    );

    $request xmlrpc_encode_request($method$params);
    $context stream_context_create(array('http' => array(
        
    'method' => "POST",
        
    'header' => "Content-Type: text/xml",
        
    'content' => $request
    )));
    $file file_get_contents($servicefalse$context);
    $response xmlrpc_decode($file);
    if( 
    $response && xmlrpc_is_fault($response) )
    {
        
    trigger_error("xmlrpc: $response[faultString] ($response[faultCode])");
    }
    else
    {
        echo 
    $response['message']." => $i at \n";
    }
    НО! Для гугла решил попробовать либу (прикрепил) и такой код:
    PHP:
    $pingClient = new IXR_Client('blogsearch.google.com''/ping/RPC2');
    /// Посылаем challange-запрос
    if( !$pingClient->query('weblogUpdates.extendedPing'$name$page$site) )
    {
        echo 
    date("Y.m.d H:i:s"), " => "$i" => ",'Ошибка ping-запроса Google [' $pingClient->getErrorCode().'] '.$pingClient->getErrorMessage(), "\n";
    }
    else echo 
    date("Y.m.d H:i:s"), " => "$i" => ",'Послан ping Google'"\n";
    В либе ничего такого не увидел.
    Использовал, так как предположил, что будет более информативная в случае ошибки.
     

    Вложения:

  4. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.329
    Симпатии:
    2.300
    Беглый осмотр библиотеки - ничего критичного в ней нет.
    Если использовались родные сервера - утечки тоже быть не должно...

    А чем составляли список ссылок?

    Пока похоже либо на DDoS, либо на скан всего подряд для клонирования сайта...
     
  5. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    Ссылки скриптом создавал, ссылки вида domain.ru/items/ACI+-+AVESA/IT4918901370 .
    Как видно, такое сложно отнести ко всему подряд, учитывая, что ссылки ни где не мелькают.
    Их вот-вот только пингам скормили.

    Есть подозрения на конкурентов, с аналогичной структурой.

    Пока писал, пришла такая мысля, просто не откуда больше, если исключить слив от яндекса и гугла, пускай даже через бэкдорчик.