Парсим Yandex & Ban

Тема в разделе "PHP", создана пользователем D@nil, 25 июл 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    Здравствуйте!

    Подскажите кто парсит выдачу яндекс поиска как правильно парсить чтоб не банило нас.

    Сейчас далаю так.

    передаю реффер, куки, узерагент

    парсю с паузой 1,5 сек.

    всеравно банит недоходя до 100 запросов.

    PHP:
    function curl_get($url) {
        
    $ch curl_init $url );
        
    curl_setopt $chCURLOPT_ENCODING'' );
        
    curl_setopt $chCURLOPT_REFERER'http://www.yandex.ru/' );
        
    curl_setopt $chCURLOPT_FOLLOWLOCATION);
        
    curl_setopt $chCURLOPT_TIMEOUT20 );
        
    curl_setopt $chCURLOPT_RETURNTRANSFER);
        
        
    curl_setopt $chCURLOPT_COOKIEFILE'cookie' );
        
    curl_setopt $chCURLOPT_COOKIEJAR'cookie' );
        
        
    curl_setopt $chCURLOPT_USERAGENT'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.1) Gecko/20090715 Firefox/3.5.1' );
        
        
    $serp curl_exec $ch );
        
        
    curl_close $ch );
        
        return 
    $serp;
    }
    XML, Прокси не предлагать =)
     
  2. sw04

    sw04 seoplayer

    Регистр.:
    1 дек 2007
    Сообщения:
    601
    Симпатии:
    193
    Данила, не парься ;)
    бери seoclass.php
     
    Atec нравится это.
  3. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    Ссылочкой поделишься?

    Я погулил талкового не нашел класса.
     
  4. wwwitalya

    wwwitalya Создатель

    Регистр.:
    4 май 2009
    Сообщения:
    45
    Симпатии:
    18
    Eсть такой класс который предупреждает блокировку IP яндекса? А где такое можно взять?
     
  5. BaziliX

    BaziliX Постоялец

    Регистр.:
    2 авг 2007
    Сообщения:
    85
    Симпатии:
    12
  6. VLDM

    VLDM Постоялец

    Регистр.:
    15 июн 2006
    Сообщения:
    50
    Симпатии:
    6
    Atec нравится это.
  7. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    Спасибо отличный класс, пригодится в работе.

    А проблему свою решил парсингом майла =)
     
    wwwitalya нравится это.
  8. vivid

    vivid Постоялец

    Регистр.:
    13 апр 2009
    Сообщения:
    143
    Симпатии:
    18
    парсю с интервалом в 3 минуты, за день что мне надо выуживаю, зачем напрягать сервера яндекса.
     
  9. ar4ik

    ar4ik

    Регистр.:
    26 ноя 2007
    Сообщения:
    331
    Симпатии:
    95
    Таймаута в 1,5 сек очень мало.
    Когда последний раз заряжал семонитор, при чекании позиций ставлю таймаут 30-60 сек. Несколько сотен запросов проверялось без бана.
     
  10. lena berkova

    lena berkova

    Регистр.:
    14 янв 2009
    Сообщения:
    441
    Симпатии:
    19
    таймаут 10 секунд хватает с головой
     
Статус темы:
Закрыта.