Помогите с парсингом гугла

Тема в разделе "PHP", создана пользователем dump1111, 24 ноя 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    Можете подсказать код, который при помощи курлов отправлял бы запрос на русском языке к google.ru и на английском к google.com. У меня не получается загрузить страницу с выдачей гугла. Google.com видимо по русскому ip переадресует к google.ru, а google.ru вместо выдачи выдаёт какую-то муть.
     
  2. everest

    everest

    Регистр.:
    20 дек 2006
    Сообщения:
    197
    Симпатии:
    20
    не знаю как гугль, а яндекс раньше боролся с автоматическим парсингом и просто выдавал пустые страницы вместо результатов запросов...
     
  3. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    Ну а как он определял что это автоматический парсинг? Вот я и прошу подскахать код для парсинга...
     
  4. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    437
    PHP:
    <?php
    function curl_ini(){
        
    $ch curl_init();
        
    curl_setopt($chCURLOPT_RETURNTRANSFER,1);
        
    curl_setopt($chCURLOPT_FOLLOWLOCATION1);
        
    curl_setopt($chCURLOPT_COOKIEJAR,realpath(".").'/cookies.txt');
        
    curl_setopt($chCURLOPT_COOKIEFILE,realpath(".").'/cookies.txt');
        
    curl_setopt ($chCURLOPT_USERAGENT"Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1) Gecko/20061010 Firefox/2.0;MEGAUPLOAD 1.0");
        
    curl_setopt($ch,CURLOPT_VERBOSE,1);
        return 
    $ch;}
    // загрузка  с помощью курла
    function get_file_by_curl($url){
        
    $ch=curl_ini();
        
    curl_setopt($chCURLOPT_URL,$url);
        
    $result=curl_exec ($ch);
        return 
    $result;}

    $word=' привет ';
    $url='http://www.google.com/search?client=opera&rls=ru&rls=ru&q='.urlencode(iconv("windows-1251","utf-8",$word)).'&sourceid=opera&ie=utf-8&oe=utf-8';
    echo 
    get_file_by_curl($url);
    ?>
     
    dump1111 нравится это.
Статус темы:
Закрыта.