[Ищу] для проверки наличия страниц на сайтах

Тема в разделе "Автоблоггинг", создана пользователем bertolai, 26 фев 2011.

  1. bertolai

    bertolai

    Регистр.:
    21 янв 2008
    Сообщения:
    157
    Симпатии:
    56
    программу или скрипт для такого вот:
    есть файл с урлами типа _www.sait1.ru/register , потом сайт2 и т.д.

    нужно проверить, существует ли на них (сайтах) страница /register или нет. кто что посоветует?
     
  2. zzallexx

    zzallexx

    Регистр.:
    11 июн 2008
    Сообщения:
    1.036
    Симпатии:
    699
    PHP:
    <?php
    ini_set
    ('max_execution_time',0);
    function 
    get_web_page$url )
    {
      
    $uagent "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8";

      
    $ch curl_init$url );

      
    curl_setopt($chCURLOPT_RETURNTRANSFER1);  // возвращает веб-страницу
      
    curl_setopt($chCURLOPT_REFERER,"http://google.com");
      
    curl_setopt($chCURLOPT_HEADER0);           // не возвращает заголовки
      
    curl_setopt($chCURLOPT_FOLLOWLOCATION1);   // переходит по редиректам
      
    curl_setopt($chCURLOPT_ENCODING"");        // обрабатывает все кодировки
      
    curl_setopt($chCURLOPT_USERAGENT$uagent);  // useragent
      
    curl_setopt($chCURLOPT_CONNECTTIMEOUT120); // таймаут соединения
      
    curl_setopt($chCURLOPT_TIMEOUT120);        // таймаут ответа
      
    curl_setopt($chCURLOPT_MAXREDIRS10);       // останавливаться после 10-ого редиректа

      
    $content curl_exec$ch );
      
    $err     curl_errno$ch );
      
    $errmsg  curl_error$ch );
      
    $header  curl_getinfo$ch );
      
    curl_close$ch );

      
    $header['errno']   = $err;
      
    $header['errmsg']  = $errmsg;
      
    $header['content'] = $content;
      return 
    $header;
    }

    $file=file("urls.txt"); //файл с урлами вида http://sait1.ru/register каждый урл с новой строки
    $fp1=fopen("ok.txt","a+");
    $fp2=fopen("bad.txt","a+");
    $count_str=count($file);
    for (
    $i=0;$i<$count_str;$i++){
    $url=trim($file[$i]);
    $result=get_web_page$url );
    if ( 
    $result['http_code'] == 404 ){echo 'Страницы '.$url.' не существует<br>'fwrite($fp2,$url."\n");flush();ob_flush();flush();}
    else { 
    fwrite($fp1,$url."\n"); echo 'Записали '.$url.'<br>';flush();ob_flush();flush();}
       }
    fclose($fp1);
    fclose($fp2);
    ?>
     
    bertolai нравится это.
  3. bertolai

    bertolai

    Регистр.:
    21 янв 2008
    Сообщения:
    157
    Симпатии:
    56
    PHP:
    Fatal errorCall to undefined function curl_init() in Z:\home.... on line 7 
    ошибочка... что не так?
     
  4. zzallexx

    zzallexx

    Регистр.:
    11 июн 2008
    Сообщения:
    1.036
    Симпатии:
    699
    у меня все работает видимо у вас curl не работает там где вы его запускаете
     
  5. bertolai

    bertolai

    Регистр.:
    21 янв 2008
    Сообщения:
    157
    Симпатии:
    56
    я пока на Денвере-3 2008-01-13, на ноуте пробовал.
     
  6. zzallexx

    zzallexx

    Регистр.:
    11 июн 2008
    Сообщения:
    1.036
    Симпатии:
    699
    вот отсюда скачай _https://nulled.cc/showthread.php?t=135747&page=3
     
  7. bertolai

    bertolai

    Регистр.:
    21 янв 2008
    Сообщения:
    157
    Симпатии:
    56
    может кому пригодится: allsubmitter может делать то, что мне и надо было, а именно: искать на сайтах определённые ссылки на (допустим) страницы регистрации, в моём случае /register . база каталогов -> найти формы добавления.

    кстати, так и недопонял я, почему у меня скрипт на денвере не заработал. посоветовали мне раскомментировать строку extension=php_curl.dll в файле php.ini - не помогло однако.
     
  8. zzallexx

    zzallexx

    Регистр.:
    11 июн 2008
    Сообщения:
    1.036
    Симпатии:
    699
    потому что курл у тебя на денвере не работает, а по поводу раскоментировать кроме этого еще надо было Денвер перезагрузить
     
  9. bertolai

    bertolai

    Регистр.:
    21 янв 2008
    Сообщения:
    157
    Симпатии:
    56
    перезагружал, понятное дело... всё равно неработает... придётся ставить новый денвер.
     
  10. andrkaa1

    andrkaa1 Писатель

    Регистр.:
    14 июл 2011
    Сообщения:
    0
    Симпатии:
    0
    Старая версия денвера

    Видимо в денвере не включена библиотека в PHP. Я так понял что у вас старый денвер. скачайте на их сайте новый - там все точно работает.