CURL и глюки

Тема в разделе "PHP", создана пользователем pslava, 18 сен 2008.

Статус темы:
Закрыта.
Модераторы: latteo
  1. pslava

    pslava

    Регистр.:
    16 май 2007
    Сообщения:
    618
    Симпатии:
    122
    Есть парсер, он исправно стягивает страницы из инета через CURL и парсих их. В последнее время стал проявляться глюк: скрипт загружает страницы и потом некоторый период (1-2 часа) вообще ничего не может стянуть, потом опять может. У кого было нечто похожее поделитесь пожалуйста решением
     
  2. Dimkich

    Dimkich Постоялец

    Регистр.:
    10 июл 2007
    Сообщения:
    119
    Симпатии:
    36
    А что парсишь?
    Если один и тот же ресурс, то может быть он тебя по ip банит на 2 часа?
     
  3. pslava

    pslava

    Регистр.:
    16 май 2007
    Сообщения:
    618
    Симпатии:
    122
    Не банит, когда он тупит, я пробовал загружать другие общедоступные страницы - и ничего, даже никаких сообщений об ошибке, просто белый экран и все. Хостер тоже ничего не менял в настройках
     
  4. myweb

    myweb Среда обитания WEB

    Регистр.:
    10 сен 2007
    Сообщения:
    539
    Симпатии:
    246
    А сайт из которого тянеться информация в это время доступный, может донор в это время висит.
    Как альтернативу попробуй через сокеты тянуть и выводить поетампно сообщение типа :

    >подключаемся - Ок
    >даные через Get - Ok ....

    то есть сделать простенький лог
     
  5. phgrey

    phgrey Создатель

    Регистр.:
    11 май 2008
    Сообщения:
    12
    Симпатии:
    2
    Это хостер! Они спецом со сплогами борятся.
     
  6. elcaste

    elcaste

    Регистр.:
    30 ноя 2007
    Сообщения:
    322
    Симпатии:
    175
    Я в таких случаях проверяю ф-ей file_get_contents. Еще можно во время дебага взять строку урла которая идет в curl_init или CURLOPT_URL и вставить ее в браузер. С другого IP можно еще попробовать.

    У меня есть такой рес, который из моей локалки не парсится ни при каких обстоятельствах, ничем. Браузером все отлично открывается. Тот же скрипт на VDS отлично все парсит... :nezn:
     
  7. pslava

    pslava

    Регистр.:
    16 май 2007
    Сообщения:
    618
    Симпатии:
    122
    В момент тупения CURLа, из браузера эти страницы открываются нормально, между загрузкой страниц стоит пауза в 3 сек., Такие чудеса начались когда на хостинге поменялся админ.
    Что такое сплоги? Их можно как-то обойти или узнать что они включены? Как их отключить? У меня тарифный план типа VDS
     
  8. Lonely Wolf

    Lonely Wolf Прохожие

    Что за флуд понаписали, в курле есть режим отладки...
    ставишь опцию
    PHP:
    set_opt($ch'CURLOPT_VERBOSE'true);
    он тебе будет выводить каждый шаг операции, потом на конце после выполнения добавишь:
    PHP:
    $errnum=curl_errno($ch);
    if(
    $errnum){ echo "ERROR[".$errnum."]: ".curl_error($ch); }
    echo 
    "<br><pre>"print_r(curl_getinfo($ch)); echo "</pre>";
    И посмотришь полный лог работы, сначало ошибки и описание, потом ответы параметры обращения сервера...
     
  9. elcaste

    elcaste

    Регистр.:
    30 ноя 2007
    Сообщения:
    322
    Симпатии:
    175
    Человек имел ввиду, что для того, чтобы пресечь наличие сплогов(автоматически наполняемый блог) у себя, хостер установливает ограничения на исходящие соединения. Такое происходит повсеместно на фришный хостингах. Попробуй запустить скрипт с другого сервака.
     
  10. pslava

    pslava

    Регистр.:
    16 май 2007
    Сообщения:
    618
    Симпатии:
    122
    Где админы это включают, где указывают количество на исходящиые соединения (нужен файл и параметр, хостинг под *nix)?
     
Статус темы:
Закрыта.