как обойти ответ 302 при парсинге

[Diverse]

Подскажите как обходятся 302 ответы сервера?

Например

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Делает 302 редирект и возвращается по тому же урлу

Как можно парсить такие ресурсы?

Пользую класс Snoopy

    $snoopy = new Snoopy;
    $snoopy->referer = "http://google.com/";
    $snoopy->agent = "(compatible; MSIE 6.01; MSN 2.5; AOL 4.0; Windows Server 2003)";
    $snoopy->cookies["SessionID"] = rand(122220000,2147483647);
    $snoopy->rawheaders["Pragma"] = "no-cache";
    $snoopy->maxredirs = 3;
    $snoopy->offsiteok = false;
    $snoopy->expandlinks = false;

    $snoopy->fetch($index_url);

$snoopy->status;

отдает 302

почему не срабатывает

$snoopy->maxredirs = 3;

или тут что-то другое?

 

[Diverse]

люди... =)
ну хоть какие-то мысли может есть?
или такие ресурсы нельзя парсить с помощью curl?

 

[Sanuch]

или используйте другой класс, или пилите данный, так как он не отрабатывает перенаправления с http на https, необходима настройка параметров самого класса, в частности curl_path и, возможно, это еще не все ...

 

[Crazy108]

Возмодны два варинта
1) то, где запускается скрипт с вызовом класса, запрещено/не разрешено/не настроено работа с протоколом https
2) следите за куками, после редиректа с https страницы на первоначальную страницу запроса. там ставится кука
Set-Cookie JSESSIONID=p1jjkf2o6g95;Path=/

второй вариант проще всего решается настройками curl. первый вариант сложнее, но не критично

 

[bumer3]

Попробуй пихнуть в запрос реферер где значение будет этот адрес. Оно должно схавать.

 

[Diverse]

или используйте другой класс, или пилите данный, так как он не отрабатывает перенаправления с http на https, необходима настройка параметров самого класса, в частности curl_path и, возможно, это еще не все ...

phpinfo говорит

cURL support enabled
cURL Information libcurl/7.19.6 OpenSSL/0.9.7e zlib/1.2.3

curl с поддержкой ssl... настроить? что имеется ввиду?

Возмодны два варинта
1) то, где запускается скрипт с вызовом класса, запрещено/не разрешено/не настроено работа с протоколом https
2) следите за куками, после редиректа с https страницы на первоначальную страницу запроса. там ставится кука
Set-Cookie JSESSIONID=p1jjkf2o6g95;Path=/
второй вариант проще всего решается настройками curl. первый вариант сложнее, но не критично

куку вижу, но в моем случае редиректа не происходит и соответственно ничего не ставится... я так понимаю достаточно хоть раз получить куку, но как сделать так что бы произошел редирект и она поставилась?

Попробуй пихнуть в запрос реферер где значение будет этот адрес. Оно должно схавать.

пробовал... не оно

 

[Sanuch]

говорим только о пхп скриптах, никаких настроек самого пхп.
Классе "Snoopy" не позволяет, покрайней мере та версия, что я видел, не отрабатывает редирект с http на https, так как это не предусмотренно в регулярном выражении в самом классе, поэтому я и написал или правьте и доводите до ума этот класс, или пробуйте какой-либо другой