Парсер страницы которая грузится не сразу

[Joker84]

Добрый день, товарищи, помогите сделать парсер страницы которая грузиться не сразу , там насколько я понимаю аякс
Для просмотра ссылки Войди или Зарегистрируйся
т.е сначало грузится все кроме правой колонки под контент, потом идет отсылка запроса и вывод соответсвующего контента.


вот поймать немогу как и откуда вытащить эту грань отсылки.

пробовал curl и file_get_contents результата недали, грабит только 1. часть все кроме нужного контента, который подгружается после.

Подскажите как быть? и можно ли отпрасить

 

[stealthdebuger]

Посмотрите внимательно на Для просмотра ссылки Войди или Зарегистрируйся
Там ответ на все ваши вопросы.

 

[Fridhelm]

Добрый день, товарищи, помогите сделать парсер страницы которая грузиться не сразу , там насколько я понимаю аякс
Для просмотра ссылки Войди или Зарегистрируйся
т.е сначало грузится все кроме правой колонки под контент, потом идет отсылка запроса и вывод соответсвующего контента.
вот поймать немогу как и откуда вытащить эту грань отсылки.
пробовал curl и file_get_contents результата недали, грабит только 1. часть все кроме нужного контента, который подгружается после.
Подскажите как быть? и можно ли отпрасить

А если делать задержку перед парсингом, чтоб страница загрузилась полностью ?

 

[Sanuch]

А если делать задержку перед парсингом, чтоб страница загрузилась полностью ?

и как вы это планируете реализовать при использовании curl-а?

в данном случае необходимо определить функционал, подгружающий требуемую часть странички, и после пытаться реализовать его работу.

 

[ZCFD]

2 Fridhelm: нужная ебе информация подгружается посредством js

Curl не выполняет js код

тут только разбираться с Для просмотра ссылки Войди или Зарегистрируйся , с тем как и какие данные он выдает и потом пытаться реализовать это в своем скрипте

 

[Zogr]

А если делать задержку перед парсингом, чтоб страница загрузилась полностью ?

Так сказано же, что страница грузится через JS. JS исполняется браузером, который посылает серверу нужные запросы. А что будет у вас на сервере исполнять JS и посылать управляемые им запросы?

ТС, либо выдирай нужные урлы из исходника JS, либо смотри их через любой монитор запросов, хоть через фаербаг. С параметрами запроса там будет скорее всего понятно что к чему.

Альтернативный вариант - автоматизировать браузер и выдирать инфо с его помощью. Здесь смотреть в сторону iOpus iMacros (есть фришная версия, но в данной задаче лучше юзать scripting edition), или всё того же Хенданта.

 

[afonya09]

Чтобы не париться установи шттп аналайзер и проанализируй трафик с этого сайта.
Найдеш то уткуда аяксом бируца данные.
Парсиш его!

 

[stealthdebuger]

Да что там анализировать-то? Я же показал на какой скрипт надо смотреть...
присмотреться внимательно - там есть такие строки
req.open(null, '../functions/games_game_base.php', true);
req.send( { cmd: 'getgame', id: gmid } );

что осталось сделать? узнать gmid и послать запрос...

 

[afonya09]

Да что там анализировать-то? Я же показал на какой скрипт надо смотреть...
присмотреться внимательно - там есть такие строки
req.open(null, '../functions/games_game_base.php', true);
req.send( { cmd: 'getgame', id: gmid } );
что осталось сделать? узнать gmid и послать запрос...

Не соглашусь с вами!!!
Анализ это самый верный способ получить максимум из того что есть с минимальными трудозатратами!!

 

[-=Xardas=-]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.