Парсер страницы которая грузится не сразу

Тема в разделе "PHP", создана пользователем Joker84, 11 ноя 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. Joker84

    Joker84 Постоялец

    Регистр.:
    8 авг 2007
    Сообщения:
    68
    Симпатии:
    2
    Добрый день, товарищи, помогите сделать парсер страницы которая грузиться не сразу , там насколько я понимаю аякс
    Перейти по ссылке
    т.е сначало грузится все кроме правой колонки под контент, потом идет отсылка запроса:confused: и вывод соответсвующего контента.


    вот поймать немогу как и откуда вытащить эту грань отсылки:nezn:.

    пробовал curl и file_get_contents результата недали, грабит только 1. часть все кроме нужного контента, который подгружается после.

    Подскажите как быть? и можно ли отпрасить
     
  2. stealthdebuger

    stealthdebuger Механик

    Administrator
    Регистр.:
    25 авг 2008
    Сообщения:
    634
    Симпатии:
    1.407
  3. Fridhelm

    Fridhelm Читатель

    Заблокирован
    Регистр.:
    15 авг 2009
    Сообщения:
    211
    Симпатии:
    13
    А если делать задержку перед парсингом, чтоб страница загрузилась полностью ?
     
  4. Sanuch

    Sanuch

    Регистр.:
    25 май 2009
    Сообщения:
    207
    Симпатии:
    70
    и как вы это планируете реализовать при использовании curl-а?

    в данном случае необходимо определить функционал, подгружающий требуемую часть странички, и после пытаться реализовать его работу.
     
  5. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    437
    2 Fridhelm: нужная ебе информация подгружается посредством js

    Curl не выполняет js код

    тут только разбираться с Перейти по ссылке , с тем как и какие данные он выдает и потом пытаться реализовать это в своем скрипте
     
  6. Zogr

    Zogr Постоялец

    Регистр.:
    6 июн 2008
    Сообщения:
    96
    Симпатии:
    7
    Так сказано же, что страница грузится через JS. JS исполняется браузером, который посылает серверу нужные запросы. А что будет у вас на сервере исполнять JS и посылать управляемые им запросы?

    ТС, либо выдирай нужные урлы из исходника JS, либо смотри их через любой монитор запросов, хоть через фаербаг. С параметрами запроса там будет скорее всего понятно что к чему.

    Альтернативный вариант - автоматизировать браузер и выдирать инфо с его помощью. Здесь смотреть в сторону iOpus iMacros (есть фришная версия, но в данной задаче лучше юзать scripting edition), или всё того же Хенданта.
     
  7. afonya09

    afonya09

    Регистр.:
    31 янв 2009
    Сообщения:
    260
    Симпатии:
    18
    Чтобы не париться установи шттп аналайзер и проанализируй трафик с этого сайта.
    Найдеш то уткуда аяксом бируца данные.
    Парсиш его!
     
  8. stealthdebuger

    stealthdebuger Механик

    Administrator
    Регистр.:
    25 авг 2008
    Сообщения:
    634
    Симпатии:
    1.407
    Да что там анализировать-то? Я же показал на какой скрипт надо смотреть...
    присмотреться внимательно - там есть такие строки
    req.open(null, '../functions/games_game_base.php', true);
    req.send( { cmd: 'getgame', id: gmid } );

    что осталось сделать? узнать gmid и послать запрос...
     
  9. afonya09

    afonya09

    Регистр.:
    31 янв 2009
    Сообщения:
    260
    Симпатии:
    18
    Не соглашусь с вами!!!
    Анализ это самый верный способ получить максимум из того что есть с минимальными трудозатратами!!
     
  10. -=Xardas=-

    -=Xardas=-

    Регистр.:
    17 сен 2008
    Сообщения:
    250
    Симпатии:
    58
    PHP:
    <?php
    function getContent($id)    
    {
        return 
    file_get_contents("http://warez.orionnet.ru/functions/games_game_base.php?cmd=getgame&id={$id}");
    }
    echo 
    getContent("2321");
     
Статус темы:
Закрыта.