[Помощь] Помогите спарсить товары

Тема в разделе "Интернет-магазины", создана пользователем melitrom, 10 ноя 2012.

  1. melitrom

    melitrom

    Регистр.:
    29 июн 2011
    Сообщения:
    300
    Симпатии:
    34
    Пользовался Content Downloader-ом, хорошо настраивается под любой сайт. Но все-таки не под любой.
    Посоветуйте как можно спарсить товары на сайте, где товары подгружаются базой. Ну как-то так. В общем сайты вношу в студию:

    http://itplanet.zp.ua
    http://microtron.ua
     
  2. makia

    makia

    Регистр.:
    23 сен 2006
    Сообщения:
    273
    Симпатии:
    145
    Например, первый сайт

    http://itplanet.zp.ua

    Скачиваем прайс http://www.itplanet.zp.ua/price/itp1.zip

    Выбираем нужные разделы/товары из прайса:
    Материнские платы
    http://www.itplanet.zp.ua/goods#p108976
    http://www.itplanet.zp.ua/goods#p112965
    http://www.itplanet.zp.ua/goods#p109691
    http://www.itplanet.zp.ua/goods#p109668
    http://www.itplanet.zp.ua/goods#p109804
    http://www.itplanet.zp.ua/goods#p43649
    Корпуса
    http://www.itplanet.zp.ua/goods#p13116
    http://www.itplanet.zp.ua/goods#p44006
    http://www.itplanet.zp.ua/goods#p28663
    и т.д.

    Полученные ссылки юзаем в Content Downloader.
    На первый взгляд, проблем при парсинге быть не должно.
     
  3. melitrom

    melitrom

    Регистр.:
    29 июн 2011
    Сообщения:
    300
    Симпатии:
    34
    Это на первый взгляд - все правильно вы сказали, ссылки есть, но когда Content Downloader загружает страницу он не видит карточку товара, т.е. она показывается в Java Script. Есть еще варианты?
    Чтож, готов даже потратиться на решение, коммерческое дело ведь.
     
  4. klmsky

    klmsky Постоялец

    Регистр.:
    11 сен 2011
    Сообщения:
    66
    Симпатии:
    29
    Visual Web Ripper умеет работать с java scripts. Возможно, он поможет. Но скажу честно, у меня "наскоком" спарсить товары с этих сайтов тоже не получилось.
    Можно скачать триал, попросить помощи на оффоруме Visual Web Ripper, они делают демо-проект. Ну а пользоваться можно отломанной версией 2,86
     
  5. yuriy_ak

    yuriy_ak Создатель

    Регистр.:
    6 май 2009
    Сообщения:
    39
    Симпатии:
    2
    Могу сделать парсер для этих сайтов, за скромное вознаграждение.
     
  6. tirrex

    tirrex

    Регистр.:
    9 ноя 2008
    Сообщения:
    213
    Симпатии:
    60
    можно попробовать слить контент оффлайн браузером, который умеет исполнять скрипты
    ну а потом распарсить - CD или чем угодно
     
  7. melitrom

    melitrom

    Регистр.:
    29 июн 2011
    Сообщения:
    300
    Симпатии:
    34
    Это типа teleport? Дело в том, что контент я спарсил с другого сайта, который спарсил оригинальный сайт. Получается не очень удобно и затратно по времени каждую неделю парсить и дополнять контент. Все-таки пришел к выводу что нужен написанный php парсер который запускался бы кроном. Если есть предложения, напишите в личку.
     
  8. makia

    makia

    Регистр.:
    23 сен 2006
    Сообщения:
    273
    Симпатии:
    145
    Вообще, мне кажется, Content Downloader допилить для парсинга данных сайтов можно. Все дело в запросах, к-ые сперва нужно отловить (например, с помощью http://livehttpheaders.mozdev.org/ http://tamperdata.mozdev.org/ и тп).


    В итоге, мы получим что-то вроде:
    http://www.itplanet.zp.ua/catalog#p108885
    http://www.itplanet.zp.ua/descriptions/108885

    http://www.itplanet.zp.ua/catalog#p103662
    http://www.itplanet.zp.ua/descriptions/103662

    http://www.itplanet.zp.ua/catalog#p8042
    http://www.itplanet.zp.ua/descriptions/8042

    По аналогии находим откуда тянутся картинки, тайтлы и тп. Потом все это дело настраиваем в CD и парсим уже в один конечный файл или как нам удобнее.

    Небольшое видео в помощь: http://sbfactory.ru/cd/?p=615
     
  9. BorisMD

    BorisMD Писатель

    Заблокирован
    Регистр.:
    3 янв 2013
    Сообщения:
    29
    Симпатии:
    4
    Парни так какое решение в результате ? нашли ?

    Мне нужно Яндекс маркет регулярно парсить, и некоторые сайты-магазины, перекопал все вопросы ответы в нете - нашел единственное решение Content Downloader пока.

    Какое решение в результате выбрали Вы?
     
  10. tcpippop3

    tcpippop3 Создатель

    Регистр.:
    15 дек 2006
    Сообщения:
    11
    Симпатии:
    8
    вот тут есть наброски на php парсера яндекс маркета, можно допилить под свои нужды.