[Помощь] Помогите спарсить товары

Тема в разделе "Интернет-магазины", создана пользователем melitrom, 10 ноя 2012.

  1. melitrom

    melitrom

    Регистр.:
    29 июн 2011
    Сообщения:
    300
    Симпатии:
    34
    Пользовался Content Downloader-ом, хорошо настраивается под любой сайт. Но все-таки не под любой.
    Посоветуйте как можно спарсить товары на сайте, где товары подгружаются базой. Ну как-то так. В общем сайты вношу в студию:
     
  2. makia

    makia

    Регистр.:
    23 сен 2006
    Сообщения:
    273
    Симпатии:
    145
    Например, первый сайт

     
  3. melitrom

    melitrom

    Регистр.:
    29 июн 2011
    Сообщения:
    300
    Симпатии:
    34
    Это на первый взгляд - все правильно вы сказали, ссылки есть, но когда Content Downloader загружает страницу он не видит карточку товара, т.е. она показывается в Java Script. Есть еще варианты?
    Чтож, готов даже потратиться на решение, коммерческое дело ведь.
     
  4. klmsky

    klmsky Постоялец

    Регистр.:
    11 сен 2011
    Сообщения:
    66
    Симпатии:
    29
    Visual Web Ripper умеет работать с java scripts. Возможно, он поможет. Но скажу честно, у меня "наскоком" спарсить товары с этих сайтов тоже не получилось.
    Можно скачать триал, попросить помощи на оффоруме Visual Web Ripper, они делают демо-проект. Ну а пользоваться можно отломанной версией 2,86
     
  5. yuriy_ak

    yuriy_ak Создатель

    Регистр.:
    6 май 2009
    Сообщения:
    39
    Симпатии:
    2
    Могу сделать парсер для этих сайтов, за скромное вознаграждение.
     
  6. tirrex

    tirrex

    Регистр.:
    9 ноя 2008
    Сообщения:
    213
    Симпатии:
    60
    можно попробовать слить контент оффлайн браузером, который умеет исполнять скрипты
    ну а потом распарсить - CD или чем угодно
     
  7. melitrom

    melitrom

    Регистр.:
    29 июн 2011
    Сообщения:
    300
    Симпатии:
    34
    Это типа teleport? Дело в том, что контент я спарсил с другого сайта, который спарсил оригинальный сайт. Получается не очень удобно и затратно по времени каждую неделю парсить и дополнять контент. Все-таки пришел к выводу что нужен написанный php парсер который запускался бы кроном. Если есть предложения, напишите в личку.
     
  8. makia

    makia

    Регистр.:
    23 сен 2006
    Сообщения:
    273
    Симпатии:
    145
     
  9. BorisMD

    BorisMD Писатель

    Заблокирован
    Регистр.:
    3 янв 2013
    Сообщения:
    29
    Симпатии:
    4
    Парни так какое решение в результате ? нашли ?

    Мне нужно Яндекс маркет регулярно парсить, и некоторые сайты-магазины, перекопал все вопросы ответы в нете - нашел единственное решение Content Downloader пока.

    Какое решение в результате выбрали Вы?
     
  10. tcpippop3

    tcpippop3 Создатель

    Регистр.:
    15 дек 2006
    Сообщения:
    11
    Симпатии:
    8
    вот тут есть наброски на php парсера яндекс маркета, можно допилить под свои нужды.