Граббер товаров из интернета в базу csv или другую

Тема в разделе "Интернет-магазины", создана пользователем fossa, 29 дек 2010.

  1. fossa

    fossa Постоялец

    Регистр.:
    20 май 2006
    Сообщения:
    69
    Симпатии:
    1
    существует ли готовый инструмент (платные рассматриваю) для онлайн-граббинга товаров-наименований-цен из xt-commerce в удобоваримый формат для последующего наполнения магазина на oscommerce, magneto или vamshop или какой оптимальнее подойдет?

    извините если вопрос поднимался - не нашел.
     
  2. Ranger_Hunter

    Ranger_Hunter Постоялец

    Заблокирован
    Регистр.:
    20 апр 2009
    Сообщения:
    127
    Симпатии:
    48
    Готовых инструментов не встречал, пользуюсь в основном таким методом:

    1. граблю сайт целиком с помощью Portable Offline Browser

    2. с помощью Total Commander отфильтровываю странички с товарами и категориями (через ALT-F7) по определенным признакам (по содержанию в тексте фразы "описание товара" или "фото товара" и т.п.)

    3. По окончании поиска жму кнопку "файлы на панель" и копирую в отдельную папку

    4. Окончательно фильтрую странички программой Text Pipe - очень мощная прога, понимает практически все существующие форматы регулярных выражений. Есть функция учебного прогона - вот там и прогоняю, пока не останутся только нужные мне данные. Далее прогоняю все странички через сформированные фильтры.

    5. Сливаю все обработанные файлы в один, обрабатываю в Akel Pad - поиском/заменой - получаю сырой .csv файл с нужными товарами

    6. из полученного .csv делаю .bat файл сливающий все фотографии товаров из общей папки (слитого сайта) в отдельную папку, и одновременно переименовывающий их в такой вид: imgNNNNN.jpg

    7. импорт созданной базы.

    8. PROFIT :)

    В свете вышеперечисленного геморроидального процесса, присоединяюсь к вопросу ТС. :)
     
    Weetal и sharada нравится это.
  3. ihrik

    ihrik

    Регистр.:
    24 янв 2009
    Сообщения:
    311
    Симпатии:
    91
    Универсальный и легкий в использовании грабер.
    Content Downloader
    http://sbfactory.ru/?p=600
    плюсы: настроить можно под что угодно
    минус:платный
     
    Ranger_Hunter нравится это.
  4. kent2177

    kent2177

    Регистр.:
    25 авг 2009
    Сообщения:
    153
    Симпатии:
    17
    Перепробовав много граберов остановился на Visual.Web.Ripper
    плюсы выкачиваешь то что тебе надо ,описание,картинки,заголовки
    нет ограничения на кол-во скаченного , есть видео инструкции на сайте ссылка на темуhttps://www.nulled.cc/showthread.php?t=170408&highlight=Visual.Web.Ripper
     
    fonetic, half-bred и Ranger_Hunter нравится это.
  5. goodween

    goodween Создатель

    Регистр.:
    9 июл 2007
    Сообщения:
    37
    Симпатии:
    7
    Раньше пользовался AGGRESS Parser http://vector-seo.info/?p=5, но он требует некоторого времени на изучение синтаксиса и немного не хватает гибкости. Но по скорости работы - отлично.
    Visual Web Ripper - мегасофт, понравился с первых секунд демо-видео. Единственный минус - как .NET приложение жрет прилично памяти. Жаль, что в паблике версия старовата.
    Недавно пытался вскрыть последнюю версию, вроде там ничего военного - UTF-16 обфускация и все, но нет времени разбираться.
    Если у мастеров будет часок-другой, вскройте пожалуйста.
     
  6. Gomep

    Gomep Постоялец

    Регистр.:
    12 сен 2009
    Сообщения:
    85
    Симпатии:
    5
    унипарсер еще есть
     
  7. Ergoline

    Ergoline madao

    Регистр.:
    28 июл 2006
    Сообщения:
    1.236
    Симпатии:
    422
  8. Neow15ard

    Neow15ard

    Регистр.:
    27 ноя 2008
    Сообщения:
    422
    Симпатии:
    188
    Я всегда пользовался серверным WEbGrabber .
    Серверный потому что проще его поставить на vds с каналом 100 mbit и потому что мне обычно надо десятки тысяч объектов(страниц) спарсить.. а потом ручками или скриптами все это уникализирую.
    а виндовые парсеры грабберы это сотни объектов а никак не десятки тысяч..
     
  9. schtirlitz

    schtirlitz Писатель

    Регистр.:
    1 сен 2008
    Сообщения:
    4
    Симпатии:
    0
    Visual Web Ripper

    То, что вам нужно http://www.visualwebripper.com/

    Добавлено через 3 минуты
    WebGrabber и Visual Web Ripper вообще по разному выдают данные. Visual Web Ripper способен выжать в таблицу, в базу... Большой плюс Visual Web Ripper - ты визуально настраиваешь скрипт. Реально удобно
     
  10. ulan73

    ulan73 Прохожие

    А есть ли у кого таблетка? Очень хорошая софтинка!