Парсер товаров

все не проверял ну основные не работают, на фо. сайте написано что переписан полностью парсер под яндекс маркет.
Яндекс-Маркет мне и не нужен был. Сландо и Авито, главное, парсит?
 
подтверждаю, яндекс маркет не парсит. вернее парсит только первую страницу, автоподгрузки нет.
(яндекс активно борется с парсерами)
Можно открыть скриптик и подправить все вручную, подскажу только куда копать, а копать в файлик includes.php функция parse_list

PHP:
  preg_match("/<span id=\"m\_count1\">(.*?)\s(.*?)<\/span>/",$page,$items_col);
В основном парсер не работает из за уже устаревших регулярок.
Прокси можно найти тут Для просмотра ссылки Войди или Зарегистрируйся
Сам переписал этот скрипт под другой ресурс. Парсит все, и добавляет в престу. Описание, характеристики, метатеги, вычисляет кейворды, исправляет грамматические ошибки. Добавляет характеристики. Также грабит ютюб и выдирает коментарии к товару:)
Все это можно через этот скрипт, только немного модифицировать:)
 
ZiX, а если поделиться готовым? Никак? Под хайдом, разумеется.
 
ZiX, а если поделиться готовым? Никак? Под хайдом, разумеется.
Вам он окажется абсолютно бесполезен, я писал его под один магазинчик, под свою локальную базу, и под некоторые модули. Структура некоторых таблиц в базе немного изменена. У вас он не будет работать, вы попросту с ним не разберетесь. А обьяснять что, и какие были сделаны изменения, очень долго.Лучше в коде что-то дописать самому. Вот примерно что из него можно сделать:
51c711a19dcb.jpg

Сейчас прикрутил еще фильтр товаров по характеристикам. Хорошая штука. Но в моем случае парсинга проблема в том, что характеристики могут отличатся. Например у них на сайте в некоторых товарах встречается: Обьем жесткого диска: 8GB, а может быть и так: жесткий диск: 8GB
Естественно обе характеристики парсер определяет и записывает в базу как две разные, и фильтр товаров в этом случае выдает как 2 разные характеристики. Пытаюсь сейчас это побороть:)
Парсинг дело индивидуальное под каждый сайт, на php парсере можно спарсить все что угодно(пока проблем не было). Мой парсер слишком много ресурсов ест. На хостинг к сожалению не поставить. Буду делать облегченную версию которая обновляет цены и количество товара. А так если поставить крон задачу то все будет автоматизированно. Меня недавно на сайте который я парсил забанили все 4 мои прокси сервера, теперь чтобы тоже не искать и не подставлять в скрипт новые, парсю все прокси сервера с сайта Для просмотра ссылки Войди или Зарегистрируйся и больше проблем пока не было:) .
 
Картинка не увеличивается.
Лучше в коде что-то дописать самому.
Какие минимальные знания в программировании будут достаточны?
 
Картинка не увеличивается.

Какие минимальные знания в программировании будут достаточны?
Впринципе начальные. Изучите сначала код. На каком этапе что делает функция парсера.
Возьмите файлик includes.php и начните его изучать. Там есть блоки функций и классы. Например class wikimartparse extends mailparse {
Парсер викимарта. И начните его изучать. Что делает на определенном этапе данный класс. Откройте викимарт и смотрите в исходном коде страницы что он парсит. В основном парсинг идет из регулярных выражений. В парсере увидите строки, и другие похожие.

preg_match('@<div class="pages">(.*?)</div>@smi',$page2,$tmpxz);
Данная строка для примера парсит количество страниц на wikimarte.
preg_match("@/brand/(.*?)/@smi",$page2,$brand);
Парсит например производителя.
Снизу если дописать
$this->flush_echo("<b>$brand[1]</b>");
То в окне парсера он покажет производителя.
Далее если нужно добавить в базу например престы
допишем ниже:
mysql_query("INSERT INTO `vashabaza`.`ps_manufacturer` (`id_manufacturer`, `name`, `date_add`, `date_upd`, `active`) VALUES ('', '$brand[1]', '2000-00-00 00:00:00', '2000-00-00 00:00:00', '1');");
Ну что-то типа того. Потом уже можно дописывать всякие проверки. Если например производитель есть в базе то идем дальше и.т.д
 
Ясно. Точнее, ничего не ясно. Еще точнее, я понял, что ничего не смыслю в программировании.
Не подскажете, сколько можно предложить фрилансерам за допиливание этого парсера под мои нужды -
Яндекс-Маркет мне и не нужен был. Сландо и Авито, главное, парсит?
чтоб не переплатить?
 
Ясно. Точнее, ничего не ясно. Еще точнее, я понял, что ничего не смыслю в программировании.
Не подскажете, сколько можно предложить фрилансерам за допиливание этого парсера под мои нужды -

чтоб не переплатить?
Все зависит какой функционал вы хотите. Ну там расценки разные, могут и за 40$ дописать, а могут и больше. Все зависит от качества спарсенного контента и опять же от функционала.
 
Авито и Slando тоже не парсит, по крайней мере нужный мне регион((
 
Назад
Сверху