Народ кто может поделится грабером или базай

Статус
В этой теме нельзя размещать новые ответы.
На сайте точно есть варианты

Все сводится к следующему - с сайта нужно с нужных страниц взять нужную информацию.

Для этого выбирается сайт в котором описание картинки тебе подходят.
Скачивается сайт тем же телепортом себе на компьютер.
Далее берутся нужные страницы сайта и для них записывается скрипт любым keyboard макросом - типа hotkeyboard/
Там записываются движения мышкой либо движения клавиатурой открыть фаил в редакторе найти инфу, скопировать, вставить куда надо, сохранить, перейти в начало.
Отладить скрипт потом его запустить.
Пока это самый лучший вариант. Основной минус - особенности скрипта настраиваются только на один сайт. Если их несколько каждый раз свое)

Второй вариант - писать хорошие текстовые обработчики - на уровне гугл и с ним работать))).


Можеш ли поэтапно разложить создание макроса - какие действия по в каком порядке? Или, если есть, выложи пример макрос для hotkeyboard.
 
Хочу купить граббер для медиа продукции (игры, фильмы итд). кто хочет войти в долю? :)
 
так? макрос отменяется - сильно много всего там можно и нужно делать да и долго делает)))))

есть лучше вариант))) но начало такое же
1. скачиваем себе весь сайт(или категорию товаров или то что надо), причем видел вроде как есть команды апача или линукса - качет сервером сайт то есть тебе только запустить программу и даже трафик не рушится - но не пробовал, может не прокатит)))

2 - скачанный сайт смотрим через Дримвювер (у меня 8 версия).

3 - сайт обычно делается по шаблону - шапка, левая колонка, меню и т.д. - вобщем наша задача отделить текст и ссылки на картинки от прочего)
Для этого используя Find And Replace dreamviewara, в строке - искать в... выбираем папку нашего скачанного сайта, ставим галочку в поле Use Regular Expression, и, используя регулярные выражения производим замену ненужного текста на сайте в пусто(например).
А где надо - ставим разделители(я использовал точки запятые).

И таким образом у нас на выходе получается много фаилов где текст и ссылки на картинки разделены точками с запятыми.

4 - я использовал программу Textpipe - собрал все фаилы в один
получил что то типа csv фаила, его подретушировал и получилось))))
 
  • Заблокирован
  • #24
и за какие сроки можно собрать базу к примеру по 1,5К позиций ?
 
ну реально все зависит от сайта)
1 - сайт небольшой по размеру(количество внутренних страниц со всяким там описанием, характеристиками, доп товарами и т.д.
2 - скорость интернета))) - скорость выкачивания)))) и скорость доступа к сайту))

3 - обработка страниц полторы тысячи обработать можно за час - полтора получить что то уже более менее приемлимое в экселе)
 
  • Заблокирован
  • #26
тема старая, но всё же - для тех, кто поиском пользоваться умеет: телепорт в верии про сохраняет максимам 65к адресов (то есть по сумме файлов, страниц и пр.) если я правильно помню, версия алтимэйт - до 100к или около того. так что серьёзный сайт полностью не скачаешь.
 
Teleport Pro, как и Offline Explorer давным-давно существуют во взломанных версиях и качать ими можно сколь угодно большие сайты. Единственное - Teleport Pro это достаточно простенькая программа и некоторых ссылок может на страницах не углядеть, соответственно не скачать какую-то часть сайта.
 
Ребята хотите грабер?
универсального нет! учите PHP и все... там все элементарно!!!
 
Сбор базы описаний товаров

Награббить сайты - это не проблема, напарсить в принципе тоже, а вот собрать потом всю эту хрень в один единый файл csv который бы нормально импортировался в Shop-Script не так то просто, особенно если в нём сразу импортировать описания, цены, наличие, имена файлов фотографий и.т.п.

Для этого лучше использовать какую-то специализированную прогу типа E-Trade PriceList Importer, iNETsHOP, PriceGuru и.т.п.
 
Награббить сайты - это не проблема, напарсить в принципе тоже, а вот собрать потом всю эту хрень в один единый файл csv который бы нормально импортировался в Shop-Script не так то просто, особенно если в нём сразу импортировать описания, цены, наличие, имена файлов фотографий и.т.п.

Для этого лучше использовать какую-то специализированную прогу типа E-Trade PriceList Importer, iNETsHOP, PriceGuru и.т.п.

Не обязательно, можно прямо с SQL базу магазина писать - так проще...
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху