Кто чем парсит сейчас?!

[ViD]

Сабж. Кроме хрефера что есть рабочее?! Хоть я один из первых покупал хрумера, хрефером не могу пользоваться

Есть альтернативы?! Чем беки по яху вытянуть можно?!

 

[holms]

+1 тоже хотелось бы услышать сейчас чем парсят поисковики.
Если у кого хрефер хорошо парсит и собирает большие базы отпишите плз..
У меня парсит очень небольшие базы и очень медлено. Траблы может быть в проксях или еще в чем.. короче тоже вопрос очень актуален.

 

[Valerik]

Allsubmitter4.7 - для Гугли не очень, а вот для обраток Яху И Алтависты само то.
Как я это делаю:
Беру Allsubmitter4.7(ломанный) - Анализ конкуренции - Выбор базы:My sites - МастерSE - Выбрать тип задания(для парсинга- поиск,для беков- получить обратные ссылки)- Далее в окне вводим "наши запросы по одному на строку" - Выбираем поисковые системы(Google.com MSN.com Yahoo.com Yandex.ru AltaVista.com) тут же выбираем максимальное кол-во URL и Задержку в миллисекундах (для тех, кто не помнит 1сек=1000миллисекунд)- ну и вперед Парсить!
Говорят, что этот инструмент работает без ограничений в бета версии Allsubmitter, так что можно скачать последнюю версию,но я не проверял, а в особо сложных случаях можно Allsubmitter использовать и для полуруного парсинга Полуавтоматическая регистрация - В окне URL вводим нужный адрес для парсинга-Enter-Открывается нужная страница-Далее на вкладке Полуавтоматическая регистрация - Импортировать ссылки с браузера и т.д.
Вообще в документации говорится, что можно ихний парсер подстраивать под любые ресы.

 

[ViD]

ну таким образом в промышленных масштабах не попарсишь.

 

[donphotopro]

у меня конечно не столько постов =), но тем не менее... php и правильные запросы делать нужно, могу в приват прислать пример...
так что можно и в промышленных напарсить. Может времени заберет, зато эффективнее будет.... креативность и прочти мануал гугля, мне помогло

 

[ViD]

ну пали конечно в личку

 

[holms]

у меня конечно не столько постов =), но тем не менее... php и правильные запросы делать нужно, могу в приват прислать пример...
так что можно и в промышленных напарсить. Может времени заберет, зато эффективнее будет.... креативность и прочти мануал гугля, мне помогло

и мне спали если не сложно

 

[Aesma]

Использую Allsubmitter 5.3, Hrefer 2.9 и AGGRESS Parser.
Если парсить медленно и не палиться с запросами то по хорошей базе запросов можно довольно много напарсить.

 

[Cash]

AGGRESS Parser совсем не плох,хотя смотря какие масштабы

 

[holms]

AGGRESS Parser совсем не плох,хотя смотря какие масштабы

агресс это вообще не вариант, я хрефером больше парсю... интересуют имено большие объемы хрефер у меня вытаскивает за один прогон не более 30к урлов и при том парсит очень долго прокси всегда на подливе нормальные, и парсинг с сервака с каналом 10мбит. Вот интересует такой вопрос кто и как парсит большие базы порядка 0,5кк