Help me! Научите гугл парсить.

Статус
В этой теме нельзя размещать новые ответы.
приплыли у меня тоже больше 100 результатов с запроса не отдает :( шас буду что нибуть придумывать
 
  • Заблокирован
  • #22
Смотря какой запрос, с очень известным запросом на гостевые книги он всегда даёт только 100, дальше не даёт
а по менее известным, норм. 1000
 
разобрался тоже, вобщем на примере агресс парсера выставил: время между запросами:50
тайм аут:60

запрос: inurl:"board.htm"
на данный момент вытянул 1351 адрес, и продолжает тянуть.
ReadBook_cool.gif
 
Можно парсить сколько хочеш и без прокси. Делал я так:
Парсер работал на Mono под линуксом, но контент страницы выкачивал wget`om. При просьбе гугла ввести каптчу, вводил на клиентской машине, забирал cookies и добавлял их в параметрах wget`a. Больше гугл меня не тревожил)
 
разобрался тоже, вобщем на примере агресс парсера выставил: время между запросами:50
тайм аут:60
запрос: inurl:"board.htm"
на данный момент вытянул 1351 адрес, и продолжает тянуть.
а я поставил время между запросами:6
тайм аут:5
куча запросов, и уже гдето 24к адресов напарсило(ето дет 1/4 всех запросов пропарсило)
----
Вопрос: от чего у меня итак все работает, а кого-то вообще банит? Парсит Агрессер у меня вот целый день, но когда я иду в Гугл, то пишет:
Помилка
На жаль
... ваш запит схожий на автоматизований запит від комп’ютерного вірусу або шпигунського програмного забезпечення.

и надо ввести символы с каптчи. Я ввожу и потом все работает. Ето от запросов зависит или от чего?
 
Вопрос: от чего у меня итак все работает, а кого-то вообще банит? Парсит Агрессер у меня вот целый день, но когда я иду в Гугл, то пишет:
Помилка
На жаль
... ваш запит схожий на автоматизований запит від комп’ютерного вірусу або шпигунського програмного забезпечення.
и надо ввести символы с каптчи. Я ввожу и потом все работает. Ето от запросов зависит или от чего?

непонял, агрес тянет, а через браузер выдает бан?
может с разных апишников агрес и ты?
по идее если тебя гугл не пускает, то агресса тем более
 
HolyWanderer , странно, я поставил твои настройки, включил парсер, и через пол часа ни парсер ни браузерне смогли нормально с гуглей сконектится, только капча......
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху