как парсить гуглю

Статус
В этой теме нельзя размещать новые ответы.

mrDobrij

Писатель
Регистрация
26 Апр 2008
Сообщения
7
Реакции
0
Каким парсером пользоваться чтоб на запросы inurl....... гугла вела себя адекватно и не ограничивала 200 страницам.

Когда просто в Опере смотрю с теми же запросами то все в порядке
 
Похоже что ты задаёшь "палевный" запрос - а ля inurl:phpbb. Попробуй найти какие-то общие ключевые слова присущие сайтам искомого типа, реже пользуйся спецзапросами.
 
Yaggi Jah +1
ТС, попробуй задать менее паленые запросы. иначе гугля так и будет тебя резать. попробую парсить мсн. из личного опыта базы у меня там лучше и качественней парсились.
 
ограничение всёравно будет, какой ты бы парсер не использовал. Просто надо разбить запросы на части, например,

inurl:blog site:com
inurl:blog site:ru
inurl:blog site:eek:rg
inurl:blog site:us
inurl:blog site:net
inurl:blog -site:com -site:ru -site:eek:rg -site:us -site:net


К примеру, запросом inurl:blog site:com опять будет ограничение, тогда надо разбить запрос на две части
inurl:blog site:com -inurl:www
inurl:blog site:com inurl:www

Далее, к примеру, inurl:blog site:com inurl:www не выдаст все результаты его надо разбить ещё несколько раз. Вот примерно такой алгоритм ;)
 
Каким парсером пользоваться чтоб на запросы inurl....... гугла вела себя адекватно и не ограничивала 200 страницам.

Когда просто в Опере смотрю с теми же запросами то все в порядке
Вопрос не совсем правильный. Дело в том, что если использовать оператор inurl, гугля очень быстро забанит твой айпи. Так что в настройках парсера желательно должна быть настройка задержки парсинга.
 
Я пользуюсь GS SE Parser уже год. Неплохой парсер к тому же бесплатный. Чтобы избежать блокировки гугла попробуй таймаут между запросами увеличить, скажем, до 10 секунд (или больше). В общем поиграйся со значениями, так найдешь оптимальное.
 
поиск на ..

А что лучше поставить на свой сайт ввиде поисковика? посоветуйте :)
 
мне xrefer понравился :) хорошая вещь, а ограничение в 200 ссылок вы никак не обойдете, разнообразие доп.запросов рулит
 
используйте вариации
просто подставляя слова в конец запроса ... тогда выдача будет мешаться и напарсите много :)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху