как парсить гуглю

Тема в разделе "Зарубежные поисковики", создана пользователем mrDobrij, 3 янв 2009.

Статус темы:
Закрыта.
  1. mrDobrij

    mrDobrij Писатель

    Регистр.:
    26 апр 2008
    Сообщения:
    7
    Симпатии:
    0
    Каким парсером пользоваться чтоб на запросы inurl....... гугла вела себя адекватно и не ограничивала 200 страницам.

    Когда просто в Опере смотрю с теми же запросами то все в порядке
     
  2. Yaggi Jah

    Yaggi Jah Постоялец

    Регистр.:
    15 ноя 2006
    Сообщения:
    75
    Симпатии:
    31
    Похоже что ты задаёшь "палевный" запрос - а ля inurl:phpbb. Попробуй найти какие-то общие ключевые слова присущие сайтам искомого типа, реже пользуйся спецзапросами.
     
  3. ckp

    ckp Создатель

    Регистр.:
    7 янв 2007
    Сообщения:
    11
    Симпатии:
    4
    Yaggi Jah +1
    ТС, попробуй задать менее паленые запросы. иначе гугля так и будет тебя резать. попробую парсить мсн. из личного опыта базы у меня там лучше и качественней парсились.
     
  4. hoopeer

    hoopeer

    Регистр.:
    10 фев 2007
    Сообщения:
    807
    Симпатии:
    250
    ограничение всёравно будет, какой ты бы парсер не использовал. Просто надо разбить запросы на части, например,

    inurl:blog site:com
    inurl:blog site:ru
    inurl:blog site:eek:rg
    inurl:blog site:us
    inurl:blog site:net
    inurl:blog -site:com -site:ru -site:eek:rg -site:us -site:net


    К примеру, запросом inurl:blog site:com опять будет ограничение, тогда надо разбить запрос на две части
    inurl:blog site:com -inurl:www
    inurl:blog site:com inurl:www

    Далее, к примеру, inurl:blog site:com inurl:www не выдаст все результаты его надо разбить ещё несколько раз. Вот примерно такой алгоритм ;)
     
    gob1in нравится это.
  5. Weil

    Weil

    Регистр.:
    16 дек 2006
    Сообщения:
    234
    Симпатии:
    24
    Вопрос не совсем правильный. Дело в том, что если использовать оператор inurl, гугля очень быстро забанит твой айпи. Так что в настройках парсера желательно должна быть настройка задержки парсинга.
     
  6. pvrj

    pvrj Постоялец

    Регистр.:
    7 окт 2008
    Сообщения:
    92
    Симпатии:
    56
    Я пользуюсь GS SE Parser уже год. Неплохой парсер к тому же бесплатный. Чтобы избежать блокировки гугла попробуй таймаут между запросами увеличить, скажем, до 10 секунд (или больше). В общем поиграйся со значениями, так найдешь оптимальное.
     
  7. astery

    astery Создатель

    Регистр.:
    2 ноя 2007
    Сообщения:
    33
    Симпатии:
    0
    поиск на ..

    А что лучше поставить на свой сайт ввиде поисковика? посоветуйте :)
     
  8. scarm

    scarm Постоялец

    Регистр.:
    16 мар 2008
    Сообщения:
    93
    Симпатии:
    34
    мне xrefer понравился :) хорошая вещь, а ограничение в 200 ссылок вы никак не обойдете, разнообразие доп.запросов рулит
     
  9. DOKTOR_666

    DOKTOR_666

    Регистр.:
    14 июн 2006
    Сообщения:
    532
    Симпатии:
    239
    используйте вариации
    просто подставляя слова в конец запроса ... тогда выдача будет мешаться и напарсите много :)
     
Статус темы:
Закрыта.