Help me! Научите гугл парсить.

Тема в разделе "Вопросы новичков", создана пользователем icemen7, 28 июл 2008.

Статус темы:
Закрыта.
  1. icemen7

    icemen7 Создатель

    Регистр.:
    8 июн 2008
    Сообщения:
    17
    Симпатии:
    5
    Пытаюсь научиться собирать базы для спама. Перечитал наверно уже все доки что в паблике есть. В доках пишут - все просто: вводим inurl:ля-ля получаем 1к адресов. Комбинируем с site:.com и т.д. получаем много-к адресов. Но на практике у меня получается что на запрос inurl:ля-ля гугл дает не больше 100 результатов и причем использование проксиков также ничего не дает.
    Как с этим бороться? Или может быть проблема в качестве используемых прокси.
     
  2. dnd

    dnd Создатель

    Регистр.:
    10 июл 2007
    Сообщения:
    16
    Симпатии:
    13
    это значит что твоему запросу соответствуют очень мало сайтов - что тут непонятного? попробуй например запрос inurl:guestbook.html и посмотри на результат)). прокси здесь роли не играют
     
  3. myid37

    myid37 Создатель

    Регистр.:
    4 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    dnd а ты сам то пробывал?
    У гугла стоит ограничение, больше чем 100 урл не даёт.
     
  4. Pir4tt

    Pir4tt Создатель

    Регистр.:
    13 фев 2008
    Сообщения:
    12
    Симпатии:
    32
    а перейти на вторую страницу и получить ещё 100 результатов религиозные убеждения не позволяют?

    п.с. в расширенном поиске - "выводить сто резалтов", гугл позволяет посмотреть в этом случае 10 страниц
    100*10=1000

    неужели так сложно потыкать по надписям..
     
  5. Accountboy

    Accountboy Создатель

    Регистр.:
    18 июл 2008
    Сообщения:
    29
    Симпатии:
    10
    А еще сравнение этих двух запросов может натолкнуть на мысли
    Перейти по ссылке
    Перейти по ссылке
    Ну и количество результатов на страницу поставить 100 - выучи команды запросов гуглу - тут на форме есть - серчай.
     
  6. icemen7

    icemen7 Создатель

    Регистр.:
    8 июн 2008
    Сообщения:
    17
    Симпатии:
    5
    Может это какая-то мистика, может гугл меня не любит, может достал я его уже, а может это у вас сведения устарели, но у меня при переходе на вторую страницу появляется -

    We're sorry...

    ... but your query looks similar to automated requests from a computer virus or spyware application. To protect our users, we can't process your request right now.

    We'll restore your access as quickly as possible, so try again soon. In the meantime, if you suspect that your computer or network has been infected, you might want to run a virus checker or spyware remover to make sure that your systems are free of viruses and other spurious software.

    We apologize for the inconvenience, and hope we'll see you again on Google.
     
  7. icemen7

    icemen7 Создатель

    Регистр.:
    8 июн 2008
    Сообщения:
    17
    Симпатии:
    5
    Спасибо всем. Я наконец сам нашел в чем дело.
     
    Alekzweb нравится это.
  8. Alekzweb

    Alekzweb Постоялец

    Регистр.:
    17 июл 2008
    Сообщения:
    87
    Симпатии:
    41
    icemen7, объясни в чем дело было. Такая же проблема.(((
     
  9. benya

    benya

    Регистр.:
    17 июл 2008
    Сообщения:
    155
    Симпатии:
    38
    а вообще важно ли для каждого поисковика иметь свой парсер или это не имеет значения? извините, если глупый вопрос. и еще прокси нужно постоянно самому вносить или это как-то автоматизировано. у меня во всём этом вообще нулевой опыт.
     
  10. icemen7

    icemen7 Создатель

    Регистр.:
    8 июн 2008
    Сообщения:
    17
    Симпатии:
    5
    Alekzweb, отправил в личку.
     
Статус темы:
Закрыта.