Обход защиты против парсинга гугла

Тема в разделе "Вопросы новичков", создана пользователем Trilenium, 15 июл 2010.

Статус темы:
Закрыта.
  1. Trilenium

    Trilenium

    Регистр.:
    12 дек 2009
    Сообщения:
    223
    Симпатии:
    54
    Когда паршу гугл через парсеры, выбивает во фрейме "... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now"
    Меняю прокси - тоже самое. Ставлю таймаут в 11 сек. - безрезультатно.
    Как обойти это дело?
     
  2. LEE_ROY

    LEE_ROY

    Регистр.:
    26 янв 2007
    Сообщения:
    205
    Симпатии:
    20
    соксы/прокси
     
  3. Dodgy

    Dodgy Юзверь

    Регистр.:
    7 сен 2008
    Сообщения:
    229
    Симпатии:
    44
    запросы inurl и подобные сейчас жестко баняться
     
  4. Trilenium

    Trilenium

    Регистр.:
    12 дек 2009
    Сообщения:
    223
    Симпатии:
    54
    Есть прога для конекта через сокс\прокси или это через браузер делать? Я в этих делах не шарю...
     
  5. Dodgy

    Dodgy Юзверь

    Регистр.:
    7 сен 2008
    Сообщения:
    229
    Симпатии:
    44
    Во первых чем парсишь?
    В основном подставляется урл с проксями/соксами
    Во вторых разжевывать и в рот ложить тебе никто не будет
     
  6. farm

    farm

    Регистр.:
    8 июн 2006
    Сообщения:
    537
    Симпатии:
    106
    не юзать операторы при парсинге, правильно настроить фильтр на отсев шлака.
     
  7. Trilenium

    Trilenium

    Регистр.:
    12 дек 2009
    Сообщения:
    223
    Симпатии:
    54
    Паршу парсером Байрона (фришным)
    Остальное понятно...
     
  8. sydoow

    sydoow Постоялец

    Регистр.:
    14 апр 2008
    Сообщения:
    146
    Симпатии:
    22
    Парсить скриптами с поддержкой прокси и антикапчи.
     
  9. smiler

    smiler

    Регистр.:
    7 ноя 2006
    Сообщения:
    427
    Симпатии:
    421
    Соглашусь с предыдущими ораторами:
    1. Парсить желательно с проксями, с антикапчей.
    2. Могу посоветовать для парсинга (как альтернативу) бесплатный Agress Parser и платный AllSubmitter.
    3. Необходимо избавиться от запросов, содержащих оператор "inurl" - Гугля такие запросы банит сразу.
    Необходимо лишь чуть-чуть открыть глаза и собрать интересующие признаки для сбора базы. Например, для сбора блогов WP можно использовать связку названий полей для оставления камента и т.п. Кажды двиг имеет отличительные особенностями, которые осталось только собрать и попарсить Гуглю.
    Кстати, Яху позволяет себя парсить в прежних объемах. Не Гуглем единым, как говорится ;)
     
  10. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    У меня такая же проблема, но парсингом на этом ip не занимаюсь.
    Как вариант объяснения в моем случае публичный ip и кто то парсит помимо меня.
    Как вариант помогает смена google.com на google.ru а то почти всегда вместо поиска строка о проблеме. Также почему то помогает банально просто вначале открыть сам сайт, а не передавать запрос сразу к примеру из панели поиска в браузере.
     
Статус темы:
Закрыта.