Парсер гугля

Тема в разделе "Мелочи", создана пользователем erigins, 24 сен 2015.

  1. erigins

    erigins Постоялец Нарушитель

    Регистр.:
    19 сен 2010
    Сообщения:
    85
    Симпатии:
    16
    Парсер выдачи с гугла:
    # # # # # # # # # # #
    Сохраняет ссылки на странице по нужному "запросу"
    # # # # # # # # # # #


    Код:
    ----------Page №1----------
    1: http://www.asd-europe.org/
    2: http://www.asd-electro.ru/
    3: http://www.asd-electro.ru/products/
    4: http://www.asd-electro.ru/company/about/
    5: https://ru.wikipedia.org/wiki/ASD
    6: https://en.wikipedia.org/wiki/ASD
    7: http://www.asd.com/
    8: http://www.asd.ru/
    9: https://www.facebook.com/AfrobSamyDeluxe
    
    ----------Page №1----------
    1: http://autosvit.auto.ria.ua/last/today/
    2: https://auto.ria.ua/car/bmw/
    3: http://auto.ria.ua/catalog/maz/159
    4: http://auto.ria.ua/auto_mazda_6_12085249.html
    5: http://auto.ria.ua/car/honda/Jazz
    6: http://auto.ria.ua/car/bmw/550/
    7: http://auto.ria.ua/auto_skoda_rapid_12040237.html
    8: http://auto.ria.ua/auto_dodge_ram_12234751.html
    9: http://auto.ria.ua/auto_pts_6_9945050.html
    10: http://kasko.auto.ria.ua/auto_audi_q7_15356353.html
     

    Вложения:

    • google.zip
      Размер файла:
      3,2 МБ
      Просмотров:
      23
    KillDead нравится это.
  2. KillDead

    KillDead

    Регистр.:
    11 авг 2006
    Сообщения:
    890
    Симпатии:
    561
    Юрзал? Как дела обстоят с баном? Так как кучи капч гугл кидает на попытки его парсить
     
  3. erigins

    erigins Постоялец Нарушитель

    Регистр.:
    19 сен 2010
    Сообщения:
    85
    Симпатии:
    16
    Жестко банит!... думаю как придумать велосипед.
     
  4. andriyevski

    andriyevski Писатель

    Регистр.:
    25 июл 2015
    Сообщения:
    3
    Симпатии:
    0
    Только с прокси реально решить проблему!
     
  5. SocMaster

    SocMaster aka Hakerok

    Регистр.:
    26 июл 2011
    Сообщения:
    213
    Симпатии:
    47
    Почему же, можно использовать зенку, лично за минуту - две, спарсил ~50 страниц (титлы парсил)
    юзал js в проекте

    --
    с одного айпишника, после получил каптчу, думаю если задержку чуть увеличить, можно больше вытянуть
     
  6. andriyevski

    andriyevski Писатель

    Регистр.:
    25 июл 2015
    Сообщения:
    3
    Симпатии:
    0
    Каждый выбирает то что ему проще...
    Обожаю прокси :)
     
  7. imagine

    imagine Создатель

    Регистр.:
    20 июн 2016
    Сообщения:
    11
    Симпатии:
    1
    попробовал, здесь без прокси явно не обойтись