Ищу Посоветуйте рабочий парсер гугла

Тема в разделе "Софт", создана пользователем pvrj, 27 май 2010.

  1. pvrj

    pvrj Постоялец

    Регистр.:
    7 окт 2008
    Сообщения:
    92
    Симпатии:
    56
    Сабж, желательно фри.

    п.с. это только у меня последние 2-3 месяца GS SE parser не парсит гугл больше десятка запросов или у всех? С таймаутом пробовал игратся, не помогает.
     
  2. dere

    dere Создатель

    Регистр.:
    28 июн 2009
    Сообщения:
    32
    Симпатии:
    31
    AGGRESS Parser отлично парсит и фри.
     
  3. trembita

    trembita Постоялец

    Регистр.:
    29 мар 2007
    Сообщения:
    124
    Симпатии:
    8
    какой-то трабл с AGgress парсит до 400 урлов и всё, хотя стоят прокси и задержка.
     
  4. dere

    dere Создатель

    Регистр.:
    28 июн 2009
    Сообщения:
    32
    Симпатии:
    31
    только парсил им за 9 минут 15000 урлов, так что ищи проблему у себя! скорей всего не нравятся кеи.
     
  5. sertix

    sertix Создатель

    Регистр.:
    31 окт 2007
    Сообщения:
    39
    Симпатии:
    25
    Если в запросах стоит inurl, то только с проксями нужно парсить, иначе результат плачевный 100-400 url.
     
    pvrj нравится это.
  6. pvrj

    pvrj Постоялец

    Регистр.:
    7 окт 2008
    Сообщения:
    92
    Симпатии:
    56
    Да, в том и проблема что требуется парсить запросы с inurl, пробовал ставить очень большой таймаут, все равно больше нескольких сотен не парсит.А есть парсеры с поддержкой socks? GS SE только с http работает.
     
  7. a67

    a67 Создатель

    Регистр.:
    9 июл 2009
    Сообщения:
    27
    Симпатии:
    7
    есть - это хрефер от хрума!но тут фрии уже не пройдет,платная!ну раз желательно фрии, а не обязательно то и предложил
     
    pvrj нравится это.
  8. pvrj

    pvrj Постоялец

    Регистр.:
    7 окт 2008
    Сообщения:
    92
    Симпатии:
    56
    Апну темку потому что так и не нашёл сабж. Может за последние полгода появилось что из парсеров с поддержкой носков? Некоторые хвалят парсилку в scrapebox, кто пользовался что скажете?
     
  9. inkubus

    inkubus

    Регистр.:
    27 мар 2010
    Сообщения:
    180
    Симпатии:
    56
    парсер из скрэйпбокса не ходит по страницам выдачи - собирает урлы только с первой страницы. Поэтому надо много дополнительных слов. Aggress вполне нормально парсит.
     
    pvrj нравится это.
  10. Dr.Sheff

    Dr.Sheff

    Регистр.:
    20 ноя 2010
    Сообщения:
    175
    Симпатии:
    26
    попробуйте этот. Если не покатит пошарте в Гугле, видел скрипт в открытом доступе.

    Хочу предупредить, если парсер не использует прокси нужно будет каждые 2-3 тыс урлов менять ip. Это можно легко осуществить, если он у вас динамический: задать в планировщике каждые несколько минут переподключение соединения делать.
     
    pvrj нравится это.