Парсер гугла >100 результатов

Тема в разделе "Софт", создана пользователем G-Null, 18 окт 2007.

Статус темы:
Закрыта.
  1. G-Null

    G-Null

    Регистр.:
    6 сен 2007
    Сообщения:
    180
    Симпатии:
    21
    Пожалуйста, помогите с парсером, который парсит более чем по 10-ти страницам гугла. Поиском пользовался и не только форумовским. всё что выложено или ищет максимум 100 урлов или глючит, выдавая вместо ссылок какой-то бред, перемешанный со снипетами, как например агрессор после нескольких парсов. Желательно именно десктопную версию. Пожалуйста
     
  2. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    AGGRESSParser
    только добавь профили гуголы для поиска больше 100. Делаеш тхт файл и пишеш туда:
    на каждую сотню надо делать свой файл и в нем вместо ХХХ прописать 0 для первой сотни выдачи, 100 для второй, 200 для третьей и так до 900 для последней страници. Сам парсер есть на форуме.
     
    G-Null нравится это.
  3. G-Null

    G-Null

    Регистр.:
    6 сен 2007
    Сообщения:
    180
    Симпатии:
    21
    Спасибо. Сам парсер то я уже нашёл. даже пробывал его. только что то не вышло (( И сразу пошёл писать сюда, ну правда до этого я уже мн-во их испробывал.. А буквально минут 15 назад из-за безисходности:) решил сново его поставить, чуть "подразобрался". И вроде всё заработало. И собсна уже хотел эту месагу, что написал в 1-ом посте поменять, а тут мне написали ещё как сделать выдачу хоть на 1000 адресов. В принципе он 200 берёт, а этого как мне кажется достаточно для одного запроса.. так как скорее всего спамить по тому что лежит дальше смысла особого нет.
     
  4. G-Null

    G-Null

    Регистр.:
    6 сен 2007
    Сообщения:
    180
    Симпатии:
    21
    У кого нибудь получается работать этой прогой через прокси ? Вбивал в неё десятки валидных анонимных прокси и соксов -проерял на валидность и сразу же вставллял в Агресс, ничего не происходит, только и видно иногда проскакивает xxx.xxx.xx.xx - BAD . у кого нить работает эта фишка или это глюк проги ?
    И ещё один момент:
    сколько не пробывал никак не могу получить нормальный результат от множественного запроса(то есть когда в файле на каждой строке по запросу). Находит где-то 350-370 урлов и останавливается. -завершаешь парсинг, удаляешь уже пройденные запросы, включаешь -всё идёт, проходит опять примерно 360 и останавливается.. В момент остановки сразу же набирал тот же запрос в гугле -всё работало... Но опять же бывет по разному иногда и 500 и 2000 пройдёт, но каждый запрос при наличии их от десяти никогда не исполнялся.. В-общем как-то всё не стабильно
    Оставнока имеется в виду не формальная, а просто больше релультаты не появлялись..
    Не было ли такого ни у кого ?


    Вот пример: прив вводе вот таких запросов
    inurl:"gbook.php?a=sign" site:.net
    inurl:"gbook.php?a=sign" site:.biz
    inurl:"gbook.php?a=sign" site:.org
    inurl:"gbook.php?a=sign" site:.com
    inurl:"gbook.php?a=sign" site:.info
    inurl:"gbook.php?a=sign" site:.name
    inurl:"gbook.php?a=sign" site:.fr
    inurl:"gbook.php?a=sign" site:.edu
    inurl:"gbook.php?a=sign" site:.au
    inurl:"gbook.php?a=sign" site:.be
    inurl:"gbook.php?a=sign" site:.bg
    inurl:"gbook.php?a=sign" site:.ca
    inurl:"gbook.php?a=sign" site:.de
    inurl:"gbook.php?a=sign" site:.us
    inurl:"gbook.php?a=sign" site:.se
    inurl:"gbook.php?a=sign" site:.to
    inurl:"gbook.php?a=sign" site:.dk
    inurl:"gbook.php?a=sign" site:.eg
    inurl:"gbook.php?a=sign" site:.ie
    inurl:"gbook.php?a=sign" site:.at

    начиная с зоны .info ни одного урла больше не прибавляется, но поиск идёт дальше и в итоге доходит до последнего .at. Хотя достаточно удалить первые 4 строчки(запросы, что отработались) и задать поиск заново, то вроде как все запросы отрабатываются норм...
    Странно... Может есть что нить более стабильное или я просто что-то недопонимаю ?
     
  5. G-Null

    G-Null

    Регистр.:
    6 сен 2007
    Сообщения:
    180
    Симпатии:
    21
    Искал, я искал.... нашёл !
    В-общем лучше глобалсквидовского не нашёл
    Вобще отличный парсер, всё бесплатно, ясно и главное, что не глючит (кроме правда яху)

    есть маленткий хелп в котором всё объяснено.
    качать здесь
    http://forum.globalsquid.com/showthread.php?t=543&page=1
     
Статус темы:
Закрыта.