Парсинг базы Пастузова для доров

Тема в разделе "Вопросы новичков", создана пользователем SAW2, 26 дек 2009.

Статус темы:
Закрыта.
  1. SAW2

    SAW2

    Регистр.:
    21 мар 2008
    Сообщения:
    231
    Симпатии:
    66
    Люди, кто чем парсит базу в 60млн. кеев (энг) - вот с этого поста https://www.nulled.cc/showpost.php?p=1248336&postcount=101 А то доры есть чем делать, а кеи брать неоткуда.
    Поставил Key Word Keeper, виснит через 3-5сек работы и безвозвратно уходит в даун. EmEditor та же лабуда...:confused:. GetKeys начинает работать и на парсенге 24500 кея (примерно 8-10сек) виснет и тоже :confused:. Dowser чета вообще не запускается, незнаю почему. Спартанец не устанавливается...:confused::confused::confused:
    Еще скачал Good Keywords v3, там в новой версии есть функция отбора, дык он вообще файл базы не открывает.
    :thenks::thenks::thenks: что делать подскажыте, или мож у кого самописный чекер есть прошу поделится.
    :bc::bc::bc: В общем вся работа остановиласи.
     
  2. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Я так понимаю, вам не парсинг, а выбрки нужных ключей нужны. Тогда или Key Word Keeper или самому оболочку писать или у пастухова вместе с базой получить. Если у вас не работает Key Word Keeper значит у вас с компом проблемы. Ось переустановите например. Если железо слабенькое, разбейте файл на части, а потом выборку из каждой делайте.
     
    SAW2 нравится это.
  3. SAW2

    SAW2

    Регистр.:
    21 мар 2008
    Сообщения:
    231
    Симпатии:
    66
    дело в том что в приватной переписке с разработчиком Key Word Keeper я описал проблемму вот фрагмент разговора в асе:
    моя ася (19:14:45 23/12/2009)
    скажи а у тебя прога работает? у меня база на 60 млн английских кеев .txt, (с нуледа качал) ты на ней проверял? Работает?
    моя ася (19:14:58 23/12/2009)
    или у меня кривые руки...
    Newo Key Word Keeper (19:15:26 23/12/2009)
    Нене, твои руки тут не причем. Проблемы в проге
    моя ася (19:23:21 23/12/2009)
    так у тебя что тоже косяки...?
    Newo Key Word Keeper (21:48:53 23/12/2009)
    Ну да. Думаешь на разных компьютерах разные проблемы? Программа ведь та же самая
     
  4. mc-alkin

    mc-alkin

    Регистр.:
    17 июл 2009
    Сообщения:
    164
    Симпатии:
    100
    GetKeys не виснет совсем. просто окошко не обновляется. когда софтинка сделает выборку - тогда и отпустит. мониторь выходной файл.
     
    SAW2 нравится это.
  5. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Ну так разбейте базу на куски по гигабайту. Тут видно слишком большой размер исходного файла.
     
  6. SAW2

    SAW2

    Регистр.:
    21 мар 2008
    Сообщения:
    231
    Симпатии:
    66
    размер исходного файла 1.3 Гб прога начала работать мин 6 назат. Вот ее работа:
    Начало работы модуля "Разбивка файла"
    Оценка размера файла "E:\путь к файлу.txt"
    при нажатии на "Приостановить" появляется окно с ошибкой:
    Thread Error: Отказано в доступе(5)
    причем выбирал разбивку по кол-ву файлов - 60. Это каждый файл по 1 млн. кеев. Но выбирал и по кол-ву строк. Хоть так, хоть так :(:confused:
     
  7. MegO

    MegO Постоялец

    Регистр.:
    13 фев 2009
    Сообщения:
    130
    Симпатии:
    13
    Если считывать файл построчно, а не грузить его в память, то не должно быть проблем, для выборки грузить его и не нужно, так что простенький скрипт спасёт тебя :)
     
  8. SAW2

    SAW2

    Регистр.:
    21 мар 2008
    Сообщения:
    231
    Симпатии:
    66
    MegO а причем тут скрипты и загрузка в память? Я ж о программах дисктопных спрашиваю.
    P.S. MegO бред!
     
  9. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Проверил сейчас на гигабайтном файле, правда другом, этот качать неохото. Довольно быстро выбрала 250к ключей. Версия 4.2.2. Вот попробуйте, может последняя версия глючит.

    P.S. Странно, у меня грузится. Но, переделал: Посмотреть вложение KeyWordKeeper.rar
     
    SAW2 нравится это.
  10. SAW2

    SAW2

    Регистр.:
    21 мар 2008
    Сообщения:
    231
    Симпатии:
    66
    по линке - 31147 вот что выдает:confused: Вложение не существует или не указан идентификатор (номер). Если вы уверены, что использовали правильную ссылку, свяжитесь с администрацией
     
Статус темы:
Закрыта.