Чем обработать ОГРОМНЫЙ текстовый файл?

Тема в разделе "Мегафлуд", создана пользователем dig555, 8 ноя 2010.

Статус темы:
Закрыта.
  1. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    363
    Симпатии:
    148
    Есть 21 текстовый файл суммарной массой в 435 метров. Нужно собрать их воедино, отсортировать, чекнуть на дубли, и сохранить в виде 20 кусков одного размера.
    Программ для обработки разных баз - огромная куча. Но ни одна падла не справляется - виснет.
     
  2. Hilo

    Hilo

    Moderator
    Регистр.:
    31 мар 2008
    Сообщения:
    911
    Симпатии:
    562
    Total Commander в помощь.
     
  3. Maza

    Maza

    Регистр.:
    3 июл 2007
    Сообщения:
    255
    Симпатии:
    117
    Памяти то сколько на машине?
    http://letitbit.net/download/79625.7efd4f1e3d980f92c03da9aba4cd/work_word.rar.html
    5B сортирует, но работу не проверял, могут быть и баги
     
  4. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    363
    Симпатии:
    148
    Спасибо, буду тестить. В распоряжении - целый машинный парк - ресурсов хватает :)
     
  5. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    363
    Симпатии:
    148
    KWK более 20 миллионов строк не обрабатывает. У меня же - 45 миллионов :-] Вероятно готового решения под такую задачу я не найду? Уже начинаю продумать альтернативный алгоритм сортировки.:-]
     
  6. oooskiff84

    oooskiff84 Читатель

    Заблокирован
    Регистр.:
    4 ноя 2008
    Сообщения:
    223
    Симпатии:
    727
    Есть чудо прожка TextPipe называется.
     
    dig555 нравится это.
  7. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Поддерживаю. Для чистки по куче фильтров, её предпочитаю. Полуторагиговые текстовые файлы, по сложному фильтру комп спокойно обрабатывает, хоть и не очень быстро - занимает несколько часов. Но оперативки всего гиг, а фильтр многоступенчатый для чистки прямого эфира от мусора, кто видел что там на входе тот поймёт:)
    А люди бывают текстовые файлы и размером больше 10 гигов обрабатывают. Резать предпочитаю с помощью KeyWordKeeper.
     
    dig555 нравится это.
  8. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    363
    Симпатии:
    148
    Тогда подскажите, как в TextPipePro удалить все строки, короче шести символов?
     
  9. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Я таким не пользуюсь. Тут посмотрите: http://www.nulled.ws/showthread.php?t=8222 Если не найдёте ответ там и спросите.
     
Статус темы:
Закрыта.