Чем обработать ОГРОМНЫЙ текстовый файл?

[dig555]

Есть 21 текстовый файл суммарной массой в 435 метров. Нужно собрать их воедино, отсортировать, чекнуть на дубли, и сохранить в виде 20 кусков одного размера.
Программ для обработки разных баз - огромная куча. Но ни одна падла не справляется - виснет.

 

[Hilo]

Total Commander в помощь.

 

[Maza]

Памяти то сколько на машине?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

5B сортирует, но работу не проверял, могут быть и баги

 

[dig555]

Памяти то сколько на машине?
*** скрытое содержание ***
5B сортирует, но работу не проверял, могут быть и баги

Спасибо, буду тестить. В распоряжении - целый машинный парк - ресурсов хватает

 

[dig555]

KWK более 20 миллионов строк не обрабатывает. У меня же - 45 миллионов Вероятно готового решения под такую задачу я не найду? Уже начинаю продумать альтернативный алгоритм сортировки.

 

[oooskiff84]

Есть чудо прожка Для просмотра ссылки Войди или Зарегистрируйся называется.

 

[_sergey_]

Есть чудо прожка Для просмотра ссылки Войди или Зарегистрируйся называется.

Поддерживаю. Для чистки по куче фильтров, её предпочитаю. Полуторагиговые текстовые файлы, по сложному фильтру комп спокойно обрабатывает, хоть и не очень быстро - занимает несколько часов. Но оперативки всего гиг, а фильтр многоступенчатый для чистки прямого эфира от мусора, кто видел что там на входе тот поймёт
А люди бывают текстовые файлы и размером больше 10 гигов обрабатывают. Резать предпочитаю с помощью KeyWordKeeper.

 

[dig555]

Тогда подскажите, как в TextPipePro удалить все строки, короче шести символов?

 

[_sergey_]

Тогда подскажите, как в TextPipePro удалить все строки, короче шести символов?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.