Ищу софт для сортировки больших файлов (> 10 Гиг)

Тема в разделе "Софт", создана пользователем General Fizz, 5 авг 2009.

Статус темы:
Закрыта.
  1. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    В общем проблема:
    Есть тестовый файл, в котором каждый текст с новой строки. Дубли удалены. Все буквы маленькие, те регистр не имеет значения.

    Требуется его отсортировать по возрастающей по строкам в кодировке скажем 1251. Длина любой строки не более 500 символов.


    Пример файла:
    ...
    Строка111111111111111111
    Строка222222222222222222
    Строка333333333333333333
    ...


    Обьем файла больше 10 Гиг, на чем все использованые программы и спотыкались.


    Проверялись:

    TextPipePro 8.3.2 - правильно обрабатывает файлы не более 5 гиг, на большем размере ошибается, дописывает в файл отсебятину и тд.

    Npust email list wizard - то же самое, сортирует неправильно, в конец файла дописывает ерунду из начала, проверялось на многих больших файлах.

    sort.exe - утилита, входящая в комплект винды, ну это вообще жесть :)


    В общем нужен софт, который отсортирует большие текстовые файлы за разумное время. Размер файлов может быть и 20-30-40 Гиг.
     
  2. desempare

    desempare Писатель

    Регистр.:
    21 июл 2009
    Сообщения:
    0
    Симпатии:
    0
    чем тебя не устроил sort виндовый? не может пережевать ? в свое время только им лопатил многомегабайтные логи апача, в то время как другие сдувались..ну или рисуй скриптик на перле например...
     
  3. desempare

    desempare Писатель

    Регистр.:
    21 июл 2009
    Сообщения:
    0
    Симпатии:
    0
    Чем дело кончилось то ?
     
  4. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    Дроблением всего файла по строкам по первой букве (строки на "а" идут в файл a.txt, на "b" в b.txt...) и сортировкой каждой части отдельно Textpipe pro.
     
  5. Tadasi

    Tadasi Постоялец

    Регистр.:
    6 май 2008
    Сообщения:
    145
    Симпатии:
    6
    Насколько я знаю TextPipePro 8.3.2 в демо версии не больше сотни метров обрабатывает. у вас есть кряк для этой проги? поделитесь пожалуйста.
     
  6. den114

    den114 Постоялец

    Регистр.:
    11 мар 2007
    Сообщения:
    51
    Симпатии:
    20
    Для твоих целей отлично подойдет UltraЕdit. Вот здесь ломаная русская

    Но все же лучшей для работы с текстовыми файлами считаю Textpipe. Такого обширного количества фильтров не видел больше нигде.
    Вот версия 7.6.3

    К сожалению старше версии ломаной нет, а эта даже портабельная.
     
Статус темы:
Закрыта.