Ищу прогу или скрипт для удоления дублей

Тема в разделе "Мелочи", создана пользователем barbakan, 11 фев 2013.

Статус темы:
Закрыта.
  1. barbakan

    barbakan

    Регистр.:
    18 авг 2007
    Сообщения:
    345
    Симпатии:
    399
    Ищу прогу или скрипт для удаления дублей из двух файлов. У меня есть txt на пару лямов отчеканых кеев , теперь у меня еще появился файл с кеями в этой же нише из другого источника на 1кк . Вот мне нужно что бы можно было сравнить эти два файла и удалить повторяющиеся кеи во втором txt. Можно конечно было их обо соединить а потом удалить дубли но чет мне не охото после этого чекать еще раз 2.5кк кеев. Где то встречал такую прогу не могу вспомнить где .
     
  2. Anton

    Anton ¯\_(ツ)_/¯

    Moderator
    Регистр.:
    28 авг 2007
    Сообщения:
    646
    Симпатии:
    637
    После объединения, квк без проблем удалит дубли.
    Главное чтоб кеев было меньше 14кк

    Ну и TextPipePro

    Одни и те же вопросы... 100 раз уже все обсуждалось
     
    barbakan нравится это.
  3. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Textpipe Pro, на форуме выложена. С такими маленькими файлами быстро справится. Просто укажите 1 файл, потом фильтр удалить строки и 2-й файл, запускаете. И будет результат. Единственно кодировка желательно 1251. Если UTF, то лучше перевести в 1251.

    Удаляйте из маленького большой, частоты убрать предварительно в нём. Те что останутся на выходе - это не прочеканные.

    Я так понял, что у него в одном файле ключ+частота, а в другом просто ключ. А квк удаляет построчно. Если частоты оставить, строки разные будут. А если частоты убрать, то после проверки на дубли, придётся на частоты чекать снова.
     
    barbakan нравится это.
  4. barbakan

    barbakan

    Регистр.:
    18 авг 2007
    Сообщения:
    345
    Симпатии:
    399
    Всем спасибо уже нашел решение проще , просто в текстпайпе я туплю с его возможностями и меню )
     
Статус темы:
Закрыта.