Проверить .txt на дубли

Тема в разделе "Мегафлуд", создана пользователем miha687, 25 дек 2010.

  1. miha687

    miha687

    Регистр.:
    31 июл 2009
    Сообщения:
    179
    Симпатии:
    113
    Есть .txt документ. Нужно проверить на дублированные строки. Чем это можно сделать? Заранее спасибо.
     
  2. alica

    alica

    Регистр.:
    28 июл 2008
    Сообщения:
    243
    Симпатии:
    76
    Bash
    cat file.txt |sort -u >result.txt

    php
    PHP:
    ini_set("memory_limit""64M"); 
    $fp fopen("file.txt""rt");
    $a = array();
    while (!
    feof($fp)) {
      
    $k fgets($fp);
      if (!
    array_key_exists($k$a)) {
        
    $a[$k] = 1;
        echo 
    $k;
      }
    }
     
    miha687 нравится это.
  3. greenatik

    greenatik Создатель

    Регистр.:
    27 окт 2010
    Сообщения:
    14
    Симпатии:
    3
    excel
    Формат - Условное форматирование
    =СЧЁТЕСЛИ($A:$A;A2)>1
     
    miha687 нравится это.
  4. makia

    makia

    Регистр.:
    23 сен 2006
    Сообщения:
    273
    Симпатии:
    145
    KeyWordKeeper - одна из лучших бесплатных программ для работы с текстом.
    http://newox.ru/kwk.php
    Но если не обработка, а только проверить, то тогда excel.
     
    Asin и miha687 нравится это.
  5. alegcool

    alegcool Создатель

    Регистр.:
    14 окт 2009
    Сообщения:
    34
    Симпатии:
    14
    А можно тут _pr-cy.ru/duplicates
     
    miha687 нравится это.
  6. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    Если строк много миллионов, то быстрее всего здесь: TextPipePro(можно скачать на форуме). Лучше запустить сортировку, там сперва упорядовачивание по алфавиту, а затем удаление дубликатов строк.
     
  7. bat

    bat

    Регистр.:
    24 сен 2009
    Сообщения:
    974
    Симпатии:
    276
    А чем Notepad++ не устраивает? )))
     
  8. nullsab

    nullsab Постоялец

    Регистр.:
    5 июн 2007
    Сообщения:
    65
    Симпатии:
    10
  9. nagual

    nagual Постоялец

    Регистр.:
    17 фев 2009
    Сообщения:
    65
    Симпатии:
    3
    Если нужно на серве можно скрипт написать.