KeyWordKeeper

[Dima798]

Очень полезная программа но вот 1 минус скорость блин когда ввожу кучу стоп слов и дОлго долго долго грузит комп норм 4 ядра видео отличное потом оператива 4 гб. Так что не помешает ускорить а по существу Огромное спасибо автору.

 

[alex-bot]

Порадовал модуль выборки, но имхо можно сделать лучше если конечно есть возможность:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Это конечно все пожелания, на усмотрение... но...

 

[Newo]

Буквально в течение нескольких дней выложу в сеть бету 5ой версии Kwk (когда выложу - создам здесь новую тему).

Когда я кодил скрипт для работы с доргеном от сих до сих, там, в том числе, был код, который отвечал за чистку кеев.
Он включал в себя (одним махом, хотя разбить его по условиям тоже не проблема
1. Преобразование буквенных символов в нижний регистр.
2. Замена мусорных символов на пробелы (~,`,!,@,#,№,$,% и т.д... огромное количество символов)
3. Удаление нахрен строк, содержащих табу-слова (rape, gey, zoo, spam и т.д... огромное количество слов и словосочетаний)
4. Удаление доменов верхнего уровня и служебных слов (com, ru, net, org, gov, su, mil, edu, e-mail, www, http и т.д...)
5. Удаление лишних пробельных символов, как внутри, так и по границам кеев.
6. Удаление пустых строк.
7. Удаление строк-дубликатов.
Всё на регулярках, работало на ура, на выходе - чистые опрятные кеи, даже из засранной базы и всё за один проход.
Но это на PHP, без GUI.

Почти все это будет в 5ой версии. Разве что не будет именно замены символов, будет только удаление. Но ничего, как приведу в порядок 5.0 - обязательно добавлю замену.

Очень полезная программа но вот 1 минус скорость блин когда ввожу кучу стоп слов и дОлго долго долго грузит комп норм 4 ядра видео отличное потом оператива 4 гб. Так что не помешает ускорить а по существу Огромное спасибо автору.

5ая версия будет значительно быстрее 4ой =)

Порадовал модуль выборки, но имхо можно сделать лучше если конечно есть возможность:
*** скрытое содержание ***
Это конечно все пожелания, на усмотрение... но...

Ok, спасибо, подумаю, может потом реализую =)

 

[bugargen]

Newo
Не забудь убрать следующий баг:
когда делаешь выборку по количеству слов в кее - нужно обязательно указать сам кей, иначе на выходе файл в 0 байт. извини, но это бред

 

[sanya32]

да, прога хорошая, но мне ноут достаточно мощный под вистой - ложит.

 

[Newo]

Newo
Не забудь убрать следующий баг:
когда делаешь выборку по количеству слов в кее - нужно обязательно указать сам кей, иначе на выходе файл в 0 байт. извини, но это бред

Да, это в пятой версии учтено.
Только это не бред, все логично: ни одного из слов, потому что их собственно нету, не находится в файлах))

 

[bugargen]

Да, это в пятой версии учтено.
Только это не бред, все логично: ни одного из слов, потому что их собственно нету, не находится в файлах))

Чего-то я тебя не понял
Человеку надо из файла с миллионом кеев выбрать только те, которые содержат в себе 3 и более слов. Зачем для это указывать слово-вхождение?

А... Походу я понял... Ты, в следующей версии, хочешь разделить поиск по количеству слов в кее с вхождением определённого слова и тоже самое, только без этого вхождения. Так что ли?

ЗЫ: На чём ты пишешь эту тулзу?

 

[Newo]

ЗЫ: На чём ты пишешь эту тулзу?

На обычном delphi (без .net). Юзаю Delphi 2007.

Так, все. Бету KeyWordKeeper 5 выложил в сеть.
Создаю новую тему, обсуждение продолжаем там.