Вопрос по тематической уникализации

[Neow15ard]

Взял серверный синонимайзер который может среди всего прочего использовать фильтр стоп -слов.И возникла проблема как в техническом тексте автоматически опредилить стоп слова?
Вернее можно ли считать слова с наибольшим весом стоп-словами?
Причем основываясь не на одной статье , а сделать выборку пары тысяч(или сколько?) по всему тексту (скажем на 1-2 мб).
Или стоит поискать словарь наиболее употребляемых слов а его потом наложить на ключевики и уже остатки в стоп слова?

А то синонимайзер то меня устраевает но замены всяких "тормозная колодка" - "тупая колодка" не к месту.

$text - входной текст для синонимизации. (String)
$k1 = 1 , false или 0 - служебный, может принимать любое значение.
$k2 = 1 - включить переформатирование, false или 0 - выключено.
$k3 = 1 - включить опечатки, false или 0 - выключено.
$k4 = 1 - включить замену русских букв английскими, false или 0 - выключено..
$k5 = 1 - включить замену слов яваскриптом, false или 0 - выключено.
$k6 = 1 - включить склейку слов, false или 0 - выключено.
$k7 = 1 - включить дробление слов переносом, false или 0 - выключено.
$k8 = 1 - включить ошибочную пунктуацию, false или 0 - выключено.
$kestop - список слов которые необходимо обойти (не синонимизировать). (string - слова через запятую)

Взял синонимайзер здесь

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[MegO]

Попробуй поискать словари. На медицинские, психологические и финансовые я точно находил. Думаю и технические есть.

 

[psknnn]

если текст читаемый нужен, то словарь либо под заказ либо самому делать, стандартные даже тематические плохо делают... поскольку тема авто например ооочень широка, если нужно ремонт авто то и термины допустимы другие и замены не всегда актуальны... чем более узкую тему выделиш и более узкоспециализированый словарь найдеш-сделаеш-закажеш тем более читаемый будет... (мое мнение не найти... надо делать или заказывать)

 

[MegO]

Ты конкретнее скажи свою тематику. Помогу может чем нибудь. Я последнее время много словарей скачал.
Вот один нашёл, посматри.

 

[ne0zx]

Если хочешь читаемый текст, тут 1 варинат: собирать базу самому.

 

[Sparky]

По моему самый лучший вариант это делать словарь самому, а на выходе уже редактировать полученный материал.