Вес слова в тексте.

[afonya09]

Как определиьь вес слова в тексте? Тоесть выделить те слова которые кратко описывают смысл текста.

 

[tostrss]

Ну если у текста есть описание, титл то из него.
В принципе вес слова можно определить, как часто оно в тексте встречается (ну убрать всякие предлоги, междометия и т.д.)

 

[afonya09]

Ну если у текста есть описание, титл то из него.
В принципе вес слова можно определить, как часто оно в тексте встречается (ну убрать всякие предлоги, междометия и т.д.)

Такой подход не совсем корректно определяет ключевые слова.

 

[ar4ik]

Ну если у текста есть описание, титл то из него.
В принципе вес слова можно определить, как часто оно в тексте встречается (ну убрать всякие предлоги, междометия и т.д.)

тут еще нужно будет добавить много исключений

кажется в яху api, была такая фишка как выделение основный кеев из текста

 

[tostrss]

Ключевое слово в анализе текста (в том числе, и в поисковых системах) — набор слов, представляющих содержание текста и получаемых лингвистическими и математическими методами (например, анализируя частоту появления слова в тексте).

Взято с википедии. Т.к. лингвистически очень сложно сделать (можно будет у каких-нить сервисов воспользоватся готовым api), то проще всего воспользоватся математическим методом.

 

[afonya09]

У каких сервисов, можно взглянуть?

 

[Softrix]

В принципе еще можно, подсчитать колличество повторяющихся слов и словосочетаний, те что встречаются наиболее часто, те и можно выделять как ключевые. Ну плюс еще окончания учесть, но это не особо сложно.

 

[everest]

Вообще соответствие документа и запроса можно определить по формуле TF/IDF.

Что касается одной страницы - то тогда страницу нужно почистить от СТОП-слов, потом выкинуть наиболее используемые/частотные слова (которые смысло то и не несут).
Ну и хорошо бы смысл текста разбирать.
Можно почитать здесь
Для просмотра ссылки Войди или Зарегистрируйся

 

[afonya09]

Что-то конкретное есть, алгоритм может.
Вариант с подсчетом количества совподений и выводом топа не подходит!!!