Как проверить уникальность контента в БД mysql

[localhost:80]

Ваш вариант не подходит, почитайте внимательно длины строк - тоже неизвестны.

Уже долго ищу подобное решение и ничего не придумал, советовали смотреть у сторну шиллингов но там не нашел готового решения.

Полнотекстовый поиск не выставляет ограничений на длины строк, ограничение только на параметр внутри AGAINST() - он не может быть переменным. Поэтому его следует вставлять из php, последовательно перебирая базу и сравнивая каждый с остальными, т.е полный перебор неизбежен, но однократен. Для результатов поиска завести кеш таблицу id1 - id2 - релевантность и обновлять ее периодически по крону.

 

[LEXAlForpostl]

Полнотекстовый поиск не выставляет ограничений на длины строк, ограничение только на параметр внутри AGAINST() - он не может быть переменным. Поэтому его следует вставлять из php, последовательно перебирая базу и сравнивая каждый с остальными, т.е полный перебор неизбежен, но однократен. Для результатов поиска завести кеш таблицу id1 - id2 - релевантность и обновлять ее периодически по крону.

Абсолютно с Вами согласен. Сегодня фрилансер принялся писать похожий скриптец. Как напишет - выложу. Мы по такому же алгоритму будем делать.
Как напишет - выложу..