- Автор темы
- #1
Ищу решение для индексации БД кеев (средняя длина строки менее 60 символов). В базе данных ~ 400 000 000 (400 миллионов) записей. В данный момент используется MySQL, две innoDb таблицы для русских и английских кеев.
Для поиска используется Sphinx, но для поиска по частям слова (по маске) его индекс занимает сотни гигабайт! Где-то 500Гб. Без словоформ в районе 50Гб. Самих данных в базе на порядок меньше, где-то 15Гб.
Может есть другие средства для организации поиска по БД? Lucene например, главное условие: уменьшение размера индекса и приемлимая скорость (даже 1 минута на поиск не является проблемой, хотя обычно поиск занимает не более 3х секунд
)
Платформа Linux. Размер оперативки ограничен (4Гб, для сфинкса пришлось отключить возможность держания части индекса в памяти, т.к. её не хватает, но и с диска он показывает очень приличную скорость, разница в секунду)
Для поиска используется Sphinx, но для поиска по частям слова (по маске) его индекс занимает сотни гигабайт! Где-то 500Гб. Без словоформ в районе 50Гб. Самих данных в базе на порядок меньше, где-то 15Гб.
Может есть другие средства для организации поиска по БД? Lucene например, главное условие: уменьшение размера индекса и приемлимая скорость (даже 1 минута на поиск не является проблемой, хотя обычно поиск занимает не более 3х секунд
)Платформа Linux. Размер оперативки ограничен (4Гб, для сфинкса пришлось отключить возможность держания части индекса в памяти, т.к. её не хватает, но и с диска он показывает очень приличную скорость, разница в секунду)