Индексация БД (огромные объёмы)

Тема в разделе "PHP", создана пользователем Abliganto, 14 май 2010.

Статус темы:
Закрыта.
Модераторы: latteo
  1. Abliganto

    Abliganto Постоялец

    Регистр.:
    30 ноя 2009
    Сообщения:
    111
    Симпатии:
    46
    Ищу решение для индексации БД кеев (средняя длина строки менее 60 символов). В базе данных ~ 400 000 000 (400 миллионов) записей. В данный момент используется MySQL, две innoDb таблицы для русских и английских кеев.

    Для поиска используется Sphinx, но для поиска по частям слова (по маске) его индекс занимает сотни гигабайт! Где-то 500Гб. Без словоформ в районе 50Гб. Самих данных в базе на порядок меньше, где-то 15Гб.

    Может есть другие средства для организации поиска по БД? Lucene например, главное условие: уменьшение размера индекса и приемлимая скорость (даже 1 минута на поиск не является проблемой, хотя обычно поиск занимает не более 3х секунд ;))

    Платформа Linux. Размер оперативки ограничен (4Гб, для сфинкса пришлось отключить возможность держания части индекса в памяти, т.к. её не хватает, но и с диска он показывает очень приличную скорость, разница в секунду)
     
Статус темы:
Закрыта.