Балансировка нагрузки файловой системы

Тема в разделе "Администрирование серверов", создана пользователем smalllamer, 16 июл 2012.

Модераторы: mefish, stooper
  1. smalllamer

    smalllamer Организм

    Регистр.:
    20 сен 2009
    Сообщения:
    317
    Симпатии:
    124
    Необходимо оптимизировать работу файловой подсистемы.

    Суть в чем: существует файловый сервер (пока один), на котором идет отдача файлов + потоковое видео. При множественных запросах к одному файлу все начинает загибаться.

    Нужно настроить систему таким образом, чтоб эта нагрузка отслеживалась и файл на лету копировался на другой HDD/SDD (а в перспективе и на другие сервера).
    буду очень признателен (в тч финансово) любой информации (необходима поддержка на постоянной основе)
     
  2. latteo

    latteo Эффективное использование PHP, MySQL

    Moderator
    Регистр.:
    28 фев 2008
    Сообщения:
    1.529
    Симпатии:
    1.386
    Если есть свободная оперативка, файлы, к которым идёт частое обращение, можно хранить в ней (Ramfs).
    Примерно представляю как это можно разрулить на php. Отдача файлов на что возложена: скрипты, nginx, apache, ...? И какие объемы одновременной скачки (максимальный и средний объем всех файлов, которые закачиваются в единицу времени)?

    Есть ли сервисные утилиты/демоны? Возможно и даже наверняка есть.
     
  3. smalllamer

    smalllamer Организм

    Регистр.:
    20 сен 2009
    Сообщения:
    317
    Симпатии:
    124
    Я так понимаю что в оперативку все не влезет - файлы в среднем более 1 ГБ. Можество файлов 10+ ГБ.
    Реализовывать отдачу и тп будем, отталкиваясь от того как все это более рационально организовать.
    И еще - все на стадии настройки, те рабочего варианта нет - выбираем оптимальное решение проблемы.
    Планируемая посещаемость 20к. За основу взят DLE двиг.
     
  4. aladar

    aladar Создатель

    Регистр.:
    1 фев 2008
    Сообщения:
    35
    Симпатии:
    4
    Очень интересуюсь темой - задача распределять огромное количество контента по популярности на 4 области, NAS storage - непопулярный контент, HDD RAID - средней популярности, SSD RAID - популярный, RAM disk - супер популярный. Есть какие то решения ? Чтобы можно было монтировать разные по скорости тома и назначать вес скорости. Любая информация интересует.
     
  5. oranzevjii

    oranzevjii

    Регистр.:
    9 май 2007
    Сообщения:
    293
    Симпатии:
    123
    Часом темой не ошиблись?
     
  6. aladar

    aladar Создатель

    Регистр.:
    1 фев 2008
    Сообщения:
    35
    Симпатии:
    4
    Кажется именно туда и попал, у меня теже условия - сервер с видео контентом, и основной bottleneck это доступ к одному файлу, есть задумка разбросать по разным типам дисковых систем с учётом поплуярности, ноды при это хранят одинаковые копии контента.
     
  7. oranzevjii

    oranzevjii

    Регистр.:
    9 май 2007
    Сообщения:
    293
    Симпатии:
    123
    название темы читайте )))))))) чувство что прочитали про видео скрипт но все остальное даже не читали
     
  8. aladar

    aladar Создатель

    Регистр.:
    1 фев 2008
    Сообщения:
    35
    Симпатии:
    4
    Хорошо :) Объясню - ищу механизм балансировки файловой системы, возможно даже распределённой. Никакие RAID не выдерживают - да и просто не хватает объёмов, RAM диск не получается использовать также - памяти не напасёшься когда контента больше 20Т. Рассматриваются уже варианты миграции файлов между дисковыми системами разной скорости. Возможен вариант применения GlusterFS со всеми его внутренними оптимизациями и автомонтированием нод.

    В моём случае проблема уже даже не в количестве запросов к одному файлу - это разгружается пулом серверов и скоростью RAID'ов.
    Вопрос стоит дальше - когда популярного контента больше 20Т и каждый сервер должен генерировать 10Гб исходящего трафика. Сейчас упёрлись в то что больше 5xRAID5 контроллер не поддерживает на сервере, и это тоже не даёт выход на 10Гбит трафика.

    Какие варианты балансировки файловой систему ЕЩЁ кто то знает ?

    Кстати GlusterFS не пробовали ? Получите и автоматическую синхронизацию на лету и не самое избыточное хранение файлов (только на 2х нодах).
    Над механизмом отслеживания файлов и распределением между SSD/HDD сейчас сами бъёмся, готовой системы пока не нашли.
     
  9. zlv

    zlv Писатель

    Регистр.:
    10 июл 2012
    Сообщения:
    2
    Симпатии:
    0
    а не рассматривали вариант разбрасывать контент по нескольким серверам фоном сразу после загрузки и отслеживать на уровне приложения на каких серверах находятся реплики? При конекте пользователя делать редирект на наименнее загруженный.