Отказоустойчивый двухузловой кластер

Тема в разделе "Администрирование серверов", создана пользователем Горбушка, 14 окт 2012.

Модераторы: mefish, stooper
  1. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.175
    Симпатии:
    2.195
    И так, задача очень простая для профи: необходимо построить отказоустойчивый кластер на базе Linux Debian (возможно на другой, не суть). Обязательным условием является наличие двух мастеров.

    Коротко:
    Почему? Требуется именно отказоустойчивая система, при которой выход из строя любого узла, включая мастера, никак не должно отразиться на работе всей системы.

    В целом, запаралелить MySQL не составляет труда, файловые сервера тоже параллелятся не так сложно. Ноды наставляются в неограниченном количестве уже давно и тоже весьма легко делается... Всё это описано во множестве мануалов, никаких трудностей быть не должно...

    Теперь суть проблемы: 2 мастера. Собственно интересует вопрос: как сделать 2 мастера и заставить работать параллельно? ДНС-балансировка? С помощью CISCO на входе? Каким-то ПО? Вот тут я встал просто в ступор...

    Нужно пару мануалов по сбору кластеров с двумя мастерами, при этом чтобы они трудились параллельно, в случае выхода из строя одного - второй брал на себя 100% нагрузки. Нашёл пока только мануал по созданию "beckup master node", т.е. в случае выхода из строя одного - второй включается на его место... Не рационально, т.к. оплачивать лишний сервер, который 99% времени будет лежать в выключенном состоянии - не вариант.

    Вопрос возник именно в параллелизации, т.к. ДНС-балансировка даёт псевдо-произвольный выбор мастера. Если один сдох, на него продолжат поступать запросы и 50% клиентов не получат ответ. По - не знаю, не общался, CISCO - тоже не очень хорошо, в ДЦ за это не погладят...

    В общем, как?

    P.s. в процессе написания заметил маленькую багу - ноды, мускул и файловики тоже выбираются произвольно, в случае отказа часть клиентов не получат ответ - как фиксить?

    P.p.s. собираю тестово для самообучения на базе виртуалок. Панельку желательно использовать ISPmanager Cluster.

    P.p.p.s. систему виртуализации тоже можно посоветовать, т.к. в virtual box всю схему кластера не поставишь - приходится каждому давать реальный IP...
     
    devotum нравится это.
  2. devotum

    devotum Создатель

    Регистр.:
    20 апр 2012
    Сообщения:
    21
    Симпатии:
    1
    плюсстопицот, подписываюсь на тему, самому очень интересно.

    я сам лично не делал такого, чувствую - еще не готов морально.
    направление в котором я рою ( и хочу попробовать первым )
    Перейти по ссылке
    сетевой отказоустойчивый сторейдж.

    В любом случае, я советую (если ноды на юникс-системе) - посмотреть в сторону CARP Перейти по ссылке
    Если же планируется делать что-то под виндовс-системы - вероятно тебе подойдет StarWind Перейти по ссылке
    систему виртуализации - hyper-v 2008\2012, потому что под ESXi 5.0/5.1 для того что бы заставить работать carp-интерфейс надо будет кое-где править конфиг.

    1) Извините за сумбурные советы, что-то не могу собрать мысли в кучку...
    2) как обычно, прошу не банить
     
    Горбушка нравится это.
  3. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.175
    Симпатии:
    2.195
    devotum, речь в любом случае об Linux в связке nginx, Apache, PHP, MySQL... Ну и все сопутствующие компоненты...

    Опять таки, нужен именно мануал "HOW TO", ибо опыта сборки кластеров пока нету... Разве что выноса каких-то элементов за пределы базового сервера, но это делалось встроенными средствами Linux Debian...

    Дело в том, что я не представляю как эта шняга вообще работает и кем и как управляется... Так что буду рад любой литературе для чайников. Желательно именно литературы, ибо объяснять это долго и нудно, не смею Вас заставлять...

    Под литературой я понимаю мануалы в несколько листов А4. Хотя, от полноценных книжек я тоже не откажусь...

    Виртуализация нужна только чтобы тестировать эту всю систему на виртуальных машинах, ибо такого количества железок свободных у меня нету... Т.е. нужен аналог Virtual Box, на котом можно собрать структуру кластера и потестировать выход из строя компонентов...

    P.s. теме плюсанул, а "мне нравится" не жмякнул - вот так всегда...

    Тема прочищена, спасибо BIZON'у.


    Теперь для тупых:

    Мастер сервер имеет сервисы:
    SSH, FTP, DNS, почтовые сервисы, планировщик, ISPmanager, nginx
    На нодах стоят:
    Apache, PHP и прочее ***но
    На Storage стоит
    NFS файловое хранилище
    Дополнительно прицеплено 2 сервера MySQL, между которыми налажена репликация..

    Как оно должно работать:
    1) Поступает запрос на чтение на мастер - он передаёт его некому ноду (из доступных), который забирает данные с доступного Storage и доступного MySQL.
    2) Поступает запрос на запись на мастер - он передаёт это на один из доступных нодов, который пишет данные на все доступные Storage и доступные MySQL.

    Всё это реализуется стандартными функциями ISPmanager cluster, делается по их мануалу: Перейти по ссылке

    Вопрос конкретный: КАК СДЕЛАТЬ 2 МАСТЕРА?

    В прочем, тема уже не актуальна. Ответ получил в ДЦ - делается через CISCO, которая проверяет оба мастера на доступность и передаёт запрос на произвольный из них...

    Теперь остаётся вторая часть вопроса: посоветуйте виртуализацию под винду (для дома), на которой можно собрать сеть под кластер. Т.е. которая позволяет создавать 2 интерфейса и "втыкать" кабеля не в общий хаю, а друг в друга...

    P.s. обсуждение "Что такое кластер" и т.д. - в гугле, тут обсуждаем ТОЛЬКО отказоустойчивые ДВУХУЗЛОВЫЕ кластеры, а не "Как я собирал одноузловой кластер"...

    Оставшиеся вопросы в теме:
    1. На какой виртуализации для дома можно собрать схему кластера
    2. Каким ПО определять отказ одного из устройства и перенаправлять запросы на другое
    3. Как поставить второй мастер (делать балансировку между мастерами с учётом отказа одного мастера)
     
    devotum нравится это.
  4. yavasilek

    yavasilek vasilek_gorbunok

    Регистр.:
    5 окт 2008
    Сообщения:
    1.178
    Симпатии:
    423
    попробуй hyper-v
    статьи по теме:
    Перейти по ссылке
    Перейти по ссылке
    Перейти по ссылке
    Перейти по ссылке

    в кратце: есть минимум две ноды и одна СХД. Если одна из нод выходит из строя, то работает другая.
    в статьях речь идет о 2008, на сегодняшний день последнее решение 2012. На сайте мелкомяких можно спокойно скачать и побаловаться(раньше точно можно было, сейчас не знаю, т.к. качаю все по подписке...)
     
    Горбушка нравится это.
  5. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.175
    Симпатии:
    2.195
    yavasilek, увы, опять не в тему... Речь не о нодах, а о мастерах... И вторая проблема - речь о linux хостинге...
    Но всё равно спасибо, почитаем...
     
  6. stooper

    stooper Shiva

    Moderator
    Регистр.:
    14 апр 2006
    Сообщения:
    533
    Симпатии:
    315
    Горбушка нравится это.
  7. yavasilek

    yavasilek vasilek_gorbunok

    Регистр.:
    5 окт 2008
    Сообщения:
    1.178
    Симпатии:
    423
    можно ставить тогда не роль hyper-v в составе windows 2008, а hyper-v server(распространяется бесплатно). hyper-v server представляет собой урезанную версию MS server 2008 R2 в режиме Core (т.е. фактически, графический интерфейс отсутствует) с установленной ролью hyper-v и ничего более

    но т.к. речь идет о linux хостинге - я удаляюсь :beer:
     
  8. despainer

    despainer

    Регистр.:
    15 фев 2008
    Сообщения:
    615
    Симпатии:
    168
  9. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.175
    Симпатии:
    2.195
    Знаешь, у меня как-то не укладывается в голове отказоустойчивые системы и "Дневник сетевого администратора" с UBUNTU, которую проклянают все сис. админы, как спиленную школотой на коленках для таких же школьников... Пакеты в неё добавляются потому что пятка чешется... Так что даже искать на этом сайте не хочется про отказоустойчивые системы, кою на убунте поднять невозможно...

    Сайт больше похож на помойку из всего подряд, чем на осмысленные статьи профи...
     
  10. despainer

    despainer

    Регистр.:
    15 фев 2008
    Сообщения:
    615
    Симпатии:
    168
    ну если так судить то хабрахабр еще большая помойка а лор вобще ужас :)
    ну а кто вам мешает собрать тоже самое на дебиане или сентоси?
    на сайте приведена аналогия как настраивать, а дальше уже извините...для всех ос описать процесс?
    Вкрай можно собрать из сырцов. или уже разленились?

    даю подсказку DRBD + heartbeat

    и получается отказоустойчивый кластер , настраивается за 1 час


    вчера баловался с кластеризацией, тем самым isp manager кластер, именно кластеризовал мастера, так каких либо проблем не увидел , 2 мастера, примонтированные папки, если валится первый мастер его функции берет второй,
     
    pivo1 нравится это.