Ищю литературу по работе со сверхбольшими базами данных

В принципе теория понятно, сейчас хочется практики. Даже я бы сказал не практики, а найти человека, который бы это все смог грамотно настроить с возможностью последующего расширения. Хотел сначала на облаке хоститься, но там свой гемморой с поднятием инстансов. Нашел хостинг, где выдается необходимое колво ресурсов автоматом, так хостинг в России находится. А владелец не хочет русскоговорящий хостинг из-за маски-шоу, забирающих сервера в любое время дня и ночи...
 
dandandan
то, что вкладывается в понятие "облачный хостинг" сейчас, имеет к параллелизации очень далекое отношение. Если говорить серьезно, без рекламных наворотов, то та штука, которая сейчас представляется как облако, по сути является vds-сервером, на котором динамически ресурсы меняются и существует почти онлайновое дискретное бекапирование с автоматической разверткой на новом железе бекапа в случае падения основного ресурса. Если не считать кучи пиздежа рекламного и наличие автоматизации подо все это, то vmware делает все тоже самое давно и успешно.
Про то, чтоб найти человека, я думаю что поискав по тематическим форумам типа софтборда/руборда или на сайтах типа фриланс.ру ты найдешь кучу толковых админов под это дело.
Про маски-шоу и твою теоретическую задачу. Маски шоу есть везде, вопрос в том, кому дорогу переходить. По этом про ситуацию с маски-шоу говорить безпонту совершенно. Да и твой вопрос выходит по моему за пределы данной темы. Тебе просто надо защититься от сбоев в работе железа теми или иными проблемами вызванными и разместить сайт так, чтоб она работал постоянно.

Тоесть тебе надо:
1) взять домен и зеркала его у разных регистраторов в разных зонах (регистратор может же упать, домен могут залочить) - это стардартная и ничем не выдающаяся процедура. Без пруфа :)
2) взять динамических DNS в нескольких местах (DNS тоже может и упасть и его могут заабузить и заддосить и много чего еще) - это тоже стандартная процедура. Там по моему кроме бОльшего количества полей A-записей (и прочих, при необходимости) нет никакой разницы от обычного DNS, максимум еще правила соответствия назначить, но думаю тут великого ума при настройке тоже не надо, саппорты тоже не зря придуманы, да и мануалы у сервисов обычно есть прямо пошаговые. Для просмотра ссылки Войди или Зарегистрируйся, Для просмотра ссылки Войди или Зарегистрируйся
3) взять несколько серверов в нужных тебе датацентрах в нужных странах с одинаковыми конфигами, осями и настройками - тут как бы... если тебе нужен сисадмин, чтоб купить сервера нужные, то о чем мы вообще говорим, правильно? :) По этому тоже без пруфа :)
4) если у тебя MySQL, то по моему он может работать в режиме репликации баз между серверами в разных ДЦ. Просто включи и настрой эту возможность - Для просмотра ссылки Войди или Зарегистрируйся
5) смотря что у тебя за сайт, я не знаю, может потребоваться синхронизация файлов. Написать софт, который раз в какой то период времени будет проверять листинг файлов у себя и у соседей, и в случае различий будет синхронизироваться - 100-200 баксов на фрилансе заказать. Самое сложное - продумать функционал и то, как сделать чтоб 2 сервера не полезли одновременно один файл синхронизировать. Ну тут немного подумать головой придется (правда совсем немного, самое простое чтоб 2 демона синхронизировали время постоянно между собой и лезли проверять по очереди по четным и нечетным временным отрезкам - секундам, минутам и т.д.). Или поискать такой софт готовый, вполне возможно, что он есть либо есть готовые варианты настройки конкретно твоей оси в таком режиме.

Как видишь - нет ничего супер сложного и различия от настройки одного сервера минимальны. А в случае форс мажора у тебя не упадет все и сразу. Я еще раз хочу сказать, в предыдущем посте - одна из самых сложных схем, обычно можно решить все гораздо более простыми способами.

Я в такой ситуации делал обычно вообще достаточно просто. 1-3 пункт из списка решается без проблем и так, сложные это пункты 4 и 5. Я брал пару компов, поднимал на них оси, софт и поднимал между ними локалку. И пробывал. За всю жизнь 1 раз было, чтоб проипался неделю с настройкой оси, но там была такая фигня, к которой на русском был один мануал в то время и тот не на нужную версию а на достаточно далекий аналог. Подолбаешся один раз - настроишь, если голова на плечах - проблема исчезнет. Откатаешь на паре компов у себя под боком настройку, настроишь (или закажешь) софт для синхронизации файлов и вперед, на живых ДЦ живой сервер настраивать. Либо как вариант взять вдс пару копеечных и потренироваться на них. Для всей этой конструкции даже сервера не нужны, любая система, более гибкая, чем шаред хостинг подойдет.
 
Если говорить о MySQL, то мне оочень понравилась книжка "MySQL high performance guide" Петр Зайцев - один из авторов.
 
Почему никто не упомянул про Apache Hadoop, HBASE, Cassandra.
Mail.ru использует Apache Hadoop, HBASE для хранения интернета;
Коллайдер использует Apache Hadoop и там потоки данных выше чем в банках;
Фейсбук Cassandra если память не изменяет то картинки там хранят.

Если в облако то самое то и если тебя не пугает JAVA.
У орокла есть кей-велью сторедж бесплатный.
Также есть PostgreSQL очень мощная.
Все что я написал open source.
 
Назад
Сверху