Организация собственного хостинга

[timnet]

подскажите, пожалуйста, что почитать про технические аспекты организации и масштабируемости хостинга... статьи, блоги... и поделитесь своим опытом

к примеру для начала беру 1 сервер, на котором будет все (файлы, базы, бекапы, логи)
через какое-то время он наполняется и нужно брать следующий сервер

второй и последующие сервера можно строить по принципу первого, а можно попытаться построить какое-то подобие нормальной инфраструктуры типа сервер балансировщик, сервер баз данных, сервер для бекапов и для логов.

настроить 1 сервер я еще как-то смогу, а вот связать несколько серверов вместе это уже не по силам. идеальный вариант конечно нанять админа, но хочется самому хоть немного разобраться в теме...

как лучше организовать сервера? какие сервера брать? какое ПО лучше покупать?

ps
правовой вопрос не столь интересен, так как по сути это будет ресселинг, есть юр лицо, плачу налоги, да и юридическая сторона более понятна

 

[risk_plus]

Примерно похожую тему здесь я создавал ранее в марте месяце этого года, уже 6 страниц форумных исписали в дискуссиях Для просмотра ссылки Войди или Зарегистрируйся почитайте там, может что-то выберете из заявленного для себя

 

[timnet]

Примерно похожую тему здесь я создавал ранее в марте месяце этого года, уже 6 страниц форумных исписали в дискуссиях Для просмотра ссылки Войди или Зарегистрируйся почитайте там, может что-то выберете из заявленного для себя
Там кстати ребята очень грамотные в теме: Kenny, stooper, Java, Ice_Man
Можно и там пообщаться развернув ваш вопрос там в теме, можно и здесь их пригласить всех, как в продолжение разговора.

я видел эту тему и всю ее прочел)) тема интересная, но на мой взгляд немного о другом. там все больше обсуждаете создание "домашнего" хостинга. а у меня скорее построение кластера.

вот нашел пока такую информацию, может будет интересно
ISPmanager Cluster Для просмотра ссылки Войди или Зарегистрируйся и Для просмотра ссылки Войди или Зарегистрируйся

я вот думаю, если взять к примеру 1 сервер + ISPmanager PRO + BILLmanager Standard для начала этого хватит
пройдет некоторое время и сервер не будет справляться, дальше что делать? сразу брать ISPmanager Cluster очень дорого будет...

 

[risk_plus]

Не знаю как и почему, но я создавал тему совсем как раз на тему создание хостинга с нуля но не "домашнего" ))) То что там есть такой разворот в сторону этой тематики, ну так дообсуждались ))) Я изначально повторяю даже цели не ставил такой да и тема вообще-то названа Создание хостинга с нуля.. При чем тут "домашний" вариант? Вообще не вижу смысла иметь домашний вариант например если без резервирования питания, а это и все прочее в куче очень и очень накладно сделать в домашнем варианте )))))).

Меня интересовало и интересует создание хостинга со всеми вытекающими:
Начало - сервер (какой? какой лучше и почему?) - где? - датацентр какой и как? - функционирование - как? - юридически и неюридически - масштабирование и рост (как? в какой момент?) и многие и многие вопросы, на которые частично из той темы были мной получены ответы, я пообщался с темы товарищами в теме в личной переписке в том числе.

Касательно вашего вопроса, думаю при масштабировании и наличии финансовых возможностей у вас, лучше всего нанять грамотного специалиста именно в вашем городе и действовать сообразно целям. Т.е. какой рост планируется исходя из этого и строить кластер к примеру, хотя насколько я понимаю, кластер при определенном уровне оптимален, а ранее не имеет смысла вкладывать деньги в такой вариант.

Так что все обсуждаемо, зайдите туда в тему напишите пост, те господа там увидят про вашу тему может тут ответят, может там, это не важно, важен ведь результат?))
Ребята здесь грамотные в этих вопросах и подскажут как лучше )))))

 

[stooper]

к примеру для начала беру 1 сервер, на котором будет все (файлы, базы, бекапы, логи)
через какое-то время он наполняется и нужно брать следующий сервер

для начала, как показывает практика - всё вполне можно построить и на одном мощном сервере, тем более если у вас реселлинг.
был у нас такой опыт - всё построили на одном, и всё нормально работает уже несколько лет. сайты + базы + бекапы на отдельный жесткий. + сервер днс на этой же железке, т.к. для хостинга он тоже нужен.
по уму конечно было бы всё разнести, и бекапы, и логи, и базы, но в некоторых случаях это было бы слишком жирно, особенно если учесть тот факт, что никто сразу на 100% не уверен в успещности своего бизнесса. поэтому одной железкой можно обойтись легко, только надо все правильно настроить. а там уже будет видно - тысяча или даже две сайтов пока заселятся, там уже и о расширении можно будет думать. через годика пол, допустим.

второй и последующие сервера можно строить по принципу первого, а можно попытаться построить какое-то подобие нормальной инфраструктуры типа сервер балансировщик, сервер баз данных, сервер для бекапов и для логов.

можно взять пару серверов одинаковой конфигурации, на одном железе, один настроить, сделать образ, а потом этот образ развернуть на других машинах, и перенастроить сетевые параметры. так легче и быстрее.
а если ростет нагрузка, то база данных, допустим mysql - выносится на отдельную машину, или две. если две, то в кластер на master-master репликации лучше не придумаешь. тоже самое с фронтендом - 2а сервера на nginx, между собой балансирующие на heartbeat/haproxy, + всю сеть поднимать на Gigabit Ethernet/Fibre Channel, и никаких 100 мегабит. как вариант - использовать round robin dns для балансировки запросов к http-нодам.

настроить 1 сервер я еще как-то смогу, а вот связать несколько серверов вместе это уже не по силам. идеальный вариант конечно нанять админа, но хочется самому хоть немного разобраться в теме...

а потом завязнуть и посвятить этому лучшие годы своей жизни?)))

как лучше организовать сервера? какие сервера брать? какое ПО лучше покупать?

как организовать - уже выяснили. какие брать сервера - конечно брендовые. я бы брал Dell PowerEdge R710, или HP Proliant DL360/DL380 G8.
а, вот еще что - если файловое хранилище будет, то не лишним сразу брать СХД, типа Для просмотра ссылки Войди или Зарегистрируйся - туда можно и бекапы лить, и файлы, и логи, и виртуальные машины - что угодно. останется только всё это железо заказать в штатах, по цене в 3 раза дешевле нашей, и благополучно привести к нам. и дело за малым останется.
ПО брать - Linux/FreeBSD. причем последняя под хостинг очень даже хорошую производительность дает. Отдельное внимание хотелось бы уделить платформе Cloud Linux – уникальной операционной системе, предназначенной для shared-хостинга.
Панель управления хостингом - Cpanel/Directadmin. работал с обеими, ДА понравился простотой и удобством, а так же - поддержкой FreeBSD. т.е., если Cloud Linux, то целесообразно брать Cpanel, а если FreeBSD, то DirectAdmin.
Биллинг - Whmcs/Hostbill. Первая отлично заточена под рунет и хорошо поддерживается. ну вот, вроде бы это всё по вашим вопросам

 

[fak3]

я видел эту тему и всю ее прочел)) тема интересная, но на мой взгляд немного о другом. там все больше обсуждаете создание "домашнего" хостинга. а у меня скорее построение кластера.

вот нашел пока такую информацию, может будет интересно
ISPmanager Cluster Для просмотра ссылки Войди или Зарегистрируйся и Для просмотра ссылки Войди или Зарегистрируйся

я вот думаю, если взять к примеру 1 сервер + ISPmanager PRO + BILLmanager Standard для начала этого хватит
пройдет некоторое время и сервер не будет справляться, дальше что делать? сразу брать ISPmanager Cluster очень дорого будет...

Чем тогда Ваш хостинг будет отличаться от других? У всех ISP мененджери стоят. Отличайтесь чем нибудь, что бы было интересно у Вас сайт держать. Так это получиться "типичный" хостинг.
ОС - centOS или убунта. Почему убунта? Потому что все такие она не плохая как ожидалось.. Наверное...
Ubuntu - wikipedia, valve, vk.

 

[timnet]

fak3 у меня есть только опыт работы с Debian + ISP поэтому и выбирал, то что лучше знаю. для этого проекта хочу использоваться Cloud Linux. панель или ISP или Cpanel пока не знаю кого лучше выбрать...


stooper СПАСИБО! очень толково все расписал. на многих форумах спрашивал, но никто ничего толком не ответил. спросил на серче, там развели флуд и рекламу и ничего по теме. про Cloud Linux только недавно узнал, как раз и хотел его использовать. до этого только с debian был опыт. А Cpanel и Whmcs вместе стыкуются без проблем? какой сервер посоветуешь для начала? (бюджет до 5 тыс/мес)

 

[fak3]

fak3 у меня есть только опыт работы с Debian + ISP поэтому и выбирал, то что лучше знаю. для этого проекта хочу использоваться Cloud Linux. панель или ISP или Cpanel пока не знаю кого лучше выбрать...


stooper СПАСИБО! очень толково все расписал. на многих форумах спрашивал, но никто ничего толком не ответил. спросил на серче, там развели флуд и рекламу и ничего по теме. про Cloud Linux только недавно узнал, как раз и хотел его использовать. до этого только с debian был опыт. А Cpanel и Whmcs вместе стыкуются без проблем? какой сервер посоветуешь для начала? (бюджет до 5 тыс/мес)

Зачем cloudlinux? Центос нечем не хуже. Та и слухи но говорят что скоро будет обновление rhel, а там уже и центос

А вот сервер нужно смотреть локацию та и сильно мажорный брать ненадо, начинай с малого и двигайся вперед.

 

[metallphilin]

Создавать хостинг с нуля это 200% нерентабельное предприятие. Набор стандартен:

сервер, ISP панели (можно поиграться, но суть в том, что надо управлять счетами и аккаунтами), настройка, лицензия на телематику (для РФ), регистрация в кач-ве юр. лица.... запуск сайта... и что? И ни одного клиента. Можно податься на SE где первые полгода, такие же "хостеры", сидят и не гнушатся вообще ничем. Фу-фу. А брать низкими ценами тоже не вариант, так как 10 клиентов по 60 рублей, это 600 рублей в месяц, что не хватит даже на электричество, что бы работал сервер. О каком "сервере" мы просто можем подумать? За 60 рублей впринципе не может быть грамотной улуги, если это не стартап. Я вот вижу сервер как домашний комп, который тупо висит на канале. А 10 клиентов, это 10 человек, которые будут писать в тикеты всякую хрень. Отсюда вывод, нужно придумать что-то нетипичное, и круглосуточно буквально работать с клиентами, вкладываться в рекламу и т.п. А если опыта нет, то лучше просто этого не делать - cомнёт и выжопит конкуренция. До первой атаки, которую сложно не сложно заказать на всем известных ресурсах, с любой треды на любом форуме - простая рассылка, мол так и так, Вы попали в акцию, только сегодня... и все. дай ты ему три месяца работы на тесты, и он твой навечно, и скидку на 20% навсегда, от перехода рефера. Так как стартапщики - не нужны особо тоже никому. Это важно понимать, технические особенности, для техников, человек который сделал свой бизнес на пилорамах, он может рассказать какой пилой какое дерево лучше спилить, но серверная архитектура его никогда интересовать не будет. И если он вкладывает в свой сайт ~100 тыс. денег в месяц рекламы, что бы у него _только купили б\у станки, и тут 60-ти рублевый хостинг "лежит" - чем это может закончится? Так как они платят только за работу сайта, что там происходит помимо клиента как формально, технически так и юридически - просто не волнует. Он дал денег, и хочет что бы его ресурс был. точка. так как из десяти клиентов пять могут оказаться не очень "Понимающими", что ты вроде и рад уже на 22-ром порту отметится, но что-то не сложилось. так а что сделает 100 или 1000 клиентов? полпроцентная поправка на рост за 6 месяцев и все, очередной хостер погиб. ибо воздвигнут памятник, бывает. анонимность стоит колоссальных денег, это мега сложная структура, а откуда вы ресселете спилится быстро. это обычная работа обычного админа.


Как правило хостеры "появляются" на базе студий, или взаимовыгодном сотрудничестве со студиями. Поясню, у нас в месяц стабильно ~5-10 завершенных проектов, которые нужно где-то размещать. В год это ~84, за два года ~168 и так далее, с поправкой на рост. Соот-но имею клиентскую базу, проще говоря людей, которые готовы уже платить деньги на стартапы вот эти (ибо пофиг им куда и кому платить, они пришли за классным сайтом и реально это стопицотвосьмой вопрос, где там они уже будут хостица), тогда можно серьезно думать об организации своего хостинга, так как если даже притока из "вне" не будет, студия (ряд студий) - по предварительной договоренности будет поставлять Вам клиентов, обеспечивая работу точно не в минус, а в небольшой, но плюс - дальше нужно грамотно все сделать, что бы этот плюс стал больше -таже фигня, с которой мы начинаем. прелюдия, они вроде так кажется что нафиг не надо..

А если затея из серии: "хотелось бы так, что бы сидеть, ничего не делать и получать деньги" - идите в охрану

Сообщество нулледа пережило не один десяток таких хостинг-компаний, и лично я отношусь к такой постановке вопроса с резонным скепсисом. Вначале думать нужно кому продавать, а потом уже что и как.

 

[****Ice_Man****]

Думаю человек ждет следующего ответа:

1. Для начала, достаточно пойти к примеру на servertorg.ru или более оптимальный магазин ютовых корпусов.
2. Подбираем в этом магазине корпус с блоком питания, куллером и рельсами на 1U.
3. Далее топаем в другой магазин дешевой электроники скажем nix.ru и выбираем себе там плату любого производителя скажем на сокете 1155 с поддержкой 32+ гигабай оперативной памяти, обычную десктопную плату я бы предпочел интел или гигабайт.
4. в том же магазине или любом другом снова же на ваш вкус и зависимости от вашего географического положения подбираем себе процессор серии intel core i5 или i7 и того и другого более чем достаточно для стартапа.
5. в тех же магазинах покупаем рейд контроллер можно дорогой от intel с консолью управления и всякими веб наворотами а можно например HighPoint RocketRAID 2720SGL дешего и сердито.
6. покупаем сата 6 гб/с диски к примеру 8 штук по 1 тб этого хватит.
7. чуть не забыл про оперативную память памяти для шаред хостинга чем больше тем лучше сами решайте сколько купить =) (но начать можно с 16 гб)

и того получаем железку
case: 1U
mb: z77
cpu: i5 + culler 1U soc: 1155
video: int
ddr3: 16gb (no ecc)
hdd: 8 x 1tb sata 6gb/s

Ставим CentOS, покупаем и подключаем репозитарий cloud linux, берем в аренду скажем plesk panel 11.5 (в ней много чего наоптимизировали в последнее время на данном железе со стоковой установки вытянет порядка 1000 сайтов а если приложить голову и руки то порядка 2000-3000) ну и естественно биллинг WHCMPS.

Все ставим настраиваем и тащим в колокол ближайшего нормального провайдера.

а вот когда накопите денюшку тогда уже и будете покупать нормальное железо типо hp proliang g8 и так далее. и разносить дисковые nas контроллеры, кеш сервера, сервера баз данных, сервера репликаций, дублирующие сервера, а потом дорастете и до cloud platform и тд и тп.


С уважением ваш etc...