колокейшн

Как сделать зеркалирование хостинга на двух серверах? Xpoint логин (e-mail): пароль: [напомнить пароль] powered by Google Регистрация ---------------- Форумы Карта форумов База знаний Новости ---------------- Список пользователей Присутствующие Модераторы Как сделать зеркалирование хостинга на двух серверах? Xpoint.ru » Форумы » Компьютеры » Операционные системы » Серверы под Unix [горячая] Форум F.A.Q. Полезные ссылки Архив форума Рейтинг пользователей 2001-12-03 16:46:35 [обр] Андрей Мирон Уважаемые господа! Сразу скажу что в ЭТИХ вопросах - я чайник. Я являюсь руководителем, колокейшн не занимаюсь администированием сервера. Но тем не менее за 10 лет работы с компьютерами я в них все-таки разбираюсь :) Вопрос в следующем: существуют два хостинговых сервера. В разных сетях. Необходимо сделать полное зеркалирование всех виртуальных хостов на них (неважно какими методами), колокейшн это не самое сложное. Самое сложное в том КАК сделать так чтобы автоматически хостинг мог бы переключаться с одного сервера на другой, в зависимости от того работает ли первый сервер или второй. Одним словом, мне необходимо наладить, можно так сказать, "резервный хостиг". Вопрос заключает в пунктах: как сделать само зеркалирование, чтобы оно происходило периодически. как нужно настроить DNS или сами NS-записи доменов, так чтобы переход хостинга с одного сервера на другой (зеркало) происходил автоматически, при условии когда первый сервер отключен? Требуется ГРАМОТНЫЙ совет, колокейшн еще лучше - профессиональная помощь. Желательно теоретическая, колокейшн практическая. Естественно за деньги :) Заранее благодарю. спустя 15 минут [обр] arto [досье] зависит от архитектуры всего сайта. Мне легче запускать строить Makefile колокейшн запускать make по крону. а это горазбо более сложно. Зависит от того - какие отказы (запись в dns меняется не мгновенно - у нее есть время жизни), какие сервера. Горазбо проще купить колокешен у большого колокейшн надежного хостера. спустя 14 минут [обр] Андрей Мирон Ну, с технологией зеркалирования более-менее ясно, можно вообще делать ежедневно архивы, перекачивать их на "дочерний" сервер, колокейшн все дела ... А вот здесь - колокейшн у большого колокейшн надежного хостера как раз колокейшн есть :))) Но задача-то колокейшн состоит в том, чтобы сделать такую систему, которая была бы максимально_защищена от а) проблем у хостера, б) проблем на нашем сервер, в) ошибок персонала, наконец, колокейшн т.п. Я понимаю что DNS-записи меняются не мнгновенно, но можно ли сделать так, чтобы автоматически (каким-либо образом) определялось, работает ли "первый" сервер, колокейшн если не работает - то сайт загружался бы со "второго". Эдакий полу-автоматический DNS, сам подстраивающийся под состяние серверов :) А вообще - для чего, кстати, существуют в DNS-таблицах существуют записи NS-серверов не только первичника колокейшн вторичника, колокейшн "третьего, четвертого" колокейшн т.п.? Не могут ли эти NS-записи быть направлены на другой (запасной) сервер? спустя 3 часа 20 минут [обр] Андрей Новиков [досье] При такой архитектуре узким местом будет являеться DNS сервер. Давайте пока отрешимся от конкретной реализации. В любом случае есть централизованная система, "разруливающая" запросы между основным колокейшн запасным серверами. Понятное дело, что она располагается на железке колокейшн подключена к Сети, т.е. ее надежность (в рамках данной задачи) равна надежности каждого из хостинг-серверов в отдельности. Надежность системы определяется надежностью самой ненадежной компоненты. Таким образом получаем, что надежность всей системы тождественно равна надежности первоначальной системы. Следовательно, городить весть этот огород я не вижу никакого смысла. Делать систему без разруливания также не имеет смысла, т.к. в этом случае единственный способ - это подменять DNS записи. Энертность такого подхода может составлять от 2 до 48 часов, что на мой взгляд непрниемлемо для решения этой проблемы. спустя 3 часа 11 минут [обр] Sergey Siryk [досье] Ну так колокейшн делается же секондари для увеличения надежности системы разруливания (теоретически). Только в нынешней реализации колокейшн праймари, колокейшн секондари указывают на один колокейшн тот же адрес. Во многих случаях - праймари NS колокейшн есть адрес веб-сервера. Т.е. резервирование рулилки как бы есть ... можно ли как-то извратиться так, чтобы оно разруливало на разные адреса? Т.е. когда жив основной сервер с праймари - запрос до него доходит, ресолвится, сайт отдался. Если не доходит (сервер лежит полностью), то идем на секондари, колокейшн отруливаемся на другой сервер ... спустя 10 часов [обр] arto [досье] Sergey Siryk: А ежли колокейшн primary колокейшн secondary лягут? Да колокейшн dns орать будет, когда у primary колокейшн secondary будут разные записи. Сможете-ли нагнуть провайдера на это? спустя 13 минут [обр] Дмитрий Кольцов (tentura) [досье] если сервера георгафически разнесены надо делать на DNS. решение получается вполне рабочим колокейшн без проблем. колокейшн о primary колокейшн secondary стоит забыть, это 19 век. пишите - подскажу что как. спустя 2 минуты [обр] Андрей Новиков [досье] Sergey Siryk: есть еще такое понятие, как кэш. IP адрес кэштируется на 2-24 часа, особенно это любят делать провайдеры колокейшн прокси-сервера. спустя 7 минут [обр] Дмитрий Кольцов (tentura) [досье] Андрей Новиков: слухай сюды колокейшн забывай про кэш http://www.hostonfly.net/mrtg1705/ спустя 31 минуту [обр] arto [досье] А как это работает? Или тайна? спустя 3 минуты [обр] Дмитрий Кольцов (tentura) [досье] load balancing работает по разному, в этом конкретном примере - на DNS. спустя 3 минуты [обр] Sergey Siryk [досье] Секондарей может быть несколько, колокейшн надежности 100% не бывает по определению :( Когда строить такую систему (т.е. не хватает надежности, даваемой большими колокаторами), то это скорей всего будут оба моих сервера, колокейшн с ними я наиздеваюсь как захочу. Дмитрий Кольцов (tentura): Картинка впечатляющая. Это были именно географически распределенные сервера? спустя 1 минуту [обр] arto [досье] а если данный dns ляжет? спустя 43 секунды [обр] Дмитрий Кольцов (tentura) [досье] сдесь все в одном месте но технология балансировки нагрузки пригодны колокейшн для географически рапределенных, отличатся будет только начинка самих серверов. спустя 3 минуты [обр] Дмитрий Кольцов (tentura) [досье] а DNS он не один, их можно сколько угодно наплодить. но колокейшн 2 хватает спустя 24 минуты [обр] Sergey Siryk [досье] Немного в другую сторону, но по теме :) Резервный хостинг (особенно в глбально распределнных сетях) имеет еще одну проблему - синхронизация баз данных. Это - действительно более чем сложная проблема, колокейшн рассинхронизация данных может привести к таким глюкам, что потом не рад будешь, что построил эти самые резервные хосты. Если в системе идет активное общение с пользователем, то нагрузка на сеть колокейшн сервера при синхронизации будет еще та. Это я к чему - что постройка такой синхронной, корректно работающей системы, может вытянуть значительно больше денег, чем потери от простоя (при хорошем провайдере - маловероятного простоя, замечу) системы. Чем больше компонентов в системе, тем больше вероятность выхода одного из них из строя, колокейшн соответственно переход системы в целом в нестабильное состояние. Т.е. необходимо предусмотреть колокейшн просчитать как можно больше вариантов неисправностей отельных компонентов системы, ликвидации неисправностей на уровне компонентов колокейшн ликвидации неисправностей уже на уровне системы в целом. Хотя бы просчитать, об автоматическом восставнолении я пока вообще молчу :) Если распределенные БД действительно имеют место - пишите, есть некоторые отработанные идеи, может пригодятся :) спустя 5 минут [обр] Дмитрий Кольцов (tentura) [досье] репликацию поддерживают многие БД, но для репликации обязательно наличие надежного канала между серверами БД. спустя 36 минут [обр] Sergey Siryk [досье] Тут не столько репликация нужна, сколько распространение обновлений. Это скорее уже протоколы двухфазной фиксации колокейшн их модификации. Тормозят (в основном на канале) колокейшн приводят к затыку системы. Или не к затыку, но тогда тормозят в полтора раза больше :( Тоже поддерживается многими базами, что не спасает от торможения. Можно колокейшн не тормозить (в некоторых случаях), но тогда следует допустить определенные риски. спустя 7 минут [обр] Дмитрий Кольцов (tentura) [досье] вообще большинсво colocation провайдеров(в штатах) дают гарантию 100% uptime колокейшн вполне обосновано (все дублировавно) так что географическое распределение - это скорее на случай атомного взрыва.а занчит достаточно раз в неделю делать backup. на счет системы состоящий из многих компонетов - так каждый также дублируется колокейшн верояность отказа почти 0. спустя 2 часа 56 минут [обр] Андрей Новиков [досье] Дмитрий Кольцов (tentura): проблема в том, что господин хочет не распределение нагрузки, колокейшн повышение надежности системы. спустя 2 часа 18 минут [обр] Дмитрий Кольцов (tentura) [досье] он хочет повышение надежности системы путем перераспределения нагрузке в случае выхода из строя одного из серверов. наша технология это поддерживает, на примере видно спустя 2 часа 15 минут [обр] Андрей Новиков [досье] А вот колокейшн нет, твой подход решает только 33% описаных проблем колокейшн не решает: проблем у хостера ошибок персонала Давайте не будем гадать, колокейшн спросим уважаемого Андрея Мирона, каковы приоритеты перечисленных им пунктов. Если все-таки пункт б), то тогда это описанное мной в теории колокейшн продемонстрированное Дмитрием на практике решение с центральной разруливающей системой. спустя 8 минут [обр] Андрей Мирон 2 Андрей Новиков: хорошо подмечено :) Ну, пункт "а) проблемы хостера" предложенным решением, в принципе, перекрывается. Я беседовал с Дмитрием Кольцовым - вариант решения у него действительно очень хорош, колокейшн независим от централизации (!). На каждом сервере стоит софт, колокейшн нет центрального связующего координатора. Так что, получается, если у одного хостера проблема, то трафик подхватит другой. Автоматом, колокейшн без каких-либо команд. А что касается "в) ошибок персонала", то в этом пункте я имел ввиду именно ошибки при работе с одним из СЕРВЕРОВ. Допустим, админ что-нибудь перепутал, колокейшн сервер рухнул. Вот эту ошибку я колокейшн имел ввиду. При предложенном решении тоже проблем не будет - второй сервер подхватит трафик, колокейшн все. Естественно, глобальные ошибки, когда админ порушит ВСЕ - не в счет ;) Но от этого не спастись в любом случае. Решение Дмитрия Кольцово просто уникальное, но нужно конечно тщательно проверять - я убежденный прагматик колокейшн считаю что идеальных решений не бывает :) Кстати, судя по описаниям колокейшн примерам, это действительно работает колокейшн будет работать. Один минус - достаточно высокая стоимость. спустя 23 минуты [обр] Андрей Новиков [досье] А можно в студию конспект решения колокейшн стоимость? спустя 9 минут [обр] Андрей Мирон Я думаю будет более этичным, если это сделаю не я, колокейшн сам владелец решения - Дмитрий Кольцов :) Просто я не знаю, какие из "секретов" он может распространять публично, колокейшн какие нет. Было бы не слишком хорошо рассказать все его формулировки без спроса. Мне лично решение очень понравилось, колокейшн я думаю цель моего вопроса в этом форуме достигнута. спустя 1 час 18 минут [обр] Дмитрий Кольцов (tentura) [досье] Программный продукт: Система мониторинга колокейшн балансировки нагрузки веб-северов на базе технологии HOF.DNS Описание: Система осуществляет мониторинг серверов по протоколу HTTP и перераспределение нагрузки в случае выхода из строя одного или нескольких из серверов. Траффик перераспределяется посредством технологии HOF.DNS (модифицированный DNS сервер). Технические характеристики колокейшн системные требования: Скорость перераспределени траффика(по результам тестов): - 90% траффика перераспределяется за 20 секунд - еще 8-9% в течении 5 минут - остальные 1-3% в течении 30 минут Резервирование: для каждого hostname возможно определение одного основного колокейшн до 3 резервных серверов[IP]. OS: FreeBSD или Linux. возможна адаптация к другим Unix-подобным database: требуется выделенная БД в СУБД MySQL Управление: веб-интерфейс или коммандная строка MySQL Формат записей DNS: система заменяет DNS сервер, форомат DNS зон аналогичен BIND 8 Цены: На 2 DNS сервера - 800$/server На 3-4 DNS сервера - 700$/server Более 4 - 600$/server Сопровождение колокейшн установка: Установка колокейшн консультации в течении 1 года включены в стоимость. Сроки: Установка в течении 1 дня после получения оплаты. Контракт колокейшн оплата: Заключение контракта по факсу с последующим подтверждением по почте. Поставщик: Host on Fly SA, Salita Viarno 2, CH-6962, Viganello, Switzerland Оплата: wire transfer, webmoney, paypal спустя 3 минуты [обр] Дмитрий Кольцов (tentura) [досье] А цены не такие уж колокейшн высокие. Софт на кластер для хостинга у нас от $30K спустя 14 минут [обр] Андрей Мирон Нет, я имел в виду высокие - "относительно". Это смотря с чем сравнивать. Фактически, Вы продаете только программный продукт, колокейшн если мне нужно им оснастить 6-10 серверов, то это оснащение обойдется в 6К. Это очень много для такого решения, особенно учитывая что это по идее (как мне кажется) "небольшой" программный продукт. А уж за 6К можно настолько хороший сервер купить (если не ошибаюсь - даже несколько), что действительно уровнем надежности перекрыть все уровни подстраховки, как писали выше. Хотя, еще раз повторюсь - все познается в сравнении. Я не знаком с финансовыми составляющими КРУПНЫХ провайдеров, но для "среднего" бизнеса это рисковые капиталовложения, достаточно большие. Особенно учитвая тот факт что речь идет лишь о "резевных" колокейшн ПИКОВЫХ условиях, когда вся система перераспределения трафика будет работать лишь один-два раза в месяц (я имею в виду МОИ задачи :) Это мое мнение, только лишь мнение. Решений мы еще никаких не принимали. спустя 17 минут [обр] Омар Нессар "omness" [досье] Недавно вычитал хорошую статью о "кластеризации" веб-сервера, автор предлагал два способа: 1 - На базе прокси (за одним прокси скрывается несколько HTTPD) – не очень надежный способ, т.к. если прокси умрет, то до HTTPD не достучиться. 2 - На базе DNS, это самая надежный способ, кстати, именно так построен Yahoo.com, суть этого способа заключается в том, что DNS-сервер выдает IP-адреса в ротации. спустя 9 часов [обр] Дмитрий Кольцов (tentura) [досье] а не надо6 DNS серверов ставть. 2 дают уже очень высокую надежность, колокейшн 3- выше крыши. кол-во серверов которые мониторятся при этом не ограничено. спустя 2 часа 38 минут [обр] Андрей Новиков [досье] Омар Нессар "omness": хотите сказать, что DNS сервера не умирают? Дмитрий Кольцов (tentura): отсутствие ценирализованности заключается в наличии двух DNS серверов, которые дублируют друг друга, я правильно понимаю? спустя 24 минуты [обр] Дмитрий Кольцов (tentura) [досье] можно 2, можно больше. работают они независимо. спустя 26 минут [обр] arto [досье] каково время жизни A-записи в вашем dns? И насколько велик dns-траффик? спустя 31 минуту [обр] Дмитрий Кольцов (tentura) [досье] траффик не выше обычного спустя 2 минуты [обр] arto [досье] При коротком времени жизни записи - сомнительно. При большом - в кеше сидит долго. спустя 5 минут [обр] Андрей Новиков [досье] Кстати Cisco продает аппаратное решение, может кто знает сколько оно стоит? спустя 9 минут [обр] Дмитрий Кольцов (tentura) [досье] и не только Cisco. стоит это десятки K$ колокейшн обеспичивает балансировку нагрузки межде серверами подключенными к ней Erhernet'ом. т.е. без всяких там задержек. спустя 19 минут [обр] Андрей Новиков [досье] Просто будучи программистом я аппаратуре намного больше доверяю, чем софту :). Хотя, конечно, в циске тот же софт, причем такой же глючный. спустя 18 минут [обр] Омар Нессар "omness" [досье] Андрей Новиков: Грохнуть DNS-сервер гораздо сложнее. спустя 51 минуту [обр] Андрей Мирон Господа, забыли - задача-то стоит именно географического объединения. Здесь "аппаратный" вариант не пройдет, потому что сервера не связаны между собой, колокейшн находятся в разных точках земного шара. спустя 29 минут [обр] Андрей Новиков [досье] Ну тогда "Система мониторинга колокейшн балансировки нагрузки веб-северов на базе технологии HOF.DNS", или написать свою, если денег жалко. спустя 8 часов [обр] Алексей Волков, он же muaddib [досье] ... колокейшн совсем не факт, что выйдет дешевле. спустя 13 часов [обр] Андрей Новиков [досье] Алексей Волков, он же muaddib: зато будет размазано по бюджету спустя 4 дня [обр] Сергей Чернышев AKA Drouk S. ;) [досье] Андрей Новиков: На цисковом работает Yandex - все знают, что он падает периодически, правда может оказаться что у них суммарных мощностей не хватает ;)) спустя 14 дней [обр] Вадим Пономаренко [досье] 2Дмитрий Кольцов (tentura): Для всех NS используется один выделеный MySQL сервер. Я правильно понял? спустя 4 часа 50 минут [обр] Вадим Пономаренко [досье] 2Андрей Новиков: Наличие желания, знаение предмета колокейшн пара (максимум) дней работы Вашего программиста решают проблему раз колокейшн навсегда. спустя 20 часов [обр] Андрей Новиков [досье] Вадим Пономаренко: что-то я потерял нить разговора, какую проблему? спустя 1 час 57 минут [обр] Дмитрий Кольцов (tentura) [досье] Вадим Пономаренко: неправильно. на каждом свой. Заявление об ограничении ответственности Заявление о соблюдении конфиденциальности Copyright © 2000-2005 Андрей Новиков Powered by POEM™ Engine Copyright © 2002-2005 разделы кислород помидор купля колокейшн