high availability seminar

[109]

Paul Randall травил байки сегодня. например, рассказал страшную историю про админа, который хранил бэкапы базы на том же диске, что и сама база. и больше нигде. налоговая база штата - кто сколько бабла штату должен. и стал барахлить у них винт. но не тот, на котором была база с бэкапами, а другой. и пришёл technician с новым винтом на замену, и заменил его. и вынул плохой винт, и вставил хороший, и закрыл крышку, и сел за клавиатуру и отформатировал. но не тот винт, который он принёс, а тот, на котором база была со всеми бэкапами. $2B in monetary losses. no job losses though. government employee потому что. штат, как нетрудно догадаться, Аляска.

ещё была замечательная история про чуваков, которые делали только log backups, зато все их честно хранили. все пять тысяч лог-бэкапов по сто гигов каждый, сделанные с момента взятия full-бэкапа. домашнее задание: оценить, сколько дней им потребовалось, чтобы восстановить базу путём последовательного наката пяти тысяч бэкапов. второе задание: оценить, насколько повезло чувакам, что ни один из пяти тысяч лог-бэкапов не оказался битым.

или история про навороченный high availability solution, в котором ещё одна запасная копия хранилась, как положено, off site. и когда локальный бэкап оказался битым, вопрос о том, а как, собственно, восстанавливать десять терабайт, заныканные в 150 милях от датацентра, встал остро, как никогда. но чудес не бывает - на машине, два часа туда, два часа обратно. от четырёх девяток осталось только две.

Comments

[metaclass.livejournal.com]

Ох, нутром чую, кому-то в аляске так долги списали.
Потому что как минимум часть базы можно достать даже с отформатированного веника, тем более за такие бабки.

[109.livejournal.com]

Paul Randall сказал, что лично этим занимался. И потом, это quick format же только размечает, а не quick по-честному все сектора переписывает, разве нет?

[msh.livejournal.com]

:-)

И ты сам-то в это веришь? Что действительно в штате _один_ сисадмин который там лично выбирает как хранить, а не сто дармоедов и контракт на много миллионов от какого-нибудь HP

Или что бывает HA которую надо останавливать на время восстановления? В такой системе не может быть никаких девяток вне зависимости от того, где бэкап

[computer-bug.livejournal.com]

Да, про HA не совсем ясно. Но судя по всему грохнулась все система и основная и дополнительная (active and passive), а осталось только копия которая хранится в другом месте (и реплицируется туда например) как раз для таких случаев. Для MySQL обычно переводят основной сервер (Master) в remote datacenter как раз чтобы не копировать терабайты, а вот как для MS SQL не знаю

[109.livejournal.com]

это точно был ms sql.

термины active/passive имеют мало смысла в данном контексте, ибо предполагают кластер, который предоставляет instance redundancy, а не storage redundancy. иными словами, failover в кластере представляет собой смену активного инстанса, который, тем не менее, продолжает работать с теми же дисками того же SAN-а.

[computer-bug.livejournal.com]

Ну да, а в описанном случае что было? Один компьютер с Ms SQL + репликация за 150 миль? Как-то мало для 4 девяток.

[109.livejournal.com]

ну, Пол нам просто байки травил, а не детальную архитектуру каждого кейса рассматривал.

я так предполагаю, что, наверное, был кластер в одном датацентре, и backup mirroring в другой.

и да, пойнт байки в том, что это был плохой, негодный HA, в то время, как они думали, что хороший.

[109.livejournal.com]

я думаю, что про HA знаю столько, что могу себе позыолить... мнэ... проигнорировать твой вопрос про восстановление :) no offence.

не могу найти, где я написал, что в штате штата был только один сисадмин. хотя и не вижу в этом ничего невозможного. regardless of admin count, всё равно какой-то конкретный человек принял это решение.

[msh.livejournal.com]

Да уж какой тут offence, я как-то себе так майкрософтовский HA и представлял ;-)

[109.livejournal.com]

ну ты и мудила :)

понятно же, что весь пойнт этих баек в том, что как кастомеров ни учи, как правильно строить HA, всё равно найдутся вот такие вот ridiculous cases.

точно так же понятно, что и у oracle advisory team есть столько же таких же баек. ну может не столько же, поменьше немного. пропорционально количеству клиентов :)

[109.livejournal.com]

и, кстати, человек называется dba, а не сисадмин :)

[elk.livejournal.com]

откуда 2Б потерь? мы (taxpayers) ведь сами бабло присылаем а не ждем пока пришлют счет.

[109.livejournal.com]

all the disputes data has been lost, so they had to give up all disputes.

[computer-bug.livejournal.com]

Жителям какого штата повезло? :)

[109.livejournal.com]

дык Аляска же.

[msh.livejournal.com]

А disputes все происходят по email, очевидно, и никаких бумажек не остается.

[109.livejournal.com]

напиши Полу, что его байка не заслуживает доверия.

[msh.livejournal.com]

boo-hoo, обиделся!

[squadette.livejournal.com]

http://snopes.com/it/ms_ha_disasters.html

[109.livejournal.com]

this page is not available :)