День, когда упал Amazon

Читаю официальную версию. «Это наша вина, прокол сотрудника, мы получили урок, хотя система мегастабильна, но если убить половину серверов, то она перестанет работать. Но ее можно будет восстановить что мы и сделали. Примите наши извенения за причиненные убытки». Читаю комменты человека, у которого в профиле указано, что он работает в амазоне «Специалисты по иконкам, сколько таких систем построил ты. Толпы повелись на баззворд, а умные бекапили». Понятно теперь почему штабквартира Амазона в США, а у нас максимум трактор заводят. Ребята, с таким отношением к кастомерам слепить что-нибудь свое будет проблематично.

Руслан, вы врядли что-то знаете про мое отношение к кастомерам. Если внимательно посмотреть на мои ответы, то станет ясно, что меня не беспокоит падение, обсуждение/критика падения или проблем Амазона/облаков в целом — это нормальная реакция и я сам долго смеялся, читая твиттер. Меня раздражают абсолютно бессмысленные комментарии про иконки, банки, суды и надежность собственных серверов от людей, которые явно не понимают, что происходит, но им важно отметиться. Именно поэтому и заводят трактор, потому что вместо того, чтобы попытаться подумать и ответить/написать что-то разумное или промолчать/пошутить, люди пытаются выставить себя ну очень умными экспертами до того момента, пока их носом не ткнут. Разницу между англоязычным и русскоязычным форумом помните? Ну так оно и на DOU и везде по стране. Не то, чтобы в Европе или США было совсем без этого, но как-то чувствуется намного меньше.

Иногда по привычке захожу посмотреть, что происходит, почитать икспертов по reliability своих серверов, где «можно организовать работу так, чтобы не падало», посмеяться и всё такое. Чем дальше, тем реже.

Хм. А ещё там дальше в данных автора одного вопроса написано «Бесплатный Баран Михаил Доронин» (и дальше email)
М-да, я бы такому не просто денег не давал... вообще его надо на прекрасное.it разрекламировать.
Но сосед по ветке прав — для этого тут на форуме есть более адекватные темы.

Тут хуже. На том классическом русском форуме хотя бы «предлагают» альтернативу. А тут ничего, кроме тупых оскорблений.

Есть телефон на андроиде с аппликухой от Амазона. Пейджеры вымерли уже почти везде.

Вам правда за онкол доплачивают?

Столько всего передумал. Как могут доплачивать за онкологию. :)

В Ирландии/Европе такой закон.

Ну пока да.

Я бы сказал Galway Bay Brewery для старта. Brew Dog, если дружить с другими кельтами.

Ну да, процессы недоработаны. На хабре недавно была статья с тем, как где-то в другом месте (vk? dropbox?) команды подобных действий специально доработаны так, чтобы ничего опасного без особых дополнительных опций и подтверждений не сделать.

в основном упал s3, но тот же SES тоже отвалился, короче накрылось кучу всего, вчерашнее падение принесло нам кучу проблем, теперь будем ломать голову как дублировать хранилища и в случае чего переключаться очень быстро, а это лишнее издержки

в том то и дело, что никто вообще не думал что S3 может упасть, а если упадет то это будет больше чем 30 минут :)

ну ну ))

Понабежали эксперты по судам, банкам, хайлоаду и хостингу иконок. DOU как он есть.

Оно упало experienced elevated error rates. ©
Виновные будут четвертованы и высланы обратно в страну происхождения для прохождения исправительных работ в бодишопах.

Ну это был провал, конечно. Они достаточно быстро повесили заметку про проблему вверху, но не проапдейтили остальное, т.к. не могли.

Типа с дипломом только можно коментить? Я не эксперт по бигдате — просто у нас на проекте редшифт перешел в ридонли стейт и посыпались таски в емр кластере, которые с s3 взаимодействовали . Ну теперь то мы поняли, что делать вендор лок решения — не самая хорошая идея. Повезло, что это было вечером, а не в разгар дня. Кстати чтобы судить о вкусе колбасы не нужно быть начальником колбасного цеха. Эксперты по иконкам амазону денюжку несут, так что и право голоса имеют

Начальником быть не нужно, нужно не нести чушь. Да, посыпались многие системы и всё, что работало с S3 в us-east-1. Да, это плохо и для самого Амазона и для репутации в целом. Вендор лок — это риски, так всегда было и так будет. Но даже в пределах AWS можно было работать, если данные были дублированы в других регионах. Да, это стоит денег, но, подозреваю, что заметно дешевле, чем дублирование на других платформах.

FB и GMail?

Не отсудят, у них по контракту что-то вроде часа оффлайна в год

тут було більше 4-х

Время реакции хеопдеска на бизнес критикал фейл до 15 минут. Но если ты платишь от 15к у.е. в месяц только за техподдержку. Ну таким клиентам, я уверен , перезвонили личные консультанты, которые положены в указанное в договоре время

Ага. И я об этом — там оговорено только скорость, с какой ты услышишь сочувствие

Выдыхай. Ну или не несли откровенный бред при нулевом понимании предметной области.

не знаю кто там в два клика перешел куда, но у нас с 3 аккаунтов невозможно было получить доступ к s3 ни в одном датацентре

Я не знаю, работал UI или нет, но в остальных регионах (не us-east-1) S3 работал спокойно через API.

Для предвиденных апгрейдов — заказывается новое железо, для непредвиденных — можно временно и Амазон применить, пока своё не приедет, или на время пика.
«Собственное железо» я на этом уровне воспринимают в первую очередь как наёмный dedicated. В простых случаях VPS — он может быть всё равно дешевле, чем облако Амазона или аналога.

Да, многие пострадали из-за них, не только сам амазон.

Но здоров’я напевно вже не те ... :)

Да. Жулянский путепровод упал. Може как-то связано?

А не Шулявский ?

Точно. Упал ведь.

Вроде работает.

status.aws.amazon.com
Там половина сервисов в регионе желто-красные.

ЦРУ устроила маски-шоу и серверы вынесла?

Вариант, когда картинка статуса меняется джаваскриптом не рассматривался? Изначально загружается «зеленая» иконка, потом скриптом по таймеру она обновляется в соответствии с текущим статусом сервиса. Скрипт на обновлении завис (не может получить статус) иконка продолжает светиться дефолтная?!