У Google Cloud стався масштабний збій: постраждали Revolut, банки та інші сервіси

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

Учора, 20 жовтня, у лондонському регіоні Google Cloud стався збій, який тривав майже 8 годин і зачепив десятки хмарних продуктів. Через проблеми з інфраструктурою частково перестали працювати Revolut, кілька британських банків, сервіси доставки та навіть системи для дистанційних судових засідань.

Що сталося

Інцидент розпочався о 07:08 за лондонським часом у регіоні europe-west2. Причиною стала проблема з електроживленням у зоні доступності europe-west2-b.

Унаслідок цього частина сервісів у зазначеній зоні стала недоступною, а в інших частинах регіону спостерігалася підвищена кількість помилок і періодичні проблеми з мережею.

Загалом Google внесла до переліку постраждалих 38 хмарних продуктів, серед яких:

  • Google Kubernetes Engine та Compute Engine;
  • Cloud Run і Google App Engine;
  • Cloud SQL, Cloud Spanner та Firestore;
  • Google Cloud Storage;
  • BigQuery;
  • Cloud Load Balancing, Cloud NAT та Virtual Private Cloud (VPC).

Поки інженери працювали над відновленням, Google рекомендувала постраждалим клієнтам за можливості перенести свої workloads в іншу доступну зону або регіон.

Які сервіси постраждали

Найпомітнішими стали проблеми у фінансовому секторі. Зокрема, користувачі Revolut повідомляли про неможливість здійснити перекази, оплатити покупки картками, зняти готівку в банкоматах або увійти в застосунок.

У Revolut підтвердили технічні проблеми, але запевнили, що гроші та персональні дані клієнтів залишаються в безпеці.

Перебої також фіксувалися в роботі британських банків Halifax, Lloyds та HSBC. Водночас не всі компанії прямо підтвердили, що причиною їхніх проблем був саме збій Google Cloud.

Окрім банків, проблеми виникли й в інших сервісах:

  • Emma — британський застосунок для управління особистими фінансами повідомив про недоступність сервісу безпосередньо через збій Google Cloud.
  • DPD — служба доставки зіткнулася з перебоями в роботі свого сайту.
  • SiteGround — хостинг-провайдер повідомив про проблеми в британському датацентрі. Інженери компанії працювали над відновленням разом із командою Google Cloud.

Зачепило й британську судову систему. Служба судів і трибуналів Великої Британії повідомила про проблеми з хмарними інструментами для проведення дистанційних засідань. Через це частина слухань не могла відбуватися у звичайному режимі.

За інформацією Reuters, на тлі інциденту британський фінансовий регулятор FCA також заявив, що вивчає його наслідки разом із Google та постраждалими компаніями.

Як відновлювали роботу

Ближче до обіду Google повідомила, що проблему з електроживленням вдалося усунути, а інженери поступово відновлюють роботу наявних workloads. Водночас у цей період клієнти ще могли мати труднощі зі створенням нових. У другій половині дня більшість сервісів почала повертатися до нормальної роботи. О 15:00 за лондонським часом інцидент позначили як завершений. Таким чином, загальна тривалість збою становила 7 годин 52 хвилини.

Детального постмортему поки що немає, але Google пообіцяла опублікувати результати внутрішнього розслідування після його завершення. Тож будемо стежити.

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Грошей не вистачило на таке, все в ЕйАйку :)