«Наш IT-відділ — ціла армія». COO «ПриватБанку» Маріуш Качмарек про рекордно швидку міграцію в хмару, роботу під час війни і бронювання від мобілізації

Перехід дата-центрів найбільшого державного банку України «ПриватБанк» у хмару став важливою подією у банківській та ІТ-спільноті — враховуючи безпрецедентні умови війни та вражаючу швидкість самої операції. За успішним результатом стояли 500 людей, 45 днів і 50 годин.

У новому інтерв’ю DOU Маріуш Качмарек, головний операційний директор «ПриватБанку», розповів про процес міграції, трансформації під час війни та які переваги має український ІТ-ринок.

💬 У відео доступні субтитри українською

«Ми розробили кілька сценаріїв, та не очікували, що це буде атака з усіх сторін». Чому банк не був готовий до повномасштабної війни

Робота банку має бути безперервною. Тож у цій сфері мусить бути план дій на випадок надзвичайних ситуацій.

Ще до повномасштабної війни «Приват» мав два фізичних дата-центри, розташованих у різних місцях в Україні. Наші банківські системи та програми були продубльовані. Якщо щось станеться в одній частині країни, ми можемо працювати з іншої. Це була звичайна бізнес-модель, і ми дотримувалися цього.

Щороку перевіряли свою здатність реагувати на надзвичайні ситуації, зберігати безперервність бізнесу. Ми вимикали весь дата-центр або окремі системи. Відновлювали їх чи знову запускали в іншому дата-центрі.

З минулого року тривали дискусії про те, що на нас можуть напасти росіяни. Ми розглядали декілька варіантів. Думали, що вони можуть напасти з боку Донецької та Луганської областей, можливо, у Маріуполі або на півночі України. Ми розробили кілька сценаріїв, та не очікували, що це буде справжня війна, атака з усіх сторін.

Це був найгірший сценарій. Коли хтось вривається на вашу територію, бомбить, стріляє, вбиває людей, руйнує інфраструктуру, країна може впасти за кілька днів.

У нас не було достатньо часу для планування. Крім того, до початку війни закони не дозволяли банкам та фінансовим установам обробляти дані за межами України: в приватній хмарі чи у фізичному дата-центрі за кордоном.

Тож коли Росія напала на нас, виникло питання — як забезпечити роботу банків? Необхідно, щоб у наших банкоматах була готівка, щоб люди могли зняти гроші, робити перекази, платити за щось, отримувати зарплату, пенсію.

Якщо фізичні дата-центри нашого банку не функціонуватимуть, не працюватиме й усе інше. З такою кількістю клієнтів і послуг, як у нас, керувати банком на папері фізично неможливо.

Ми зрозуміли, що обидва наші дата-центри можуть бути в зоні ризику. Летять ракети, наступають ворожі солдати, можна швидко опинитися в ситуації, коли доступ до обох дата-центрів втрачений.

«ПриватБанк» — найбільший в Україні. Ми обслуговуємо понад 20 мільйонів клієнтів. Нам належить 65% банкоматів, 70% POS-терміналів, 50% розрахунків між українськими установами відбувається через «Приват». До війни у нас було 1400 відділень. Люди залежать від нашої роботи. Якщо вимкнути, знищити банк, бізнес та країна матимуть величезні проблеми.

Ми повинні дотримуватися закону, тому перше питання було до Національного банку України — що ми можемо зробити? Як захистити наші дані? Впродовж перших днів війни Нацбанк дозволив фінансовим установам зберігати захищені резервні копії фізичних систем у дата-центрах у хмарі. Це був перший крок.

Одразу почали переговори й про те, що резервної копії в хмарі недостатньо. Якщо наші дані будуть у безпеці, але фізичні дата-центри будуть знищені, ми не зможемо відновитися з резервної копії та запустити її. Нам треба знайти десь інший дата-центр, а на це потрібен час. Треба підписати договір, масштабувати інфраструктуру, усе підготувати.

8 березня українська влада дозволила фінансовим установам працювати з хмарних сервісів не лише в Україні, а й за кордоном. А ще — працювати з фізичними дата-центрами в інших країнах, якщо це необхідно. Ми можемо так працювати під час воєнного стану та ще два роки після закінчення війни.

Тож ми разом з Наглядовою радою вирішили не лише розгорнути резервні копії у хмарі, а й фізично перенести послуги з локальних дата-центрів у хмару.

Я — поляк, багато років працюю в ІТ та на банківському ринку. Можу сказати, що у країнах ЄС нам знадобилися навіть не роки, а десятиліття, щоб узгодити питання обробки даних у хмарі. Тож в тих обставинах Україна була дуже швидкою. Це був світовий рекорд ухвалення рішень. Я дуже вдячний владі, що вони так оперативно відреагували.

«Міграцію ми здійснили за 45 днів». Про перенесення дата-центрів у хмару

В «ПриватБанку» є близько 500 різних систем. Уявіть собі, що ці 500 систем треба розмістити на фізичних і віртуальних серверах. Вам потрібні і виробничі системи, і системи тестування, і системи розробки. Потім знадобляться бази даних. Уся телекомунікаційна інфраструктура.

При цьому варто врахувати, що клієнти активно користуються послугами банку. Я вже згадував, що у нас 20 мільйонів клієнтів, 15 мільйонів онлайн-користувачів «Приват24». В пікові моменти послугами банку користується понад 100 000 людей одночасно.

Якщо подивитися на розмір банку, виникає безліч питань. Як перенести його в хмару під загрозою бомбардувань, як вирішити, що саме перенести насамперед, як перевірити це, як перейти з фізичного в хмарний режим? Якщо робити все за методичкою, без війни, без загрози, то я не вірю, що перехід можна закінчити швидше, ніж за два-три роки.

Спочатку ви проходите формальні процеси: процес відбору, тендеру, підтвердження концепції, ухвалення рішення про міграцію. Потім обираєте критичні програми, які хочете перенести. Далі маєте переконатися, що кожна програма належним чином налаштована, перевірена та запущена.

Ми не мали таких комфортних умов і зробили це за 45 днів. З 500 систем обрали 330. Ті, що найважливіші для роботи банку. Фактично усе, чим користуються клієнти, — «Приват24», карткові платежі, системи авторизації, функції обслуговування, інфраструктура контакт-центрів, підключення банкоматів, POS-термінали. Усе, з чим взаємодіє клієнт, зараз перенесено в хмару та працює звідти. Тож тепер банк абсолютно стійкий.

Це був найбільший виклик, перед яким ми постали. Та ще була проблема зв’язку з Visa, Mastercard і SWIFT. Підключення до них налаштовано з України. Наш банк пов’язаний з Нацбанком, далі — з Visa і Mastercard.

Тобто хмара працює з фізичною інфраструктурою, з платіжними системами за кордоном. Навіть у найгіршому випадку, якщо вся електроенергія буде вимкнена в дата-центрах, буде від’єднана телекомунікаційна система, у вас все одно залишиться Ілон Маск. Люди в Україні, а також за її межами, зможуть користуватися послугами банку.

Звісно, банкомати не працюватимуть через відсутність електрики. Але здійснення платежів, транзакцій, нарахування зарплати та інших виплат, навіть міжнародних, — усе це буде запущено.

Наша мета полягала в тому, щоб банк працював у повному обсязі, попри загрозу знищення інфраструктури в нашій країні.

«Надаємо послуги скрізь, де є хоча б мінімальний рівень безпеки». Про роботу банкоматів і відділень

Наша інфраструктура в дата-центрі за кордоном — лише частина успіху. Ще треба забезпечити роботу банкоматів, доступ до зняття готівки з карток, нарахування коштів. Ні операції в хмарі, ні фізичні послуги у відділеннях в Україні не були б можливими без людей.

Банкомати треба поповнювати готівкою щодня або через день — залежно від того, скільки грошей залишилося. У нас є інкасаторські машини, хлопці в броні, вони везуть готівку у відділення, до банкоматів, поповнюють їх, моніторять ситуацію.

До повномасштабної війни у нас було 1400 відділень і 7080 банкоматів. 24 лютого ми відкрили 600 відділень, бо не знали, що буде далі. Потім зменшили кількість відкритих банкоматів — знову-таки не знали, що станеться.

Нині працює майже 1200 відділень. На жаль, ми втратили деякі банкомати. Їх знищили росіяни, хотіли забрати з них гроші. Та 80% наших банкоматів функціонує.

В умовах бомбардувань, переміщення військ ми маємо динамічно планувати, які відділення та які банкомати працюватимуть, а які будуть зачинені. Ці рішення ухвалюємо щодня. У нас є команда кризового менеджменту. Вона вирішує, на яких територіях ми діємо у звичному режимі, а де мусимо казати людям, що сьогодні зачинені.

Першочергове наше завдання — безпека людей. Ми не хочемо, щоб наших співробітників та інших українців випадково чи навмисно вбили. Та надаємо послуги скрізь, де є хоча б мінімальний рівень безпеки, стабільності. Поводимося так, як солдати. Вони воюють, захищають країну. А співробітники наших банків дбають, щоб Україна могла жити, працювати у нормальному режимі.

«500 людей, що займалися міграцією інфраструктури в хмару, працювали вдень і вночі». Про роботу команди в перші дні війни

У нас близько 2500 спеціалістів в ІТ-відділі — жінок і чоловіків. Ціла армія. Понад 1000 людей обслуговують банкомати й POS-термінали по всій країні. Вони лагодять їх, усувають проблеми, доставляють папір, перевіряють, чи все працює. Решта — 1500 фахівців — відповідають за розробку, тестування, підтримку, проєктування, розбудову.

Для роботи над міграцією в хмару ми відібрали 500 людей — тих, хто має відповідну компетенцію та навички. Ще частина спеціалістів займалася тим, щоб фізична інфраструктура у всій країні працювала по максимуму.

Інші люди продовжували роботу над проєктами — розробляли, тестували, підтримували їх. Загалом 50 або 60% команди опікувалися невідкладними речами, решта зосередилася на тому, щоб усе було під контролем.

Ми розуміли, що деякі люди змушені переїхати з одного місця України в інше, частина виїжджала за кордон. Але ми не очікували, що спеціалісти продовжать працювати у звичайному режимі. Ба більше, 500 людей, що займалися міграцією інфраструктури в хмару, працювали вдень і вночі. Вони обирали системи, тестували їх, налагоджували інфраструктуру, здійснювали фізичну міграцію даних, тестували та запускали послуги.

Ми не заохочували людей працювати в такому режимі, це було їхнє внутрішнє переконання. Вони хотіли зробити усе можливе, щоб банк працював, щоб гроші українців були в безпеці. Коли я думаю про це, мене переповнює безліч емоцій. Під бомбардуванням, під постійною загрозою команда ризикнула провести міграцію. Я пишаюся цими людьми.

Не кожна установа була б готова таке пережити. «ПриватБанк» — одна з технологічно найкращих організацій, які я зустрічав і в яких був залучений. Він працює 24/7. У жодній західній організації, до якої я долучався, ми не могли надавати послуги цілодобово.

Загалом усі співробітники доклали величезних зусиль, щоб банк продовжував роботу. І продавці послуг, люди зі служби обслуговування, ІТ-інженери, співробітники бек-офісу, співробітники з контакт-центрів. Стежили за тим, щоб відповісти на кожен дзвінок, обслужити кожного клієнта.

«Наша робота — це теж боротьба з ворогом». Про бронювання спеціалістів

У перші дні війни багато наших хлопців з ІТ та інших відділів думали про те, що мають іти в армію, фізично воювати проти росії. Ми пояснювали людям, що наша робота — це теж боротьба з ворогом. Ми не можемо втрачати компетентних і досвідчених фахівців. Їхня робота важлива не лише для «ПриватБанку», а й для усієї країни.

З нашої IT-команди в армії тепер менше як 100 людей. Ми підтримуємо їх.

Ми просили уряд про те, щоб забронювати від служби в армії конкретних працівників. Склали довгий список спеціалістів, яких ми б не хотіли віддавати в армію, якби постала така потреба. Це справді важливо для роботи банку. Маю визнати, що підтримка, яку ми отримали від Офісу президента, уряду та парламенту, була дуже великою. І армія, і уряд розуміють, що наша робота важлива для захисту України. Тож маємо змогу працювати.

В ІТ-команді банку є співробітниці, які поїхали за кордон і продовжують роботу там. Наші люди є в Польщі, Чехії, Німеччині, Хорватії та Туреччині. Два роки тому, коли почалася пандемія коронавірусу, ми перелаштувалися на віддалену модель. Офлайн працювали лише за необхідності, обслуговували клієнтів у відділеннях, приймали готівку. Весь ІТ-напрям, бек-офіс, контакт-центри, оператори були на ремоуті. Під час пандемії 85% наших співробітників працювали віддалено, і ми зберегли якість послуг.

Звичайно, коли пандемія поступово відступала, все більше людей хотіли приходити в офіс. Комусь потрібне спілкування з колегами, у когось в офісі зручніше робоче місце, без сім’ї чи дітей, які бігають поряд.

Думаю, у цьому плані пандемія нам допомогла. Коли почалася війна, люди не приходили в офіс через фізичну загрозу, але продовжували виконувати завдання.

Банк працює в штатному режимі. Звичайно, усе під контролем — VPN, весь контроль доступу, розподіл привілеїв та моніторинг місцеперебування співробітників. У нас динамічний процес відсікання працівників, що зараз на тимчасово окупованих територіях або якимось чином опинилися в білорусі чи на території росії. Ми маємо переконатися, чи немає потенційної правової загрози з боку країни, в якій людина перебуває. Це важко, але мусимо це забезпечувати.

«Якщо я буду імпортувати розробників в Україну, це означатиме, що світ перевернувся. Найкращі розробники тут». Про український ІТ-ринок

Я люблю Україну, люблю українців, мені подобається місцевий ринок і динаміка. На старті роботи найбільшою несподіванкою було те, наскільки тут гнучкий ринок для співробітників. Ви можете прийти до свого роботодавця, сказати: «Я звільняюся», і за два тижні піти з компанії. Я як менеджер нічого не зможу з цим зробити.

У Західній Європі зазвичай спеціаліст має попередити про звільнення за три місяці. У цьому випадку в менеджера є 90 днів, і вплив звільнення фахівця буде менш значним.

В Україні динамічно й цікаво. На Заході інший менталітет у людей, інший тип мислення. Хочете поговорити про проєкт о 17:00 у п’ятницю? Ні, обговоримо це в понеділок. В України є великий потенціал, бо тут вмотивовані люди з чудовими навичками.

Серед 2500 людей в нашій ІТ-команді п’ятеро — іноземці. Якщо я буду імпортувати розробників в Україну, це означатиме, що світ перевернувся.Найкращі розробники тут. Це факт. Українські спеціалісти висококваліфіковані, технологічно обізнані.

Мені подобається працювати з українцями, бо вони креативні, відкриті, зосереджені на результатах. Та іноді бракує бачення ширшої картини. Ви можете бути суперекспертом в одному нішевому продукті чи послузі, але ще треба знати, як управляти цими продуктами, якщо їх у вас сотні.

Україна дуже розвинена технологічно, ми повинні пишатися цим. Усі платежі, які ви робите тут, проводяться за секунди. В західних країнах це працює не так. Я був шокований, коли робив платіж SWIFT додому. Натиснув «так», пройшов усі внутрішні перевірки, і через дві години отримав гроші на рахунку в Польщі. В Європі такий переказ проходив би до п’яти днів.

Ці українські системи створиили наші спеціалісти — розробники, інженери, архітектори. Тож залучати в Україну розробників з інших ринків — це неправильний напрям. Думаю, він провалився б.

«У нас проходить від 20 до 60 тисяч транзакцій клієнтів на хвилину». Про технології

Банк — не ІТ-компанія. Він має надавати стабільні послуги, з усіма функціями, які потрібні клієнтам і співробітникам. Як правило, якщо в банківській сфері усе працює, ви нічого не змінюєте. Та за чотири роки з’являється чергове оновлення технології, і ви вже на чотири роки відстаєте від графіка. Треба мігрувати до нових технологічних комплексів, тому що розрив між минулим і майбутнім уже величезний.

Низка європейських банківських установ досі використовує COBOL на мейнфреймах. Вони не перенесли свої мільйонні інвестиції із 70-х і 80-х років на нові платформи й тепер намагаються усе наздогнати.

У «Приваті» ми прагнемо працювати з найсучаснішими технологіями, використовувати нові рішення, системи та мови. Але якась спадщина з минулого у нас також є. Треба завжди знаходити час, щоб опрацювати це. А люди, як відомо, не люблять змін.

Хочеться робити щось класне, креативне, а не переписувати все та займатися міграцією.

Якщо подивитися на те, як зростав «Приват», як реагував на потреби клієнтів, на обсяги завдань при постійній зміні ринку, — це просто неймовірно. Тепер у нас проходить від 20 до 60 тисяч транзакцій клієнтів на хвилину, залежно від часу доби. Якщо помножити це на години, а потім на робочі дні, складність очевидна.

Якщо транзакція затримується на одну або дві секунди, ви вмить бачите повідомлення типу «Приват не працює». За всім цим стоїть величезна інфраструктура, її треба підтримувати сучасними системами та програмним забезпеченням.

Так, не всі наші люди працюють з найновішими системами. Є певні обмеження з погляду бізнесу. Зараз ми перебудовуємо декілька систем, які створили ще десять років тому, бо змінилася архітектура.

Але наша міграція в хмару була настільки швидкою, бо архітектори і вся наша команда вирішила одразу працювати на x86. Жодних мейнфреймів на середньому діапазоні. Що більша, потужніша машина, то краще.

У такій величезній організації, як наша, де ми самі усе розробляємо, не завжди в пріоритеті перегляд архітектури, компонентів, систем і їхня подальша оптимізація. Важливіше додати нові послуги, продукти, канали доступу, провести інтеграцію з чимось стороннім. Ми намагаємося завжди бути першими, при цьому успадкована система залишається з нами.

Банк працює на ринку 30 років. Коли ми обирали, які саме платіжні системи, системи ко-банкінгу, обслуговування, клієнтські сервіси переносити у хмару, оцінювали, що справді потрібно, а що ні. У нас залишається понад 170 систем, які ми не перенесли у хмару, бо не впевнені, що вони потрібні.

Крім того, системи, які ми розвивали в останні роки, не завжди були оптимізовані. Якщо перед вами постає проблема продуктивності, ви додаєте обчислювальний вузол — і вирішуєте її. Далі — ще один. Згодом настає час, коли треба подумати про оптимізацію коду. Але ви не робите цього під час війни. Треба усе продумати, визначити непотрібні ділянки або системи й ті, які необхідно оптимізувати.

Нещодавно ми завершили міграцію, а тепер почали проєкт зі зміни стеку архітектури та комплексів. Можливо, відмовимось від певних сервісів. Перед нами ще одне велике завдання. Перехід нашої фізичної інфраструктури в хмару прискорив цей процес.

«Хакерські атаки 15 і 16 лютого мали мінімальний вплив на нас». Про невдачі та проблеми

Коли ми працювали з хмарним проєктом, міграція не завжди була успішною. Були два чи три дні, коли виникали проблеми. Один з них — у суботу перед Великоднем.

Це було доволі драматично. Ми тоді все перевірили, провели багато внутрішніх тестів як локально, так і в хмарі. Та згодом побачили, що трафік, який тестували, повністю відрізнявся від трафіку, який мав бути. Це був вихідний перед Великоднем, коли всі ходили в магазин, і транзакцій через Visa, Mastercard або через платіжні системи було набагато більше, ніж нам показала шкала.

Ми вирішили не здаватися. Пробули пів дня у хмарі, перейшли з однієї технології, на якій працювали, на іншу. Та проблема залишилася. Потім ввечері, з 18:00 до 20:00, перейшли на ще одну технологію. Але тут теж отримали проблему. Вийшло так, що в ту суботу ми провели дві безуспішні міграції, і українці отримали низький рівень послуг, не могли розрахуватися. Це був наш прорахунок, але врешті ми досягли успіху. У нас не було часу на перевірку, ми мали працювати.

Крім того, ми по-різному поводимося, думаємо, реагуємо, коли розслаблені й коли відчуваємо тиск. Тим паче — тиск фізичної загрози.

Якщо подивитись на історію «Привату» та всього українського ринку, зрозуміло, що раніше ми були дуже гнучкими в питанні кібербезпеки. Скажімо відверто, було важливіше створити новий функціонал і сервіс, ніж переконатися у цілісності даних.

П’ять років тому пріоритети змінилися. Ми додали компонент кібербезпеки. Зосередилися на тому, щоб захиститися від зовнішніх впливів: налаштували брандмауери, VPN, зашифровані комунікації, усі API, ролі користувачів, відстеження та моніторинг, рівні доступу.

У нас були комерційні анти-DDoS пакети від певних компаній. На щастя, ми вже багато років були захищені хмарним доступом до систем. Ця хмара мала вбудований функціонал, який гарантував кращий захист, ніж ми могли забезпечити самостійно.

15 лютого на нас вплинула масштабна хакерська атака, яка зламала нашу ІР-адресацію. Поки ми це виправляли, деякі банкомати не працювали півтори години. Потім у нас була ще одна атака на хмару, але ми знали, що відносно легко зможемо відповісти.

В останні два-три роки ми доклали значних зусиль і багато інвестували в питання кібербезпеки. Тож атаки 15 і 16 лютого мали мінімальний вплив на нас.

«Якщо знищити щось, не протестувати, отримаєте 100 000 скарг». Про особливості роботи в банку

Іноді банк вважають нудним місцем роботи. Та в «Приваті» цікаво працювати. Якщо у вас є гарні ідеї, ви хочете запропонувати банку щось нове, можете зробити це досить швидко. Банк постійно змінюється, адаптовується до реальності.

Наші розробники працюють по-різному, тут немає одного шаблону. Є люди, які займаються певними задачами та системами й взаємодіють з бізнесом. Вони працюють в Agile-групах, це навіть більше схоже на Scrum-команди.

Люди в бек-офісі менше взаємодіють з бізнесом. Вони отримують специфікацію і виконують завдання. Є простір для всіх — і для людей, які хочуть обговорювати, створювати нове, і для тих, хто хоче мовчки кодити.

У «Привату» дуже багато систем. Якщо знищити щось, не протестувати, отримаєте 100 000 скарг. Банківська справа чудова для того, щоб отримати досвід і розуміння усіх процесів в ІТ.

Переконатися, що банк працює без інцидентів, — у моєму ДНК. Якщо щось станеться в будь-який день і в будь-який час, і мені скажуть про це, інші пріоритети не матимуть значення. Я повинен зосередитися на тому, щоб банк працював.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU