Без електрики та інтернету: як довести іноземним партнерам надійність співпраці з українськими компаніями

Наша команда багато років працює з американськими замовниками. Через війну у них зʼявилось багато страхів щодо того, що команда в зоні ризику, не виїздить з України, це може негативно вплинути на бізнес-процеси... і т.д. і т.п. Тож умовою подальшої співпраці стали детальні плани та тестування, в яких ми мали показати, що задеплоїмо їхній сайт, навіть у надзвичайних умовах.

Виклик було прийнято, тож ми протягом кількох місяців розробляли План безперервності бізнесу (Business Continuity Plan) та План дії в надзвичайних ситуаціях (Disaster Recovery Plan), мета яких показати нашим закордонним партнерам, що ми готові і будемо працювати навіть якщо у нас не буде води, тепла, інтернету та звʼязку.

Кожен план містив понад 60 розгорнутих питань, на які ми мали дати чіткі відповіді. Також документи мали містити покроковий план дії кожного члена команди. Загалом там були питання безпеки, доступів, можливостей, бекапів. Звісно, були й такі, на які нам було дуже складно відповісти однозначно. Це переважно питання про ризики залишитись без дому, без офісу, без світла, без інтернету, без нормального звʼязку. Відверто кажучи, наша команда пережила справжнє вигорання, працюючи над цією документацією, адже покроково описувати дії кожного члена команди під час ракетної атаки чи «апокаліпсису» морально непросто. Крім того, клієнтів заводило у глухий кут насамперед нерозуміння української гнучкості. Вони ж очікували, що ми всі разом сидимо в одному офісі «на Борщагівці», і якщо прилетіло БПЛА і пошкодило електропостачання, то все: рух дорогами перекрито, ми заблоковані, робота не робиться, у всіх паніка, їх бізнес переживає ризик. Але в нас зовсім інша ситуація, бо наша невелика команда працює в різних містах України, в різних областях, половина працівників взагалі працює з дому. Тож побороти нас усіх не так вже й просто — завжди є хтось на бекапі, ми тримаємось одне за одного — і в цьому наша сила. Крім того, реальна практика відключень у нас ще була торік. Але в когось інтернет був, а в когось ні — так і чергувались. Та іноземним партнерам цього було недостатньо, тож нещодавно ми провели для тест безперервності бізнесу (BCP test), коли повністю всій команді вимкнули електрику та інтернет. І це було досить прикольним досвідом навіть для нас самих.

Що таке BCP (Business Continuity Plan)?

Основною метою Плану неперервності бізнесу (BCP) є забезпечення безперервного надання послуг клієнтам, надаючи пріоритет безпеці працівників. Цей план визначає стратегії та процедури для пом’якшення ризиків, збереження критичних функцій та швидкого відновлення у випадку можливих збоїв.

Відповідно до цього, тестуючи План безперервності бізнесу, ми мали показати, що у нас є покрокова схема на випадок усіх можливих збоїв:

• Нема електопостачання — маємо акумулятори;
• Немає інтернету — маємо старлінки;
• Зламався компʼютер — маємо в запасі ноутбук;
• Нема електропостачання в офісі — їдемо в коворкінг;
• Нема коворкінгу — працюємо з дому, від сусіда, друга, свата, брата.

Та найважливіше: ми маємо мати альтернативний план, а краще два.

Як ми тестували наш BCP?

За тиждень ми чітко окреслили дату тестування, вибрали звичайний робочий день, коли всі на місці. Повідомили про тестування клієнтів та партнерів (ще треба було повідомити сімʼї, але про це згодом) і повністю відключили електрику та інтернет.

Як окреслювалось раніше, наша команда розкидана по Україні (Київ, Мукачево, Франківськ, Миргород). У Миргороді, зокрема, працюють розробники та QA з тім-лідом. Тож там було тестування BCP в офісі. Всі інші працювали з дому, тож кожен мав свій покроковий план та виклики.

Протягом восьми робочих годин наша команда продемонструвала виняткову адаптивність. Фізичне відключення живлення та Інтернету на основних робочих місцях ініціювало активацію резервного живлення та протоколів BCP. Менеджери з комунікацій оперативно сповістили партнерів через наш основний канал Slack та електронку, що перейшли на резервні потоки живлення і наше тестування BCP розпочато.

Наш CEO, Андрій Поданенко, працюючи з домашнього офісу у Франківську, підʼєднав сонячні панелі та батареї, демонструючи ефективність альтернативних джерел енергії.

На щастя, того дня обійшлось без снігу (бо ми вже маємо досвід чистки сонячних панелей у сніжну погоду).

Та найперше, з чим зіштовхнувся Андрій, був старлінк. Справа в тому, що Андрій переїжджав і зареєстрував старлінк за певною геолокацією. І він не ловив сигнал в нових умовах.

Зрештою, цю проблему було вирішено за запитом у службу підтримки «Старлінк» на зміну локації терміналу. Це зайняло до 2-х годин, тож у цей час резерв інтернету йшов через 4G бекап модем.

Андрій також встановив у себе вдома моніторинг електричної системи в реальному часі, який показує, загальний статус роботи всієї системи, а також на скільки ще вистачить акумуляторів. Це частина функціонала моніторингу, який є частиною його автономної системи. Загалом, такі дані можуть бути важливими не лише для моніторингу домашнього офісу, а й для моніторингу електропостачання для великих компаній. Даний моніторинг виступає частиною BCP та DRP планів, для розуміння замовниками, наскільки захищеними є офіси партнера. Це звісно потрібно не всім, а тільки тим, з ким є максимальна прозорість і потреба. Кому цікаво — дивіться моніторинг у вільному доступі.

Крім того, працюючи з дому, Андрій зрозумів, що тестує не лише себе та власний бізнес, а й цілу родину. Бо під час механічного відключення електроенергії та Інтернету, без благ цивілізації могла опинитись його сімʼя. Тож про таке тестування варто попереджувати завчасно — це був висновок номер два.

У той самий час в домашньому офісі в Києві працював наш проєктний менеджер Дмитро. Для нього відключення не стало чимось надзвичайним, адже торік він майже всю зиму працював на мобільному інтернеті під час планових (і позапланових) відключень електроенергії. Тож цього дня все було злагоджено: повна зарадка Макбука, мобільний інтернет та автомобільний акумулятор з інвертором живлення 220В як резерв. Власне, цього було достатньо, аби одночасно керувати трьома масштабними проєктами.

Так само працювала я — Жанна (проєктна менеджерка та піарниця в ITCare, а за сумісництвом авторка цієї статті) зі свого домашнього офісу. Мобільний інтернет та повний заряд на Макбуці — цього було достатньо, аби триматись на звʼязку з клієнтами та командою весь день. Хоча, звісно, кожен з нас також мав про запас батареї та акумулятори, а також можливість релокуватись для роботи в інше місце в разі чого.

Зокрема, того дня я також вирішила дослідити можливість роботи в коворкінгу. Та через стійку ситуацію (адже зараз відключень немає), там мене зустрів пустий офіс. Хоча торік місця не було навіть у кавʼярнях з генераторами — за всіма столиками сиділи люди з ноутбуками. І аби провести дзвінок, треба було приходити завчасно, або наперед бронювати собі місцину в тихому куточку.

Наша команда розробників і QA, розташована в іншому офісі, під час тестування плавно перейшла на супутникове підключення, сонячні панелі та резервні батареї протягом робочого дня.

Команда моніторила Sоlar Assistant Dashboard, що дає змогу прогнозувати та бачити заряд батареї сонячних панелей.

Як зазначали самі працівники: цього дня вони навіть варили собі каву — електропостачання вистачало.

Зокрема, наш розробник Влад укінці робочого дня підсумував свою роботу таким повідомленням у загальному чаті:

«День без електрики:

• Перебудовував сайти з великими базами 6 разів.
• Жонглював роботою над 3 проєктами одночасно.
• Насолоджувався годиною перегляду YouTube під час обідньої перерви на своєму ноутбуці.
• 2 години музики на телефоні.
• Залишався на зв’язку в соціальних мережах (бо я всього лише людина!)

Результат:

• Батарея MacBook Air M1 все ще заряджена на 35%
• Батарея телефону міцно тримає 25%
• Напоготові повністю заряджений павербанк (20000mAh).

Розкрити секрет?

Все просто: Використання контейнерів для розробників VsCode (налаштованих на віддаленому сервері, як-от дроплет DigitalOcean) і Github Codespaces для невеликих проєктів — це знахідка.»

У підсумку, ніхто не випав з роботи і наші партнери навіть не помітили, що в когось з команди не було електрики, інтернету чи звʼязку. Та, звісно, ми задокументували наші уроки та факапи, і ось дещо з цього:

1. Старлінк треба тримати розпакованим і реєструвати за місцем призначення, при переїзді обовʼязково переглянути реєстрацію та справність.
2. Ноутбуки варто тримати зарядженими, адже ніколи не знаєш, коли настане той день, коли доведеться працювати без електропостачання.
3. Якщо працюєш з дому, то під час таких тестів варто врахувати й те, що окрім роботи, вдома є сімʼя. Тож ресурси варто завчасно розподілити й обговорити.
4. Перед тим, як їхати в коворкінг, краще туди зателефонувати (при можливості), і зарезервувати місце завчасно.
5. Бувають збої в мобільному інтернеті, тож надіятись лише на нього, як на бекап, не варто. Треба мати більше варіантів (старлінк, оптоволокно тощо).
6. І найважливіше: до зими сани готують влітку, тому тим, хто має надію працювати від сонця, треба подбати про добротну щітку для їх очищення від снігу.

PS: Реальність України є майже цілковито невідомим полем для закордонних партнерів. Більшість людей не володіють базовою інформацією наявності звичайних powerbank чи здатності роздати інтернет через мобільний телефон. Як загалом демонстрація сонячних панелей, чи 2 метрової 19 дюймової серверної стійки з lifepo4 акумуляторами не скаже нікому нічого про реальну здатність бізнесу продовжувати свою роботу в умовах Disaster. Тому висновком для партнерів служили саме результати тесту, час автономної роботи, уроки, які команда здобула, і наступні кроки, які потрібно нам було зробити, щоб витримувати ті чи інші збої в роботі. Для партнерів стало новиною можливість резервування, зовнішній вигляд і швидкість роботи StarLink, Українського 4G, або наявність 3-х резервних оптичних каналів інтернету для офісу. По реакції партнерів ми зрозуміли, що значна частина інформації і візуального супроводу результатів тестів була для них цілковитою terra-incognita, бо ми буквально живемо в іншій реальності. Але позитивним моментом завершення цих тестів виявилася майже цілковита втрата інтересу і необхідності далі якимось чином нас тестувати. Бо ці тести ми пройшли.

Уроки врахували, щітки прикупили, старлінки розпакували — і працюємо далі. На перемогу!