Як влаштований український інтернет або чи купувати старлінк

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

Днями кілька десятків знайомих спитали мене, чи купувати Starlink. Щоб не відповідати кожному окремо, пишу цей пост.

Чи купувати старлінк? За вас я не вирішу. Якщо вартість Starlink для вас несуттєва — купуйте, житимете спокійніше. Якщо суттєва — ні. Або дочитайте до кінця і вирішіть самі. Особисто в мене Starlink немає.

Так сталось що рочків 20 тому я мав відношення до інтернету не як споживач і трошки знаю як воно працює. І чому «знищили центральний вузол українського інтернету» — це смішно.

Що таке Інтернет

Інтернет — це мережа мереж. Удома у вас своя мережа: роутер, телефони, ноутбук, телевізор. Провайдер об’єднує тисячі таких домашніх мереж у свою. Більші оператори об’єднують мережі провайдерів. Ті, своєю чергою, з’єднуються з операторами інших країн. І так каскадом.

Але це не дерево з одним стовбуром, яке падає, якщо його підрубати. З’єднань багато, і вони йдуть не лише вгору-вниз, а й навскоси: між сусідніми провайдерами, між різними рівнями, через різні міста й країни. Якщо одне з’єднання зникає, обладнання автоматично шукає інший шлях. Це якщо без технічних деталей.

Можна знищити десятки з’єднань — мережа однаково працюватиме. Повільніше, з перевантаженнями, але буде працювати.

Нижче — як влаштований український інтернет, де в нього слабкі місця і що з цим робити бізнесу й вам особисто. Одразу скажу: тут немає ні комерційної, ні військової таємниці. Цю архітектуру описано тисячі разів у статтях, на форумах, у доповідях на галузевих конференціях. Тисячі людей в Україні й за кордоном знають, як це працює.

На початку 90-х інтернету в Україні майже не було.

Мережу будували переважно приватні компанії — спочатку кілька, потім десятки, потім тисячі. Держава роками майже не втручалася. І добре що не «допомагала». Це була доля технарів задротів, привладні були зайняті іншим. Оператори навчилися домовлятися між собою самі. У 2000 році вони створили точку обміну трафіком UA-IX, де всі обмінюються трафіком з усіма.

До повномасштабного вторгнення в Україні працювало близько 4 тисяч провайдерів, зараз — приблизно 2 тисячі (так пише Федієнко). Це досі дуже багато. І саме ця кількість незалежних гравців робить наш інтернет таким живучим.

Як влаштований «Український Інтернет»

Міжнародні канали і «провайдери провайдерів»

Це оператори, які продають великі канали іншим провайдерам, дата-центрам, точкам обміну трафіком, великим оптовим клієнтам. Через них український інтернет з’єднується з рештою світу. Фізично це оптичні лінії через західний кордон до великих європейських вузлів — Варшави, Франкфурта, Будапешта. Таких переходів багато, у різних операторів, різними трасами. У 2022 році оператори оперативно організовували резервні канали з Європи до українських міст і навіть обмінювалися ємністю з конкурентами.

У 2022 році лише в Київській області підірвали багато мостів, і майже в кожному лежав кабель. Тоді було значно гірше, ніж зараз. Цей рівень зарезервований добре. Вивести з ладу одночасно всі міжнародні з’єднання дуже складно.

Точки обміну трафіком і пірингові центри

Якщо ви в Києві відкриваєте сайт, що стоїть у Львові, трафіку немає сенсу їхати через Франкфурт. Для цього існують точки обміну трафіком — місця, де мережі різних операторів з’єднуються напряму й обмінюються трафіком усередині країни.

Це, мабуть, найвразливіша ланка. Точки обміну та вузли комутації фізично зосереджені в кількох великих дата-центрах, здебільшого в Києві. За оцінкою представника точки обміну трафіком Anatolii Frolenkov, через чотири київські дата-центри, уражені цього вересня, раніше йшло до половини внутрішнього українського трафіку.

Що стається, коли такий вузол падає? Трафік іде іншими шляхами: через інші точки обміну, через уцілілі вузли, частково через Європу. Ці шляхи довші й вужчі, тому виникають перевантаження й затримки. Інтернет стає повільнішим, у когось на кілька годин зникає, але загалом працює.

Крім великих пірінгових центрів оператори зробили домовленості і канали між собою приватно, хто з ким захотів. І поробили маленькі пірингові центри. Це працює вже давно, тому що так дешевше і надійніше і швидше. Оператори вже додатково розносять обладнання по різних майданчиках і будують прямі з’єднання між собою в обхід великих вузлів.

Дата-центри

У дата-центрів дві ролі.

Перша — вузол комутації. Тут стоять ядра мереж провайдерів і точки обміну трафіком. Удар по такому вузлу б’є по зв’язності. Цього вересня один із київських провайдерів втратив основний вузол, і частина абонентів у центрі міста залишилася без інтернету. Тепер провайдер переносить ядро мережі в іншу локацію.

Друга — майданчик для серверів: сайти, хостинг, бази даних, сервіси. Коли такий дата-центр знищено, мережа працює, а конкретні сервіси — ні. Обладнання можна купити, а от дані без резервної копії відновити неможливо. Приклад: MiroHost. Його український дата-центр знищено. Але приблизно 95% клієнтів продовжили працювати, бо були зарезервовані в Польщі та Чехії. Постраждали близько 150 клієнтів із тисяч — ті, хто свою інфраструктуру не дублював. Так написав Alexandr Olshanskiy.

Для користувача недоступність великого сервісу виглядає як «інтернет не працює». Але це проблема конкретного сервісу, а не мережі.

Остання миля

Це провайдери, які заводять інтернет у квартири, будинки й офіси, плюс мобільні оператори. Обриви кабелю, негода, трактори, розкопки — для провайдерів це щоденна робота. Якби великі мережі не були зарезервовані, інтернет у нас зникав би щодня. Тому у більшості великих провайдерів магістральна частина побудована кільцями, будинкові вузли часто теж об’єднані в кільця, обладнання продубльоване.

Зробили це давно, і не лише тому, що змусила конкуренція. Провайдерам самим вигідніше ремонтувати планово, ніж щоночі гасити пожежі. А український споживач звик до якісного фіксованого інтернету, і тисячі конкурентів тримають цю планку.

Слабке місце останньої милі — кабель від вузла до вашої квартири часто один, а будинкове обладнання потребує живлення.

Спільна залежність: електроживлення

Усі рівні — маршрутизатори, комутатори, сервери, базові станції — працюють від електрики. Батареї й генератори дають години-дні. Найгірший сценарій — удари по зв’язку одночасно з ударами по енергетиці.

Провайдери за ці роки зробили величезну роботу. Наприклад, Київстар заявляв, що 99% його фіксованої мережі FTTB зарезервовано до 12 годин автономної роботи. А в мережах GPON між вузлом провайдера і вашою квартирою взагалі немає активного обладнання, тому вони працюють навіть тоді, коли в будинку немає світла.

Де в цій схемі Starlink

Starlink — окремий канал, який обходить усі чотири рівні одразу: від тарілки на вашому даху через супутник до наземної станції. Тому він не залежить від київських дата-центрів і місцевого провайдера. Але він недешевий, швидкість нижча, ніж у хорошої оптики, і він теж потребує живлення. І якщо потрібний вам сервіс лежить у знищеному дата-центрі, Starlink його не підніме.

Цього вересня Росія системно б’є по київських дата-центрах і вузлах зв’язку. Постраждали хостинги й кілька провайдерів, у частини абонентів зникав інтернет, на кілька годин зупинявся один із системних банків. Але зв’язність відновлювали за години. За словами Alex Fediienko, після однієї з атак уже до 19:00 усі оператори працювали. Довше відновлюються конкретні сервіси без резерву.

Висновок: локальні перебої на кілька годин — реальні. Загальнонаціональний колапс — ні.

Найбільші ризики:

• зосередженість вузлів у кількох великих дата-центрах;
• живлення;
• сервіси без резервування;
• одна точка відмови у вашому власному підключенні. І це єдине, на що ви можете вплинути самі.

Що робити бізнесу

Офіс. Два провайдери, бажано з різними фізичними трасами: два провайдери в одному кабельному каналі мало що дають. Плюс мобільний резерв або Starlink, якщо година простою коштує дорожче за термінал. Роутер, комутатори й точки доступу — на ДБЖ.

Сайти й сервіси. Копія або резервний майданчик за кордоном. Перемикання на резерв має бути протестоване. DNS — не в одного постачальника.

IT-інфраструктура. Резервні копії. Регулярні. І перевірятись чи вони справді працюють. Сьогодні це робити просто.

Що робити родині

• Дві SIM-картки різних операторів. Більшість телефонів це підтримує. Думаю у всіх в сім’ї вже два оператора.
• Другий канал удома. Не впевнений що потрібен кожному. Хочете — нехай буде.
• ДБЖ чи зарядна станція для роутера й оптичного термінала. Якщо є вибір технології — GPON.
• Офлайн: карти, важливі контакти, паперові копії основних документів, трохи готівки. Це в цілому у вас вже давно в тривожному чемоданчику, так?

А як у мене

Поділю на дві частини: що вже зроблено і що роблю зараз.

Що вже зроблено давно

Офіс і склад

Живлення. Інвертор з батареями, вистачає на робочий день. Плюс генератор, який працюватиме, доки є паливо. Без генератора офіс живе на інверторі. Детальніше про це вже писав.

Канал. Так сталось, що і в офісі і на складі, є лише один провайдер. Другої наземної лінії просто немає. Тому резервний канал — мобільний оператор.

IT-інфраструктура. Майже все в хмарі. Для того, що фізично стоїть в українських дата-центрах, є резервні копії — вдома, в офісі або за кордоном.

Дома

Резервне живлення плюс сонячні панелі. Кілька днів автономності буде.

Інтернет по оптиці. В офісі теж оптика доречі.

SIM-карти двох українських операторів. Цього вистачає як резервного каналу. Не факт що мобільний інтернет буде коли ляже наземний більш глобально.

І ще момент. В офісі і вдома різні провайдери теж резервування свого роду.

Що роблю зараз

По дому — напевно, нічого. Мені особисто цього більш ніж достатньо. Я не помру, якщо якийсь час вдома не буде інтернету.

В офісі готую локальну копію всіх наших систем. Щоб можна було жити автономно. Розумію, що повністю це неможливо. Замовлення в інтернет-магазин приходять ззовні, оплати від банків приходять ззовні, клієнти з нами спілкуються ззовні. Але хоча б внутрішні процеси, умовно друк наклейок і так далі, мають працювати.

Те, що в українських дата-центрах. Мені зручно, щоб воно було тут, але це ризик. Тому для кожної системи або репліка з оперативним переключенням на неї, або копія, яку можна відносно швидко відновити. Що вже зроблено — протестовано. Решта в найближчих планах.

І так, в мене є радіостанції, які дружина ненавидить. Але діти вміють ними користуватись. Локальний зв’язок з сім’єю як резерв — на них. Зображення — радіостанція, в яку залетів уламок і дивом зупинився в банці акумулятору, цим самим врятувавши життя хлопцю.

Дописи публікував на своїй сторінці в ФБ тут та тут.