DevOps Digest #37: year in review, AIOps та закриття Weaveworks

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

Привіт, спільното! У цьому випуску з вами Олексій Асютін, Андрій Білоус, Влад Волошин.

На правах соціальної реклами.
1. Українське IT Community в Нідерландах (Ukrainian IT in NL) допомагає українцям з ревʼю резюме, відповідає на питання щодо працевлаштування та співбесід. Працюють винятково за донати на ЗСУ. (детальніше про ревʼю). Також записано багато відео про роботу та пошук роботи.
2. Допомогай нашим захисникам і захисницям на фронті швидко та легко. Донать на KOLO через систему Benevity. Детальний опис того, як це зробити, наприкінці дайджесту.

CNCF

⚙️ The Cloud Native Computing Foundation leaps aboard the AI bandwagon.

⚙️ Radius new open-source project for teams building cloud-native apps — розроблений командою інкубаторів Azure, Radius об’єднує наявні структури розподілених застосунків й інструменти інфраструктури як коду, а також автоматизовані підключення до хмарних служб.

Ідея полягає в тому, щоб забезпечити єдине місце для керування цими різними моделями, дозволяючи командам продовжувати використовувати свої поточні інструменти. Radius не відмовляється від поточних технологій як Terraform, Azure ARM, Pulumi; натомість він автоматично збирає інформацію, необхідну для керування ресурсами.

⚙️ Weaveworks — піонер GitOps Weaveworks закривається. Колишній улюбленець хмарних технологій Weaveworks оголосив, що закривається після того, як йому не вдалося залучити додаткові інвестиції. Компанія за час існування спалила 61,6 млн доларів інвестицій.

Security

Cloudflare випускає свій репорт щодо Cybersecurity Risks of APIs. Багато організацій мають труднощі з ідентифікацією та управлінням кібербезпекою API. Також зазначено, що ефективні рішення для пом’якшення DDoS-атак можуть допомогти захистити API (всі купуйте Cloudflare 😀).

Не так давно було знайдено одну з найбільших HTTP-вразливостей за останні роки — HTTP/2 Rapid Reset. Cloudflare одними з перших зіштовхнулись із цією атакою та в статті поділились тим, як вони виявили root cause та вирішили його.

Сybersecurity incident simulation — інциденти бувають різні, зокрема пов’язані з кібербезпекою, а отже потрібно бути підготовленим і до такого сценарію. Вам не обов’язково мати для цього виділену Red team. У якості penetration testers можуть виступати зовнішні аудитори, яких ви наймете для оцінки стану безпеки вашої системи.

Observability

⚙️ Monitoring with VictoriaMetrics — шлях від Graphite до VM від всім відомої Grammarly. Бажаємо їм успіху та нових досягнень!

⚙️ Service delivery index — Slack представив свій показник QoS (quality of service), SDI-R, який має на меті доповнити загальноприйняті SLO.

⚙️ Automatic release in Slack — той ж таки Slack описує, як вони створили бота (з крапелькою мат. статистики), який допомагає їм відловлювати аномалії в метриках під час релізів. Дуже крутий підхід, але вам не обов’язково писати бота для цього: те саме можна зробити і в більшості моніторинг систем, як-от в Prometheus.

System Design

⚙️ WhatsApp supported 50bln messages with 32 engineers — як WhatsApp вирішував непрості завдання системної архітектури на початковому етапі свого розвитку, коли працювало всього 32 інженери. У статті показано, як правильні процеси та підходи допомогли задати основу для підтримки мільярдів повідомлень у світі.

⚙️ Traffic flow in Slack — так званий life of a request у Slack. Мені дуже сподобалась стаття, бо окрім проксі, DNS, CDN, там також описуються їхні failover plan та degraded mode, ситуації, які повинні завжди враховуватися під час планування системи.

AWS

⚙️ AWS re:Invent 2023 recap — найцікавіші анонси від AWS. Найгучніший, звичайно, повʼязаний з ростом популярності AI — Amazon Q generative AI-powered assistant. Також нові моделі для Bedrock.

⚙️ Amazon EKS Pod Identity simplifying IAM permissions for applications on Amazon EKS clusters — більше ефективності та зручності для керування IAM ролями в EKS (Kubernetes від AWS). Тепер не потрібно прописувати trusted entities в IAM ролях, що за наявності багатьох EKS-кластерів стає проблемою та спричиняє незручності.

⚙️ Нові величезні по памʼяті інстанси U7 (терабайти памʼяті) та нові чипи Gravitron4 та Traninium2 як гарне продовження AWS за розвитком свого EC2.

⚙️ How to Deal With AWS’s Ban On Reserved Instances Resale — з 15 січня 2024 AWS припиняє надавати користувачам можливість продавати свої резервації. Автор надає альтернативні стратегії, як-от плани збереження AWS (AWS Savings Plans) та використання автоматизованих платформ для оптимізації витрат, для подолання цієї заборони.

Там є трохи реклами своєї платформи, але стаття цікава.

⚙️ Популярний нині Vector Search (завдяки стрімкому росту популярності ML) стає можливим в AWS DocumentDb.

⚙️ У застосунок до EKS Амазон додають Managed Service for Prometheus з його agentless metric collection. Цілком логічний крок, тому що багатьом користувачам Kubernetes EKS потрібен Prometheus і Grafana.

⚙️ В AWS RDS додають підтримку DB2, zero-ETL інтеграцію з Redshift (це коли ви можете автоматично налаштувати стримінг усіх змін з RDS в Redshift).

⚙️ Our Journey Migrating to AWS IMDSv2 — навіть найпростіша міграція стає не тривіальною на скейлі в 60,000 інстансів, розподілених безліччю регіонів та акаунтів. У статті Slack детально розповідає про свій шлях від IMDSv1 до IMDSv2.

Azure

⚙️ Microsoft Ignite Conference — очікувано, що приблизно 50% з ~600 сеансів на Microsoft Ignite 2023 були пов’язані зі штучним інтелектом.

Microsoft анонсувала декілька нових додаткових пропозицій Copilot для трансформації продуктивності та бізнес-процесів, а також нові сервіси як Microsoft Fabric, Azure AI Studio, ШІ-чипи, партнерство з NVIDIA, безпекові рішення на основі ШІ та багато іншого.

⚙️ Azure AI Studio — Generative AI Development Hub — реліз Azure AI Studio передбачає фундаментальну зміну способу використання моделей штучного інтелекту. Замість того, щоб просто здійснювати виклик API до однієї моделі, тепер можна будувати конвеєри, які поєднують аспекти однієї моделі або навіть об’єднують різні моделі для надання мультимодальної програми.

Такі інструменти, як LangChain, Semantic Kernel і Prompt Flow, тепер є важливими фреймворками для контролю результатів генеративного штучного інтелекту.

⚙️ Microsoft Fabric — це (SaaS) платформа, що об’єднує багато різних служб з роботи з даними в одному місці. Раніше у Microsoft був лише Power BI для аналітики даних, і сама служба Power BI була повнофункціональною з точки зору платформи, але тепер Microsoft використовує цю платформу та розширює її для нових задач, які можуть бути вирішені сервісами як Azure Data Factory, Azure Synapse Analytics.

⚙️ Azure AI Content Safety — новий сервіс Azure AI, який допомагає створювати безпечні онлайн-простори. Цей сервіс може виявляти контент, що пропагує ненависть, насильство, сексуальний характер у зображеннях і тексті, а також визначати ступінь ризику, дозволяючи компаніям обмежувати та визначати пріоритетність вмісту, який модератори мають переглянути.

Azure AI Content Safety може впоратися з нюансами та контекстом, зменшуючи кількість помилкових спрацьовувань і навантаження на команди модераторів контенту.

⚙️ Microsoft Azure Boost — це система, яка переносить процеси віртуалізації, які традиційно виконуються гіпервізором і хостовою ОС, наприклад, роботу мережі, сховище даних та керування хостом на спеціально створене обладнання та програмне забезпечення.

Відокремлюючи функції гіпервізора та хостової ОС від інфраструктури хоста, Azure Boost забезпечує більшу продуктивність мережі та сховища даних, покращує безпеку, додаючи ще один рівень логічної ізоляції, і зменшує вплив обслуговування для майбутніх оновлень програмного та апаратного забезпечення Azure.

Це нововведення дозволяє досягти пропускної здатності мережі 200 Гбіт/с і пропускної здатності віддаленого сховища до 10 Гбіт/с і 400 тис. IOPS, що забезпечує найшвидші доступні на сьогодні робочі навантаження для зберігання даних.

⚙️ Azure Integration Environments — дозволяє організаціям збирати свої ресурси в логічні групи. Одним з прикладів використання Azure Integration Environments є групування на основі середовищ розгортання програмного забезпечення: development, qa, staging, production. Інший приклад використання — це групувати ресурсів на основі бізнес-підрозділів таких як фінанси, маркетинг, операційний підрозділ.

Створення середовища Azure Integration Environments містить зв’язування наявних ресурсів у межах однієї підписки Azure. Наразі підтримуються такі типи ресурсів:

Azure Logic (стандартні);
Azure API Management APIs;
Azure Service Bus queues and topics.

⚙️ VM Hibernation — за допомогою цього нового функціоналу є можливість перевести свої віртуальні машини в сплячий режим, щоб заощадити витрати на використанні ресурсів.

VM Hibernation доступна не тільки для віртуальних машин, а й для Azure Virtual Desktop та Citrix Desktop as a Service (DaaS) for Azure.

⚙️ Private subnet — наразі, коли віртуальні машини створюються у віртуальній мережі без будь-якого явного вихідного підключення, їм призначається загальнодоступна вихідна IP-адреса за замовчуванням. Ці IP-адреси можуть змінюватися, їх не видно в ресурсах і вони не відповідають моделі Azure «secure by default», яка гарантує надійний захист клієнтів без додаткових дій.

Тепер будь-які віртуальні машини, створені в цій підмережі, не зможуть підключатися до Інтернету без явно вказаного вихідного методу.

⚙️ Data Migration for Oracle — Azure DataBase Migration Service пропонує оцінку міграції для переходу від бази даних Oracle до бази даних Azure for PostgreSQL.

Оцінка містить рекомендації щодо міграції бази даних і оцінку складності коду бази даних, також можна отримати рекомендації щодо цільового розміру для міграції бази даних Oracle до бази даних Azure for PostgreSQL і Azure SQL, зокрема Azure SQL Database Hyperscale, яка підходить для великих робочих навантажень до 100 ТБ.

⚙️ Azure IoT Operations — дозволяє збирати, приймати та обробляти дані з різних джерел і пристроїв, використовуючи відкриті стандарти та аналітичні можливості, які можуть обробляти великі обсяги даних. Azure IoT Operations дозволяє:.

створювати представлення пристроїв і надсилання даних із цих пристроїв у структурі, готовій для ШІ;
передавати та синхронізувати дані між IoT-пристроями та Azure за допомогою ефективних і надійних конвеєрів даних;
інтегруватись з Azure, щоб зберігати, упорядковувати, отримувати доступ до даних, аналізувати та візуалізувати дані за допомогою хмарних сервісів;
використовувати Azure Arc разом з IoT-пристроями;
використовувати Kubernetes разом з IoT-пристроями.

⚙️ Azure CNI Powered by Cilium for Azure Kubernetes Service (AKS) — це мережева платформа, яка поєднує дві потужні технології, а саме: Azure CNI, який забезпечує масштабування та керування мережею з Pods, інтегровану зі стеком віртуальної мережі Azure та проєктом з відкритим вихідним кодом Cilium, побудованому на основі eBPF.
Cilium надає широкі функціональні можливості, як-от швидша передача даних для служб Kubernetes, ефективне балансування навантаження, розширені функції безпеки мережі та ширші можливості для моніторингу.

Other

⚙️ Google & DORA State of DevOps Report — один з щорічних звітів, на які орієнтується бізнес і DevOps-спільнота. Основні тези цього року: User centric підхід під час розробки ПЗ, DevOps-культура — це база, на якій будуються команди, Code Review усе ще дуже важливий і дозволяє уникати помилок, документація має бути, використовуйте нові можливості хмарних провайдерів для оптимізації витрат та інновацій.

⚙️ The State of Platform Engineering Report — звіт про Platform Engineering представляє оптимістичний погляд на впровадження Platform Engineering в компаніях, однак реальність і практика показують, що рішення про впровадження прийняті через зовнішні причини, так як реклама про підвищення ефективності, продуктивності розробників, надійності та швидкості не дають взагалі покращень.

⚙️ Венчурні капіталісти з Andreessen Horowitz випустили свою аналітику щодо технічних трендів — big ideas in tech 2024, є окремий розділ Infa + Enterprise («сюрприз» — там теж є про ШІ).

⚙️ Q4 2023 Internet disruption summary від Cloudflare розповідає про різноманітні збої в роботі Internet, зокрема проблеми з електрикою в Кенії та Кюрасао. І рефлексія на 2023 від тих самих Cloudflare — Cloudflare 2023 Year in Review. Обʼєм трафіку зріс на 25%, не зважаючи на всі новини про Google — їхня популярність зростає, долі http2 та http3 і багато іншої цікавої статистики.

⚙️ Oasis — small statically-linked linux system.

⚙️ Why the f#ck we are templating yaml? — стаття про складності та неефективність використання шаблонів yaml для configuration management. У ролі альтернативи пропонується використовувати json та jsonnet для генерації конфігурацій.

⚙️ Introducing Immortal Objects for Python — в останній час відбуваються значні зміни в Python. Ось наприклад Meta, у якої Instagram на Django, представила концепцію «незмінних» об’єктів в Python. Усе йде до того, що в майбутньому повністю відійдуть від reference counting та GIL (це вже почалось PEP-703)

⚙️ Why 2024 is the time to rewrite your engineering playbook — як давно ви переглядали процеси у вашій компанії? Розвиток LLMs відкриває нові можливості для оптимізації, що і описуються в цій статті.

Донатимо в KOLO через Benevity
Як задонатити:
1) Зайти на your_company_name.benevity.com (наприклад, amazon.benevity.com) з робочого компютера (vpn).
2) Зробити пошук одного з акаунтів:
• MTÜ KOLO Ukraine;
• KOLO US Foundation.
3) Зарепортити години волонтерства або гроші.
4) Вcтановити нагадування на телефон донатити кожен місяць.