DevOps Digest #36: тренди на 2023, KubeEdge, ChatGPT
Усім привіт, мене звати Андрій Білоус, я працюю DevOps і разом з колегами підготував для вас цей дайджест. У випуску: Hashicorp Hermes, користь сертифікацій, C4 model, OpenTelemetry, Cloud Native Maturity Model, Azure, AWS, ChatGPT.
Тренди на 2023
Всі топ спонсори KubeCon — дружні нам країни:)
I analyzed 290 booths at KubeCon — here are the DevOps trends for 2023
Клікбейтний заголовок, купа платних тулів в статті, з цікавого — додаткова інфографіка до 433 доповідей з KubeCon North America. Чисто фанова стаття з цікавими графічками.
Using the C4 Model to Design Applications
Використовуємо C4 модель для схематичної візуалізації архітектури, в тому числі для інфраструктури. Детальніше і зрозуміліше тут, клік + поскролити.
Why and How eBay Pivoted to OpenTelemetry
Ще задовго до війни передбачував, що OpenTelemetry стане єдиним золотим стандартом для інтеграції кастомних метрик додатка в платформу для моніторингу. Нічого подібного. Але у eBay вийшло. Додам навіть цитату, щоб ви не думали, що там все так супер просто:
This wouldn’t be an easy effort, given that we need to plug all feature gaps, build relationships with a new open source community and swap a massive metrics collection infrastructure without downtime. In the beginning of 2022, we began the difficult undertaking of moving metrics scraping into OpenTelemetry Collector.
Також про OpenTelemetry є свіжий пост в блозі CNCF, але все відбувається дуууже довго, і дуууже не так, як би нам хотілось.
Нічого не пишу, все прочитаєте за посиланням. Добре, у двох словах: Cloud Develompent Environments, FinOps, Security (мій акцент тут, на 2023 точно), GitOps, OpenTelemetry (та це ж було вже), Kubernetes, misc.
Звертаємо увагу на потужний заряд мотивації і корисних знань з DevOps Days Tel Aviv і чекаємо на DevOps Days Kyiv (буде, fingers crossed :)). В плейлисті 68 доповідей, точно знайдете щось цікаве для себе.
On-air with Uklon: DevOps Edition
Рекомендуємо глянути, непоганий практичний приклад, як використовувати Istio для failure retry/recovery та як його використовувати для canary деплой в Argo, в тому числі з автоматичним ролбеком в разі погіршення метрик.
Інструменти
Будуємо strong writing culture з HashiCorp Hermes
Introducing Hermes, An Open Source Document Management System
Hermes — open source система управління документацією, яка активно розвиває HashiCorp. Поки ще alpha stage, здається, буде зручно використовувати в парі з ChatGPT/Google Bard :)
Argo CD v2.6 Release Candidate
Тут можна подивитися, що незабаром буде в stable версії ArgoCD. Тож якщо ви очікували, наприклад, на Multiple Sources for Applications або Progressive Rollouts, можете дочекатися і не робити щось кастомне.
CLI тула для взаємодії з клаудами, дозволяє швидко накидати примітивний SQL, не згадуючи параметри aws cli або gcloud. Прослідковується вектор security, тула надасть трохи прозорості і дашбордів для ресурсів хмарного провайдеру.
Тула, яка вміє робити діф вашої Infrastructure as a Code з реальним станом речей в клауді. Не зрозуміло, для чого вона підтримує Terraform (якщо ви зрозуміли чому, напишіть в коментах — бо я не зрозумів, лол). AWS CDK — ок, але Terraform...
Моніторинг і логування
Expensive Metrics: Why Your Monitoring Data and Bill Get Out Of Hand
Десятки мікросервісів, величезний скейл, висока кардинальність і ... величезна купа непотрібних метрик, які ви збираєте, але не використовуєте. Ми рекомендуємо використовувати relabel_config з drop action, більше порад — у статті.
What Are Structured Logs and How Do They Improve Performance?
Ще раз пробуємо впровадити єдиний формат для логів для всіх додатків, які ви розробляєте (ну, або крутяться на вашій інфраструктурі). Важливо, правильно, корисно, ніде не зустрічав, щоб працювало.
Підходи і практики
How thermal simulation helps optimize Meta’s data centers
Датацентри і ЦОДи це завжди трохи складніше, ніж здається на перший погляд. Наприклад, Meta використовує physics-based thermal simulator для прогнозування навантаження на енергосистему у критичних випадках. Підхід був би дуже доречним для Укренерго :)
Building a Staging Environment for Data Teams
Покроково описаний флоу для сетапу оточень для команд, які працюють з даними. Залишилось тільки зробити це все динамічним, per-pull-request :)
Автор звертає увагу на плюси і мінуси сертифікацій, описуючи свій особистий підхід до отримання сертифікатів, показує роадмап — власне, аналізує, в яких випадках сертифікація може бути корисною.
Pod scheduling and preemption
Protect your mission-critical pods from eviction with PriorityClass
Типу як nice в Linux, так і priorityclass в Kuberentes. Впливаємо на scheduler, щоб він вам правильно шедулив саме так, як ви хочете, і ніяк по-іншому. Підмазуємо affinity і tolerations, отримуємо топовий результат.
Безпека
Istio publishes results of 2022 security audit
TLDR — спокійно юзаємо в проді, немає крітікал CVE, багато ішью пофіксили.
I scanned every package on PyPi and found 57 live AWS keys
Колись робив подібну штуку з Github і Slack токенами, вдалось знайти купу робочих. Зберігайте секрети в спеціальному сікрет стореджі, або переенкрипчуйте їх якимсь sops-ом (краще хоча б так, ніж ніяк). Ну, і варто накрутити credentials scanner на git repo, якийсь плагін, або Jenkins джобу, ще краще — прекоміт хук, який не дасть закомітити секретну стрінгу.
CNCF
Incremental Deep Learning For Satellite with KubeEdge
Просто прикольно, що Kubernetes тепер навіть в космосі. Укроборонпром, добрий день. У нас є купа DevOps які допоможуть. Лендінг KubeEdge за посиланням.
Ще один фреймворк, який можна заадоптити у вільний від задач час. Роботи в нас дуже багато, особливо якщо її створювати самостійно :)
Azure
General availability of Azure OpenAI Service
Azure Open AI Service перейшов в статус GA і тепер доступ до великих розширених моделей штучного інтелекту, включаючи GPT-3.5, Codex, and DALL•E 2 відкрито.
Хоча є декілька обмежень: наразі доступ до Azure Open AI Service обмежений, через високий попит і політику відповідального використання, а перевага у доступі надається клієнтами, які мають партнерські стосунки з корпорацією Microsoft.
Усі заявки на використання Azure OpenAI Service проходять ретельну перевірку, перш ніж цей сервіс клієнти зможуть використовувати для потреб бізнесу.
How to Increase Deployment Observability and Simplify Deployment Pipelines
Щось про CI/CD на Azure Pipelines, виглядає доволі цікаво, навіть потужніше за AWS CodeBuild/CodePipeline.
Azure Deployment Environments — promote collaboration and best practices
Announcing Azure Deployment Environments preview
Microsoft представив Azure Deployment Environments, сервіс, який дозволяє командам швидко розгортати інфраструктуру за допомогою шаблонів. Azure Deployment Environments має набір шаблонів інфраструктури як коду з політиками та підписками.
Ці шаблони створюються як файли ARM, Terraform Bicep і зберігаються в репозиторіях, і інтегрується з системами CI/CD, а інтеграція з Azure RBAC і Azure AD дозволяє встановлювати комплексний контроль доступу за типами проєктів і користувачів.
Azure Kubernetes Fleet Manager — Preview
Azure Kubernetes Fleet Manager — це нове рішення від Microsoft, яке допомагає розв’язувати проблеми кількох кластерів AKS у різних середовищах і регіонах. Він призначений для вирішення наступних проблем у масштабних і багатокластерних середовищах Azure Kubernetes Service:
- кластери AKS, які існують у кількох підписках,
- кластери, що існують у різних регіонах,
- керування конфігурацією в кластерах AKS,
- розгортання додатків в кількох кластерах і регіонах,
- моніторинг працездатності додатків у кількох кластерах,
- моніторинг самих кластерів AKS.
Без централізованого рішення для керування різними кластерами AKS у різних середовищах і регіонах непросто вирішити проблеми, згадані вище.
Microsoft Defender for DevOps дозволяє централізовано керувати безпекою DevOps, забезпечуючи видимість у декількох середовищах DevOps, включаючи Azure, AWS, GCP і локальні ресурси. Наразі у прев’ю підтримуються також платформи GitHub і Azure DevOps.
Azure Kubernetes Service (AKS) Backup private preview
Azure Backup service тепер підтримує AKS Backup. За допомогою цієї функції можна
створювати резервні копії та відновлювати контейнерні додатки і дані, що зберігаються в постійних томах, підключених до кластерів.
SFTP support for Azure Blob Storage
Azure Blob Storage тепер підтримує протокол передачі файлів SSH (SFTP), що дозволяє клієнтам використовувати SFTP для доступу до файлів, передачі та керування ними, ця опція спрощує міграцію до хмари застарілих програм і дає можливість інтеграції даних клієнтів з хмарним сховищем без додаткових інвестицій у інфраструктуру.
Раніше, якщо ви хотіли використовувати SFTP для передачі даних до Azure Blob Storage, вам потрібно було або придбати сторонній продукт, або організувати власне рішення на основі віртуальних машини (VM) в Azure з сервером SFTP.
В першу чергу Azure Elastic SAN буде цікавий компаніям в яких є локальне файлове сховище SAN, в якому є сотні томів на одному пристрої SAN, оптимізованому для різних програм з великим робочим навантаженням і які мають необхідність використовувати переваги хмарних сервісів.
Azure Elastic SAN можна розглядати як віртуальний пристрій, в якому можна створювати групи томів і керувати ними, використовуючи політики контролю доступу. Томи Elastic SAN доступні через протокол iSCSI, тож віртуальні машини можуть отримати до них прямий доступ за допомогою протоколу, який підтримується Windows Server і Linux системами.
Azure Firewall Basic — це новий тип SKU брандмауера Azure, спеціально розроблений для малого бізнесу, який в декілька разів дешевший за варіант SKU Standard.
Azure savings plan for compute
Microsoft розширив список сервісів, які підтримуються у Azure savings plan for compute, тепер, окрім віртуальних машин, можна зарезервувати такі ресурси як App Service,
Azure Container Instances, Azure Dedicated Host, Azure Functions.
Microsoft Dev Box — це робоча станції в хмарі Azure, яка підтримує будь-які IDE розробників, SDK або інструменти, які працюють у Windows, і спрощує адаптацію нових розробників. Встановлений софт та інтеграція з багатьма сервісами та політиками в Azure основна перевага даного сервісу.
AWS
Changes to AWS Billing, Cost Management, and Account Consoles Permissions
Починаючи з 6 березня, AWS змінює права доступу до сервісів Billing та Cost Management. Тож встигніть оновити ваші AWS IAM policy. Зміни в пермішенах покращують безпеку, це правда, але на нашу думку AWS викатують їх трохи жорстко.
Preparing for Amazon Aurora MySQL-Compatible Edition version 1 end of life
AWS припиняє підтримку Aurora 1 (MySQL 5.6) 28 лютого 2023. Тож якщо у вас є Aurora 1 кластери, покваптеся їх оновити. Якщо залипли на старій версії, зробіть в компанії процес актуалізації версій сервісів, наступного разу не буде боляче оновлюватись.
Amazon S3 Encrypts New Objects By Default
Amazon S3 автоматично шифрує нові об’єкти за допомогою server-side encryption SSE-S3. Чудово. Також важлива цитата: At AWS, security is the top priority.
S3 Encryption at Rest Does NOT Solve for Bucket Negligence
А ось альтернативна думка про AWS S3 Encryption at rest. Автор хоч і вважає шифрування в S3 дуже гарною опцією, але стверджує, що це не панацея від витоку даних.
Announcing Amazon DocumentDB Elastic Clusters
Анонс AWS DocumentDB (для роботи з JSON об’єктами) з сумісністю з MongoDB. Високодоступна по дефолту, зверніть увагу, якщо багато працюєте з JSON.
New for AWS Control Tower — Comprehensive Controls Management
Ми вже показували, що мультиакаунтний підхід — це король у
New — Amazon RDS Optimized Reads and Optimized Writes
Щось там додатково Амазон накрутив, і тепер запити можуть виконуватись швидше. Головна умова — MySQL engine version 8.0.28 або вище (не проблема).
Дуже гарний і практичний набір рекомендацій, як будувати мережі від AWS. Років 10+ тому такі гайди були потрібні хіба що клієнтам по типу Netflix. Зараз це стає все більш актуально для пересічного AWS користувача. Гайд невеликий, що робить його дуже цінним.
AWS Cost Explorer Tips and Tricks
Починаючи з
T4g.small free trial extension до кінця 2023
AWS продовжує заохочувати використовувати ARM процесори власної розробки. Список з сервісів, які підтримують Graviton тут.
Також надається знижка на весь 2023 рік для безперервного використання t4g.small EC2 instance (2GB RAM, 2 CPU).
GCP
What’s new with Google Cloud — 2022
Тут все просто, GCP агрегує всі важливі апдейти на одній сторінці. Також, як ви могли помітити, у нас в команді немає людини, яка працює з GCP. Якщо у вас є GCP експертиза і бажання долучитись до команди для створення дайджесту — напишіть @mukolaich в Telegram.
Oracle Cloud
Цей клауд провайдер програє за кількістю сервісів відомішим гравцям, але дозволяє значно дешевше розгортати інфраструктуру. У списку Always free resources 2 VM з 1 GB RAM кожна (x86_64) та комп’ютерні ресурси еквівалентні безперервному використанню 4 CPU 24 GB (ARM64).
Тут, наприклад, порівнюється ціна Kubernetes кластера для різних провайдерів (AWS, Azure, Oracle), можна спробувати для експериментів.
ChatGTP
В туторіалі автор використовує ChatGPT для демонстрації швидкої генерації Dockerfile, CI/CD в GitlabCI і Kuberentes маніфестів. Для роботи — не так щоб корисно, скоріше навіть просто обмежує варіанти зрозуміти «чому так, і як ще можна» — бо я особисто, коли читаю доку, то компілюю декілька варіантів реалізації, відповідно до контексту задачі, і вибираю оптимальний. Але для загального розвитку — дуже цікаво.
Вітаємо в команді Андрія Білоуса!
Андрія Білоус — працюю в ІТ вже 15 років, 8 з яких в ролі DevOps, маю статус Microsoft MVP, а також є модератором Microsoft Q&A (єдиний з України).
Я люблю ділитись знаннями, тому виступаю на різних конференціях та мітапах, пишу статті, навчаю студентів разом з Lviv IT Cluster, допомагаю ІТ-спільноті, відповідаючи на нестандартні запитання на Stackoverflow і Microsoft Q&A.
Люблю активний відпочинок — трекінг, футбол, лижі, сквош. Маю мрію — допомогти талановитим підліткам з обмеженими фінансовими можливостями навчатись у престижних міжнародних університетах.
Подякувати за роботу
Якщо дайджест був для вас корисним, не соромтесь подякувати на користь сил оборони України:
— DOU + Kolo на небесну кару — 20 комплексів Wing Pro, швидкий донат тут
— Donate 1024 — щоденні донати (Вова Рожков, його канал тут)
— інший донат, для нашої перемоги, теж зараховуємо :)
Над дайджестом працювали:
Також прохання підписатись на @devops_dou, звичайно, якщо ви ще не підписані. І докиньте в коменти щось важливе, що ми пропустили (а ми точно щось пропустили).
Павел
Denys Vasyliev
Denys Vasyliev
Рахіт Срінавасович Кумар
Andrey Ruban
Дмитро Сафронов
6 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів