DevOps Digest #36: тренди на 2023, KubeEdge, ChatGPT

Усі статті, обговорення, новини про DevOps — в одному місці. Підписуйтеся на DOU | DevOps!

Усім привіт, мене звати Андрій Білоус, я працюю DevOps і разом з колегами підготував для вас цей дайджест. У випуску: Hashicorp Hermes, користь сертифікацій, C4 model, OpenTelemetry, Cloud Native Maturity Model, Azure, AWS, ChatGPT.

Тренди на 2023

Всі топ спонсори KubeCon — дружні нам країни:)


I analyzed 290 booths at KubeCon — here are the DevOps trends for 2023

Клікбейтний заголовок, купа платних тулів в статті, з цікавого — додаткова інфографіка до 433 доповідей з KubeCon North America. Чисто фанова стаття з цікавими графічками.

Using the C4 Model to Design Applications

Використовуємо C4 модель для схематичної візуалізації архітектури, в тому числі для інфраструктури. Детальніше і зрозуміліше тут, клік + поскролити.

Why and How eBay Pivoted to OpenTelemetry

Ще задовго до війни передбачував, що OpenTelemetry стане єдиним золотим стандартом для інтеграції кастомних метрик додатка в платформу для моніторингу. Нічого подібного. Але у eBay вийшло. Додам навіть цитату, щоб ви не думали, що там все так супер просто:

This wouldn’t be an easy effort, given that we need to plug all feature gaps, build relationships with a new open source community and swap a massive metrics collection infrastructure without downtime. In the beginning of 2022, we began the difficult undertaking of moving metrics scraping into OpenTelemetry Collector.

Також про OpenTelemetry є свіжий пост в блозі CNCF, але все відбувається дуууже довго, і дуууже не так, як би нам хотілось.

Cloud Native Predictions 2023

Нічого не пишу, все прочитаєте за посиланням. Добре, у двох словах: Cloud Develompent Environments, FinOps, Security (мій акцент тут, на 2023 точно), GitOps, OpenTelemetry (та це ж було вже), Kubernetes, misc.

DevOpsDays TLV 2022

Звертаємо увагу на потужний заряд мотивації і корисних знань з DevOps Days Tel Aviv і чекаємо на DevOps Days Kyiv (буде, fingers crossed :)). В плейлисті 68 доповідей, точно знайдете щось цікаве для себе.

On-air with Uklon: DevOps Edition

Рекомендуємо глянути, непоганий практичний приклад, як використовувати Istio для failure retry/recovery та як його використовувати для canary деплой в Argo, в тому числі з автоматичним ролбеком в разі погіршення метрик.

Інструменти

Будуємо strong writing culture з HashiCorp Hermes


Introducing Hermes, An Open Source Document Management System

Hermes — open source система управління документацією, яка активно розвиває HashiCorp. Поки ще alpha stage, здається, буде зручно використовувати в парі з ChatGPT/Google Bard :)

Argo CD v2.6 Release Candidate

Тут можна подивитися, що незабаром буде в stable версії ArgoCD. Тож якщо ви очікували, наприклад, на Multiple Sources for Applications або Progressive Rollouts, можете дочекатися і не робити щось кастомне.

turbot/steampipe

CLI тула для взаємодії з клаудами, дозволяє швидко накидати примітивний SQL, не згадуючи параметри aws cli або gcloud. Прослідковується вектор security, тула надасть трохи прозорості і дашбордів для ресурсів хмарного провайдеру.

tinystacks/precloud

Тула, яка вміє робити діф вашої Infrastructure as a Code з реальним станом речей в клауді. Не зрозуміло, для чого вона підтримує Terraform (якщо ви зрозуміли чому, напишіть в коментах — бо я не зрозумів, лол). AWS CDK — ок, але Terraform...

Моніторинг і логування

Expensive Metrics: Why Your Monitoring Data and Bill Get Out Of Hand

Десятки мікросервісів, величезний скейл, висока кардинальність і ... величезна купа непотрібних метрик, які ви збираєте, але не використовуєте. Ми рекомендуємо використовувати relabel_config з drop action, більше порад — у статті.

What Are Structured Logs and How Do They Improve Performance?

Ще раз пробуємо впровадити єдиний формат для логів для всіх додатків, які ви розробляєте (ну, або крутяться на вашій інфраструктурі). Важливо, правильно, корисно, ніде не зустрічав, щоб працювало.

Підходи і практики

How thermal simulation helps optimize Meta’s data centers

Датацентри і ЦОДи це завжди трохи складніше, ніж здається на перший погляд. Наприклад, Meta використовує physics-based thermal simulator для прогнозування навантаження на енергосистему у критичних випадках. Підхід був би дуже доречним для Укренерго :)

Building a Staging Environment for Data Teams

Покроково описаний флоу для сетапу оточень для команд, які працюють з даними. Залишилось тільки зробити це все динамічним, per-pull-request :)

Creating a certification plan

Автор звертає увагу на плюси і мінуси сертифікацій, описуючи свій особистий підхід до отримання сертифікатів, показує роадмап — власне, аналізує, в яких випадках сертифікація може бути корисною.

Pod scheduling and preemption

Protect your mission-critical pods from eviction with PriorityClass

Типу як nice в Linux, так і priorityclass в Kuberentes. Впливаємо на scheduler, щоб він вам правильно шедулив саме так, як ви хочете, і ніяк по-іншому. Підмазуємо affinity і tolerations, отримуємо топовий результат.

Безпека

Istio publishes results of 2022 security audit

TLDR — спокійно юзаємо в проді, немає крітікал CVE, багато ішью пофіксили.

I scanned every package on PyPi and found 57 live AWS keys

Колись робив подібну штуку з Github і Slack токенами, вдалось знайти купу робочих. Зберігайте секрети в спеціальному сікрет стореджі, або переенкрипчуйте їх якимсь sops-ом (краще хоча б так, ніж ніяк). Ну, і варто накрутити credentials scanner на git repo, якийсь плагін, або Jenkins джобу, ще краще — прекоміт хук, який не дасть закомітити секретну стрінгу.

CNCF

Incremental Deep Learning For Satellite with KubeEdge

Просто прикольно, що Kubernetes тепер навіть в космосі. Укроборонпром, добрий день. У нас є купа DevOps які допоможуть. Лендінг KubeEdge за посиланням.

Cloud Native Maturity Model

Ще один фреймворк, який можна заадоптити у вільний від задач час. Роботи в нас дуже багато, особливо якщо її створювати самостійно :)

Azure

General availability of Azure OpenAI Service

Azure Open AI Service перейшов в статус GA і тепер доступ до великих розширених моделей штучного інтелекту, включаючи GPT-3.5, Codex, and DALL•E 2 відкрито.

Хоча є декілька обмежень: наразі доступ до Azure Open AI Service обмежений, через високий попит і політику відповідального використання, а перевага у доступі надається клієнтами, які мають партнерські стосунки з корпорацією Microsoft.

Усі заявки на використання Azure OpenAI Service проходять ретельну перевірку, перш ніж цей сервіс клієнти зможуть використовувати для потреб бізнесу.

How to Increase Deployment Observability and Simplify Deployment Pipelines

Щось про CI/CD на Azure Pipelines, виглядає доволі цікаво, навіть потужніше за AWS CodeBuild/CodePipeline.

Azure Deployment Environments — promote collaboration and best practices



Announcing Azure Deployment Environments preview

Microsoft представив Azure Deployment Environments, сервіс, який дозволяє командам швидко розгортати інфраструктуру за допомогою шаблонів. Azure Deployment Environments має набір шаблонів інфраструктури як коду з політиками та підписками.

Ці шаблони створюються як файли ARM, Terraform Bicep і зберігаються в репозиторіях, і інтегрується з системами CI/CD, а інтеграція з Azure RBAC і Azure AD дозволяє встановлювати комплексний контроль доступу за типами проєктів і користувачів.

Azure Kubernetes Fleet Manager — Preview

Azure Kubernetes Fleet Manager — це нове рішення від Microsoft, яке допомагає розв’язувати проблеми кількох кластерів AKS у різних середовищах і регіонах. Він призначений для вирішення наступних проблем у масштабних і багатокластерних середовищах Azure Kubernetes Service:

  • кластери AKS, які існують у кількох підписках,
  • кластери, що існують у різних регіонах,
  • керування конфігурацією в кластерах AKS,
  • розгортання додатків в кількох кластерах і регіонах,
  • моніторинг працездатності додатків у кількох кластерах,
  • моніторинг самих кластерів AKS.

Без централізованого рішення для керування різними кластерами AKS у різних середовищах і регіонах непросто вирішити проблеми, згадані вище.

Microsoft Defender for DevOps

Microsoft Defender for DevOps дозволяє централізовано керувати безпекою DevOps, забезпечуючи видимість у декількох середовищах DevOps, включаючи Azure, AWS, GCP і локальні ресурси. Наразі у прев’ю підтримуються також платформи GitHub і Azure DevOps.

Azure Kubernetes Service (AKS) Backup private preview

Azure Backup service тепер підтримує AKS Backup. За допомогою цієї функції можна

створювати резервні копії та відновлювати контейнерні додатки і дані, що зберігаються в постійних томах, підключених до кластерів.

SFTP support for Azure Blob Storage

Azure Blob Storage тепер підтримує протокол передачі файлів SSH (SFTP), що дозволяє клієнтам використовувати SFTP для доступу до файлів, передачі та керування ними, ця опція спрощує міграцію до хмари застарілих програм і дає можливість інтеграції даних клієнтів з хмарним сховищем без додаткових інвестицій у інфраструктуру.

Раніше, якщо ви хотіли використовувати SFTP для передачі даних до Azure Blob Storage, вам потрібно було або придбати сторонній продукт, або організувати власне рішення на основі віртуальних машини (VM) в Azure з сервером SFTP.

Azure Elastic SAN

В першу чергу Azure Elastic SAN буде цікавий компаніям в яких є локальне файлове сховище SAN, в якому є сотні томів на одному пристрої SAN, оптимізованому для різних програм з великим робочим навантаженням і які мають необхідність використовувати переваги хмарних сервісів.

Azure Elastic SAN можна розглядати як віртуальний пристрій, в якому можна створювати групи томів і керувати ними, використовуючи політики контролю доступу. Томи Elastic SAN доступні через протокол iSCSI, тож віртуальні машини можуть отримати до них прямий доступ за допомогою протоколу, який підтримується Windows Server і Linux системами.

Azure Firewall Basic

Azure Firewall Basic — це новий тип SKU брандмауера Azure, спеціально розроблений для малого бізнесу, який в декілька разів дешевший за варіант SKU Standard.

Azure savings plan for compute

Microsoft розширив список сервісів, які підтримуються у Azure savings plan for compute, тепер, окрім віртуальних машин, можна зарезервувати такі ресурси як App Service,

Azure Container Instances, Azure Dedicated Host, Azure Functions.

Microsoft Dev Box

Microsoft Dev Box — це робоча станції в хмарі Azure, яка підтримує будь-які IDE розробників, SDK або інструменти, які працюють у Windows, і спрощує адаптацію нових розробників. Встановлений софт та інтеграція з багатьма сервісами та політиками в Azure основна перевага даного сервісу.

AWS

Changes to AWS Billing, Cost Management, and Account Consoles Permissions

Починаючи з 6 березня, AWS змінює права доступу до сервісів Billing та Cost Management. Тож встигніть оновити ваші AWS IAM policy. Зміни в пермішенах покращують безпеку, це правда, але на нашу думку AWS викатують їх трохи жорстко.

Preparing for Amazon Aurora MySQL-Compatible Edition version 1 end of life

AWS припиняє підтримку Aurora 1 (MySQL 5.6) 28 лютого 2023. Тож якщо у вас є Aurora 1 кластери, покваптеся їх оновити. Якщо залипли на старій версії, зробіть в компанії процес актуалізації версій сервісів, наступного разу не буде боляче оновлюватись.

Amazon S3 Encrypts New Objects By Default

Amazon S3 автоматично шифрує нові об’єкти за допомогою server-side encryption SSE-S3. Чудово. Також важлива цитата: At AWS, security is the top priority.

S3 Encryption at Rest Does NOT Solve for Bucket Negligence

А ось альтернативна думка про AWS S3 Encryption at rest. Автор хоч і вважає шифрування в S3 дуже гарною опцією, але стверджує, що це не панацея від витоку даних.

Announcing Amazon DocumentDB Elastic Clusters

Анонс AWS DocumentDB (для роботи з JSON об’єктами) з сумісністю з MongoDB. Високодоступна по дефолту, зверніть увагу, якщо багато працюєте з JSON.

New for AWS Control Tower — Comprehensive Controls Management

Ми вже показували, що мультиакаунтний підхід — це король у 2023-му і далі. Тепер, ви можете вмикати необхідні секьюріті сетінги з менеджмент-акаунту, і вони будуть застосовуватись на дочірні акаунти в організації. Супер, тепер буде легше в PCI DSS та NIST 800-53.

New — Amazon RDS Optimized Reads and Optimized Writes

Щось там додатково Амазон накрутив, і тепер запити можуть виконуватись швидше. Головна умова — ​​MySQL engine version 8.0.28 або вище (не проблема).

AWS Network Optimization Tips

Дуже гарний і практичний набір рекомендацій, як будувати мережі від AWS. Років 10+ тому такі гайди були потрібні хіба що клієнтам по типу Netflix. Зараз це стає все більш актуально для пересічного AWS користувача. Гайд невеликий, що робить його дуже цінним.

AWS Cost Explorer Tips and Tricks

Починаючи з 2022-го, багато компаній почали різати кости, отже рекомендації щодо користування AWS Cost Explorer зараз дуже доречні. Автор показує, як накладати типові фільтри в Cost Explorer, що допоможе краще зрозуміти, що саме ви використовуєте в AWS. Наприкінці поста є лінки в AWS Console з вже налаштованими фільтрами.

T4g.small free trial extension до кінця 2023

AWS продовжує заохочувати використовувати ARM процесори власної розробки. Список з сервісів, які підтримують Graviton тут.

Також надається знижка на весь 2023 рік для безперервного використання t4g.small EC2 instance (2GB RAM, 2 CPU).

GCP

What’s new with Google Cloud — 2022

Тут все просто, GCP агрегує всі важливі апдейти на одній сторінці. Також, як ви могли помітити, у нас в команді немає людини, яка працює з GCP. Якщо у вас є GCP експертиза і бажання долучитись до команди для створення дайджесту — напишіть @mukolaich в Telegram.

Oracle Cloud

Цей клауд провайдер програє за кількістю сервісів відомішим гравцям, але дозволяє значно дешевше розгортати інфраструктуру. У списку Always free resources 2 VM з 1 GB RAM кожна (x86_64) та комп’ютерні ресурси еквівалентні безперервному використанню 4 CPU 24 GB (ARM64).

Тут, наприклад, порівнюється ціна Kubernetes кластера для різних провайдерів (AWS, Azure, Oracle), можна спробувати для експериментів.

ChatGTP

В туторіалі автор використовує ChatGPT для демонстрації швидкої генерації Dockerfile, CI/CD в GitlabCI і Kuberentes маніфестів. Для роботи — не так щоб корисно, скоріше навіть просто обмежує варіанти зрозуміти «чому так, і як ще можна» — бо я особисто, коли читаю доку, то компілюю декілька варіантів реалізації, відповідно до контексту задачі, і вибираю оптимальний. Але для загального розвитку — дуже цікаво.

Вітаємо в команді Андрія Білоуса!

Андрія Білоус — працюю в ІТ вже 15 років, 8 з яких в ролі DevOps, маю статус Microsoft MVP, а також є модератором Microsoft Q&A (єдиний з України).

Я люблю ділитись знаннями, тому виступаю на різних конференціях та мітапах, пишу статті, навчаю студентів разом з Lviv IT Cluster, допомагаю ІТ-спільноті, відповідаючи на нестандартні запитання на Stackoverflow і Microsoft Q&A.

Люблю активний відпочинок — трекінг, футбол, лижі, сквош. Маю мрію — допомогти талановитим підліткам з обмеженими фінансовими можливостями навчатись у престижних міжнародних університетах.

Подякувати за роботу

Якщо дайджест був для вас корисним, не соромтесь подякувати на користь сил оборони України:
— DOU + Kolo на небесну кару — 20 комплексів Wing Pro, швидкий донат тут
— Donate 1024 — щоденні донати (Вова Рожков, його канал тут)
— інший донат, для нашої перемоги, теж зараховуємо :)

Над дайджестом працювали:

Також прохання підписатись на @devops_dou, звичайно, якщо ви ще не підписані. І докиньте в коменти щось важливе, що ми пропустили (а ми точно щось пропустили).

👍ПодобаєтьсяСподобалось15
До обраногоВ обраному7
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

У вас помилка в назві ChatGTP)

Думаю, класно було б проговорити найцікавіше голосом. Якщо що, запрошую к нам на ефір!

Додаю до контент плану! Відчуваю дуже цікавий формат

Коментар порушує правила спільноти і видалений модераторами.

Класний дайджест, дякую.

Підписатись на коментарі