Прийшов час осідлати справжнього Буцефала🏇🏻Приборкай норовливого коня разом з Newxel🏇🏻Умови на сайті
×Закрыть

DevOps дайджест #32: применение Helm, Kustomize, ArgoCD и релиз Vitess

В выпуске: Lens — Kubernetes IDE, новые регионы в AWS (Африка), изменения в Grafana 7.0, TPUs в Google Cloud и новая книга в SRE.

The Kubernetes IDE: Lens
Удобное приложение для быстрого менеджмента большого количества Kubernetes-кластеров. Я нашел эту штуку, когда устал переключать kubeconfigs и namespaces. Lens дает возможность подключиться к нескольким кластерам, быстро переходить между типами разных ресурсов, редактировать их, применять и т. д. Попробуйте, если много приходится работать с Kubernetes. Это приложение не заменит kubectl, но будет хорошим дополнением.

The Kubernetes IDE: Lens

Introduction to Profiling and Optimizing SQL Queries for Software Engineers
Хорошая и концептуальная статья о работе с SQL, профайлинге и оптимизации запросов. В статье показано, что хорошо бы знать и понимать для того, чтобы уверенно себя чувствовать в этой области.

From «Feature branches» to «Feature environments» with Terraform
Вариант реализации концепции new branch to new environment с помощью Terraform. Опишите в комментариях, если вам нравится реализация Terraform Workspaces и вы не ловили с ней проблем, а если не нравится — тоже отпишите.

MongoDB Compass is now free for all
Компания MongoDB наконец-то сделала свое клиентское приложения для работы с одноименной базой полностью бесплатным. Раньше была доступна урезанная community-версия, полная версия была платной.

Announcing Vitess 6
В новом релизе Vitess улучшили поддержку SQL синтаксиса, VReplication теперь GA, а зависимость на etcd-operator была убрана.

Deploys at Slack
О том, как проходят деплои в Slack. Много нового для себя может и не найдете, но систематизировано достаточно хорошо.

More Features in Argo CD v1.5.3
Добавилась поддержка разных версий Kustomize, Settings Management Tools, Custom Root Path etc. Больше деталей можно увидеть тут.

ArgoCD Web UI

Helm & Kustomize better together
Отличная статья, которая описывает установку Loki с применением Helm + Kustomize и ArgoCD (как вишенка на торте). Статья подойдет, чтобы понять и сложить впечатление о каждом из инструментов за 15 минут.

AWS

Investigating performance issues with Amazon CodeGuru Profiler
Amazon продолжает развивать AWS CodeGuru сервис для статического анализа Java-кода Reviewer и flame-graphs (Profiler). Недавно добавили интеграцию с BitBucket, также поддерживается GitHub и AWS CodeCommit, подробнее тут.

Flame graph из Amazon CodeGuru Profiler

Now Open — AWS Africa (Cape Town) Region
Со времени последнего дайджеста у Амазона появилось сразу 2 новых региона: в Cape Town (af-south-1) и Милане (eu-south-1). Первый регион в Африке!

EC2 Price Reduction — For EC2 Instance Saving Plans and Standard Reserved Instances
Не менее важной новостью стало заявление Амазона о том, что они снижают цены на EC2 и Inter-Region Data Transfer (DTIR). Размер скидки разнится между регионами и типами инстансов, больше деталей можно увидеть по ссылкам выше.

New — EC2 M6g Instances, powered by AWS Graviton2
Стали доступны новые инстансы M6g на базе собственного ARM процессора от Amazon — Graviton2. Они были анонсированы в декабре 2019 и доступны для public review. Помимо того, что эти инстансы стоят значительно дешевле, чем Intel-based, Амазон также заявляет о приросте в производительности, ссылаясь на опыт компаний, которые уже внедрили их у себя.

New — AWS Transfer for FTP and FTPS, in addition to existing SFTP
К AWS Transfer for SFTP сервису добавили поддержку протоколов FTP и FTPS.

New offers to enable work from home from Amazon WorkSpaces and Amazon WorkDocs

Для новых пользователей Amazon WorkSpaces (виртуальный десктоп на Linux и Windows) значительно расширен Free Tier — до 54 бесплатных виртуальных машин сроком до 30 июня 2020. Подробнее тут и тут.

Amazon EKS now supports Kubernetes version 1.16
Новая (хотя и не сильно новая) версия Kubernetes в EKS. Официальная поддержка версии 1.13 заканчивается 30 июня 2020, в этот день все существующие EKS кластеры автоматически будут смигрированы на 1.14.

Create Amazon MSK clusters with T3 brokers for less than $2.50/day
Добавили новый тип (более дешевый) MSK (Managed Kafka) брокера. Теперь можно получить Managed Apache Kafka в минимальной конфигурации за около 70 долларов в месяц. Оригинальная новость тут, пример расчета стоимости тут. Из минусов — нет мониторинга «consumer lag» и «cluster version upgrade» пока еще не поддерживается.

Amazon ECS and AWS Fargate support for Amazon EFS File Systems now generally available
Хорошая новость для тех, кто использует ECS — теперь можно использовать NFS shared volume для Docker контейнеров.

EC2 Image Builder integrated with CloudFormation
EC2 Image Builder — это альтернатива HashiCorp Packer для простых сценариев. Для тех, кто продолжает использовать Packer, можно посмотреть Security Best practices for image creation.

Google Cloud

Learn to build secure and reliable systems with a new book from Google
Новая книжка от инженеров по безопасности и SRE из Google, которая автоматически добавляется в золотую коллекцию книг: «Building Secure and Reliable Systems: Best Practices for Designing, Implementing, and Maintaining Systems».

Get to know Cloud TPUs
Интересный тип инстансов для ML-задач: Tensor Processing Unit. По ссылке — набор видео, ссылок на статьи и бенчмарков для детального изучения возможностей TPU. Где-то рядом пробегал Kubeflow?

Manage logs from multiple clouds and on-premises workloads together
Мультиклаудный подход все ближе — интеграция Google Cloud с BindPlane Logs дает возможность агрегировать логи всех провайдеров в одном месте. Интересно посмотреть на потенциальных клиентов: я уверен, что у мультиклаудных сетапов (в таких инфраструктурах) есть свои местные готовые решения для сбора логов.

Understanding forwarding, peering, and private zones in Cloud DNS
Кратко о том, как работает Cloud DNS в Google Cloud.

Keep your teams working safely with BeyondCorp Remote Access
Тут получается какая ситуация: компании хотят работать удаленно, а OpenVPN очень ограниченный с точки зрения функционала. BeyondCorp Remote access построена на подходах и принципах zero-trust networks и использует Google как Identity Provider. Из смежных решений есть Tailscale и Twingate.

Observability

prometheus-community/promql-langserver: PromQL language server

Имплементация Language Server Protocol для PromQL. Можно подключить в VS Code, Sublime и получить автокомплит и документацию для PromQL (например, будет удобно для правил Alertmanager, которые нужно периодически редактировать).

Grafana 7.0 sneak peek: Panel inspector lets you get raw data and download as CSV

Новые фичи в будущей Grafana 7.0:

  • export в формате CSV из таблиц;
  • auto grid layout;
  • расширенные визуализации в таблицах;
  • история запросов.

Grafana 7.0 preview: New image renderer plugin to replace PhantomJS
Новый Grafana Image Renderer заменит PhantomJS в новом релизе.

Loki quick tip: How to use a Loki datasource in your Grafana dashboard
Описание интеграции Grafana с Loki (как подключить Loki в качестве datasource) и пример визуализации метрик (построения графиков с логов).

Security

Zoom acquires Keybase
Решили добавить эту новость в отдел Security: в связи с последними инцидентами Zoom решил бросить все свои силы в сторону end-to-end encryption.

How Netflix brings safer and faster streaming experiences to the living room on crowded networks using TLS 1.3
Стандарт TLS 1.3 начинает все больше использоваться мировым сообществом. На этот раз Netflix рассказал о том, что переход на 1.3 позволил им не только сделать свои подключения более безопасными, а также более быстрыми за счет всего 1 round trip для handshake в новом стандарте.

Is BGP safe yet?
Нередко были случаи, когда маршруты в BGP подменяли и маршруты вели не на те ресурсы. От этого никто не был застрахован, даже с Google случалось такое. Компания CloudFlare стала инициатором внедрения стандарта RPKI для BGP, который как бы привязывает подписью конкретный роут к AS. Больше можно почитать по ссылке.

В стандарте Intel Thunderbolt найдена уязвимость, позволяющая воровать данные даже с заблокированного ноутбука.

Conferences

Github repos

askmeegs/learn-istio
Если вы решили выучить Istio — можно начать с этого репозитория, как с отправной точки. Видео, статьи, документация в одном флаконе.

antonbabenko/terraform-cost-estimation
Интересный сервис, который умеет парсить Terraform State (снимок состояния вашей инфраструктуры как код) и считать ее стоимость. Пока что умеет считать только aws_instance ресурсы. В планах — LB и EBS. Автор — Антон Бабенко.

Related to COVID-19

QAGuild podcast: Про DevOps и немного про релокацию в США
Добрый и душевный разговор с друзьями из QAGuild о основных компетенциях DevOps, экспертизе, Junior специалистах, много о культуре, о зарплатах. Под конец успели поговорить о релокации в США и типах виз, доступных DevOps-инженеру, рассмотрели плюсы и минусы. Практические советы, как сделать О1 визу.

Twitter says staff can continue working from home permanently
Эта новость подняла много шума среди IT-сообщества. CEO Твиттера объявил своим сотрудникам, что они могут работать удаленно, сколько сами того пожелают. Естественно, офисы и дальше будут продолжать работать, но станут опциональными.

A Message from Co-Founder and CEO Brian Chesky
Не менее громкая новость от CEO Airbnb. 25% сотрудников были уволены в ответ на последствия коронавируса. Однако, эти увольнения можно назвать, пожалуй, наиболее «человечными» за последнее время: 14 оплачиваемых недель + по неделе за каждый год отработанный в компании, страховка на год, помощь в поиске работы, техника остается сотрудникам.

Co-authors:


← Предыдущий выпуск: DevOps дайджест #31

LinkedIn

Похожие статьи

5 комментариев

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

Може, вже пора писати дайджести українською?

Grafana 7.0

ещё поддержка трейсов добавилась
теперь можно метрики, логи и трейсы в одном месте

Хочу добавить кое-что про проект antonbabenko/terraform-cost-estimation.

1. Считается стоимость инфраструктуры до её создания (по Terraform плану), после создания (по Terraform state любых версий)
2. Поддерживаются все EC2 ресурсы (aws_autoscaling_group, aws_ec2_fleet, aws_ebs_volume, aws_ebs_snapshot, aws_nat_gateway, aws_lb, aws_elb, и тд), а не только aws_instance.
3. Поддерживается фильтрация данных на стороне клиента до отправки для получения оценки стоимости. Это значит, что любые проекты, которые содержат секретные данные в tfstate или в плане, могут пользоваться без опаски показать секреты. Подробнее тут — github.com/...​and-sensitive-information

Не забывайте ставить звёздочки на github и делиться со своими коллегами — github.com/...​terraform-cost-estimation :)

Manage logs from multiple clouds and on-premises workloads together

я працюю з однією СRМ+ERP, але і в нас є потреба відслідковувати різні типи логів в одному місці, тому що є багато різнотипних інтеграцій. реалізовано одним звітом prnt.sc/shvk1w

Отличный обзор, большое спасибо !

Подписаться на комментарии