DevOps дайджест #34: AWS re:Invent, Kubernetes deprecating Docker, Prometheus vs VictoriaMetrics

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

В выпуске: большой обзор на AWS, CentOS 8 + Atlassian self-hosted прекращают поддерживать, tobs, Hashicorp Waypoint и Hashicorp Boundary, PostgreSQL 13 и SRE вакансии в Dropbox.

Сторедж gp3 немного дешевле, чем gp2 + немного производительнее

AWS

Прошла AWS Re:Invent 2020 — ежегодная конференция от Amazon, где было анонсировано множество нововведений:

M5zn instances. Новый тип виртуальных машин — M5zn.

GP3 — new type of general-purpose EBS volume. gp3 дешевле и быстрее gp2, сравнение в таблице по ссылке.

Use Amazon EC2 Mac Instances to Build & Test macOS, iOS, etc apps. AWS запустили MAC-инстансы, на них вполне можно выполнять процедуры сборки и тестирования для наших macOS, iOS, ipadOS, tvOS и watchOS-приложений. В целом, эту проблему раньше решали CircleCI с Mac build agents и локальные Mac Mini в офисе. Перед использованием посмотрите на прайсинг (минимально возможное время резервации 24 часа).

AWS just went multi-cloud ... and it’s only the beginning. AWS скоро начнет поддерживать multi-cloud + EKS Anywhere.

AWS Security Maturity Roadmap. AWS Security Maturity Roadmap — руководство по безопасности в AWS. Хорошо иметь под рукой как best practices, но следовать ему в каждой ситуации может быть очень затратно по ресурсам.

Announcing Amazon MQ for RabbitMQ. Анонсировали Amazon MQ for RabbitMQ. Теперь все те, кто хостится в AWS и самостоятельно поддерживает RabbitMQ, смогут использовать Managed-решение.

Application Load Balancers enables gRPC workloads. Application Load Balancer теперь поддерживает gRPC. Можно настраивать роутинг на основе сервиса и метода.

GPU-Equipped EC2 P4 Instances for Machine Learning. Вышли новые P4 инстансы. Характеристики очень впечатляют.

Amazon Managed Service for Prometheus. PaaS Prometheus умеет собирать метрики с AWS ECS, AWS EKS, но в первых итерациях не умеет делать remote write (в VictoriaMetrics, конечно) — эту возможность добавят в будущем.

End of support

CentOS 8 End-of-Life Announcement. RedHat досрочно прекращает поддержку CentOS 8. CentOS 8 будет поддерживаться только до конца 2021 года.

Atlassian: Moving to a cloud future, together. Atlassian прекращает продавать лицензии на self-hosted server для своих продуктов, включая Jira + Confluence в феврале 2021. Поддержка существующих лицензий будет до 2024, подробнее тут.

Don’t Panic: Kubernetes and Docker. Релиз Kubernetes 1.20 — последний, который поддерживает Docker. В этой статье объясняют, почему паниковать не стоит (и правда не стоит паниковать).

Kubernetes

What we learned after a year of GitLab.com on Kubernetes. О переходе Gitlab с «Chef managed VMs» к «multiple single-zonal GKE clusters». Миграция длилась год, можно учиться на чужих ошибках.

3 Years of Kubernetes in Production—Here’s What We Learned. Еще один experience sharing о том, как Kubernetes работает в production-окружении.

What’s new in Kubernetes 1.20? Dockershim теперь deprecated, добавили больше метрик для подов + kubectl debug теперь в статусе beta. Больше апдейтов по ссылке выше.

tobs — The Observability Stack for Kubernetes. Для тех, кому долго и неэффективно делать helm install prometheus-operator и закручивать туда long-term, отдельно устанавливать Grafana и так далее. CLI тула toobs сможет установить Prometheus, Grafana, Promscale, TimescaleDB, Grafana и Promlens + экспортеры (использовать на свой риск).

GitOps improves the security of...

How GitOps Improves the Security of Your Development Pipelines. Если у вас еще нет ArgoCD — мы идем к вам! Отличный доклад для начального overview, зачем нужен GitOps и какие проблемы решает.

Hashicorp

Boundary: simple and secure remote access. Решение очень похоже на Beyondcorp/Tailscale/PM81/Twingate/OpenVPN Cloud/etc. На данный момент еще сыровато, поскольку из официальной документации мне не удалось найти глубокое описание примитивов, задач для каждого компонента и полноценного примера HA сетапа + identity providers тоже еще не готовы.

Waypoint: Build. Deploy. Release. Waypoint — это CLI тула, у которой есть своя конфигурация, и она делает самый простой флоу для приложения. Есть плагины, поддержка AWS, K8S, etc. Будет удобно для сборки и деплоймента POC или очень простого приложения.

Databases

PostgreSQL 13 Press Kit. В двух словах — параллелизация очистки и инкрементальная сортировка, полный обзор изменений — в пресс-релизе.

Introducing RediSearch 2.0. Full-text search on top of Redis. Вышла версия 2.0 с новой архитектурой, которая, как заявляют разработчики, стала х2 быстрее и более масштабируемой. Немногим ранее появился также новый модуль для Redis — RedisRaft.

Announcing Vitess 8. Vitess можно использовать с помощью vitess-operator + посмотреть несколько докладов о Vitess на Kubecon+CloudNativeCon NA 2020 (ссылки на доклады в статье).

Misc

Dropbox goes virtual first. Dropbox оставит своих сотрудников на удаленке и после карантина. Отличный тренд, открытые вакансии для SRE.

The Future of Ops Jobs. Размышления от Charity Majors на тему того, какими навыками необходимо обладать современному девопсу, чтобы оставаться востребованым. P.S. Нужно всегда быть на шаг впереди.

After two years at the bottom of the sea, Microsoft’s outlandish experiment reappears

Microsoft’s underwater data centre resurfaces after two years. Microsoft погружал свои сервера под воду, они сделали дата-центр на дне океана. С тех пор прошло 2 года, как оказалось, failure rate у серверов ниже, чем в классическом DC.

Extending Android Device Compatibility for Let’s Encrypt Certificates. LetsEncrypt добавит поддержку для устаревших Android-устройств. Ранее проблема была в том, что Android 7.1.1 и более младшие версии не доверяли ISRG Root X1.

How Facebook is bringing QUIC to billions. Facebook перевели более 75% трафика на HTTP/3. В статье описывают, что такое QUIC и HTTP/3, какие преимущества получили и планы на будущее.

Introducing GitHub Container Registry. GitHub представили свой Container Registry. Решение будет бесплатным для публичных имиджей. Если учесть, что Docker Hub добавил rate limits — вполне можно рассмотреть Container Registry.

RSS Memory usage: VictoriaMetrics vs Prometheus

Prometheus vs VictoriaMetrics benchmark on node_exporter metrics. В статье делают бенчмарк Prometheus vs VictoriaMetrics и данными с node_exporter (наверное, самым популярным экспортером в экосистеме.

Результаты:

• Prometheus нужно в 7 раз больше дискового пространства.
• Prometheus использует в 6 раз больше IO на чтение на нагрузке.
• CPU usage одинаковый.
• Prometheus нужно в 5 раз больше оперативной памяти.

Над дайджестом работали:

• подписаться на Telegram
• присоединиться к команде
• подписаться на devopsdigest.club

← Предыдущие выпуски