Сучасна диджитал-освіта для дітей — безоплатне заняття в GoITeens ×
Mazda CX 5
×

DevOps дайджест #34: AWS re:Invent, Kubernetes deprecating Docker, Prometheus vs VictoriaMetrics

Усі статті, обговорення, новини про DevOps — в одному місці. Підписуйтеся на DOU | DevOps!

В выпуске: большой обзор на AWS, CentOS 8 + Atlassian self-hosted прекращают поддерживать, tobs, Hashicorp Waypoint и Hashicorp Boundary, PostgreSQL 13 и SRE вакансии в Dropbox.

Сторедж gp3 немного дешевле, чем gp2 + немного производительнее

AWS

Прошла AWS Re:Invent 2020 — ежегодная конференция от Amazon, где было анонсировано множество нововведений:

M5zn instances. Новый тип виртуальных машин — M5zn.

GP3 — new type of general-purpose EBS volume. gp3 дешевле и быстрее gp2, сравнение в таблице по ссылке.

Use Amazon EC2 Mac Instances to Build & Test macOS, iOS, etc apps. AWS запустили MAC-инстансы, на них вполне можно выполнять процедуры сборки и тестирования для наших macOS, iOS, ipadOS, tvOS и watchOS-приложений. В целом, эту проблему раньше решали CircleCI с Mac build agents и локальные Mac Mini в офисе. Перед использованием посмотрите на прайсинг (минимально возможное время резервации 24 часа).

AWS just went multi-cloud ... and it’s only the beginning. AWS скоро начнет поддерживать multi-cloud + EKS Anywhere.

AWS Security Maturity Roadmap. AWS Security Maturity Roadmap — руководство по безопасности в AWS. Хорошо иметь под рукой как best practices, но следовать ему в каждой ситуации может быть очень затратно по ресурсам.

Announcing Amazon MQ for RabbitMQ. Анонсировали Amazon MQ for RabbitMQ. Теперь все те, кто хостится в AWS и самостоятельно поддерживает RabbitMQ, смогут использовать Managed-решение.

Application Load Balancers enables gRPC workloads. Application Load Balancer теперь поддерживает gRPC. Можно настраивать роутинг на основе сервиса и метода.

GPU-Equipped EC2 P4 Instances for Machine Learning. Вышли новые P4 инстансы. Характеристики очень впечатляют.

Amazon Managed Service for Prometheus. PaaS Prometheus умеет собирать метрики с AWS ECS, AWS EKS, но в первых итерациях не умеет делать remote write (в VictoriaMetrics, конечно) — эту возможность добавят в будущем.

End of support

CentOS 8 End-of-Life Announcement. RedHat досрочно прекращает поддержку CentOS 8. CentOS 8 будет поддерживаться только до конца 2021 года.

Atlassian: Moving to a cloud future, together. Atlassian прекращает продавать лицензии на self-hosted server для своих продуктов, включая Jira + Confluence в феврале 2021. Поддержка существующих лицензий будет до 2024, подробнее тут.

Don’t Panic: Kubernetes and Docker. Релиз Kubernetes 1.20 — последний, который поддерживает Docker. В этой статье объясняют, почему паниковать не стоит (и правда не стоит паниковать).

Kubernetes

What we learned after a year of GitLab.com on Kubernetes. О переходе Gitlab с «Chef managed VMs» к «multiple single-zonal GKE clusters». Миграция длилась год, можно учиться на чужих ошибках.

3 Years of Kubernetes in Production—Here’s What We Learned. Еще один experience sharing о том, как Kubernetes работает в production-окружении.

What’s new in Kubernetes 1.20? Dockershim теперь deprecated, добавили больше метрик для подов + kubectl debug теперь в статусе beta. Больше апдейтов по ссылке выше.

tobs — The Observability Stack for Kubernetes. Для тех, кому долго и неэффективно делать helm install prometheus-operator и закручивать туда long-term, отдельно устанавливать Grafana и так далее. CLI тула toobs сможет установить Prometheus, Grafana, Promscale, TimescaleDB, Grafana и Promlens + экспортеры (использовать на свой риск).

GitOps improves the security of...

How GitOps Improves the Security of Your Development Pipelines. Если у вас еще нет ArgoCD — мы идем к вам! Отличный доклад для начального overview, зачем нужен GitOps и какие проблемы решает.

Hashicorp

Boundary: simple and secure remote access. Решение очень похоже на Beyondcorp/Tailscale/PM81/Twingate/OpenVPN Cloud/etc. На данный момент еще сыровато, поскольку из официальной документации мне не удалось найти глубокое описание примитивов, задач для каждого компонента и полноценного примера HA сетапа + identity providers тоже еще не готовы.

Waypoint: Build. Deploy. Release. Waypoint — это CLI тула, у которой есть своя конфигурация, и она делает самый простой флоу для приложения. Есть плагины, поддержка AWS, K8S, etc. Будет удобно для сборки и деплоймента POC или очень простого приложения.

Databases

PostgreSQL 13 Press Kit. В двух словах — параллелизация очистки и инкрементальная сортировка, полный обзор изменений — в пресс-релизе.

Introducing RediSearch 2.0. Full-text search on top of Redis. Вышла версия 2.0 с новой архитектурой, которая, как заявляют разработчики, стала х2 быстрее и более масштабируемой. Немногим ранее появился также новый модуль для Redis — RedisRaft.

Announcing Vitess 8. Vitess можно использовать с помощью vitess-operator + посмотреть несколько докладов о Vitess на Kubecon+CloudNativeCon NA 2020 (ссылки на доклады в статье).

Misc

Dropbox goes virtual first. Dropbox оставит своих сотрудников на удаленке и после карантина. Отличный тренд, открытые вакансии для SRE.

The Future of Ops Jobs. Размышления от Charity Majors на тему того, какими навыками необходимо обладать современному девопсу, чтобы оставаться востребованым. P.S. Нужно всегда быть на шаг впереди.

After two years at the bottom of the sea, Microsoft’s outlandish experiment reappears

Microsoft’s underwater data centre resurfaces after two years. Microsoft погружал свои сервера под воду, они сделали дата-центр на дне океана. С тех пор прошло 2 года, как оказалось, failure rate у серверов ниже, чем в классическом DC.

Extending Android Device Compatibility for Let’s Encrypt Certificates. LetsEncrypt добавит поддержку для устаревших Android-устройств. Ранее проблема была в том, что Android 7.1.1 и более младшие версии не доверяли ISRG Root X1.

How Facebook is bringing QUIC to billions. Facebook перевели более 75% трафика на HTTP/3. В статье описывают, что такое QUIC и HTTP/3, какие преимущества получили и планы на будущее.

Introducing GitHub Container Registry. GitHub представили свой Container Registry. Решение будет бесплатным для публичных имиджей. Если учесть, что Docker Hub добавил rate limits — вполне можно рассмотреть Container Registry.

RSS Memory usage: VictoriaMetrics vs Prometheus

Prometheus vs VictoriaMetrics benchmark on node_exporter metrics. В статье делают бенчмарк Prometheus vs VictoriaMetrics и данными с node_exporter (наверное, самым популярным экспортером в экосистеме.

Результаты:

  • Prometheus нужно в 7 раз больше дискового пространства.
  • Prometheus использует в 6 раз больше IO на чтение на нагрузке.
  • CPU usage одинаковый.
  • Prometheus нужно в 5 раз больше оперативной памяти.

Над дайджестом работали:

Предыдущие выпуски

👍ПодобаєтьсяСподобалось9
До обраногоВ обраному4
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Объясните, если кто знает по теме VictoriaMetrics vs Prometheus.
VictoriaMetrics позиционируется как timseriesDB.
Если узкое место систем мониторинга именно в timseriesDB, то почему не взять что-то более или менее пригодное не только для мониторинга.
Например взять тот же Druid, сделать к нему коннектор и использовать его не только для хранения данных мониторинга но и BI аналитики.
Немогу понять зачем этот огород с очередным узкоспециализированными engine-ом? Это не камень в огород VictoriaMetrics, если что.
Я упускаю какой-то нюанс?

Мысли:
* специализированные решения «лучше» работают (потребляют меньше ресурсов/денег, чаще проще в настройках и менеджменте) по сравнению с универсальными;
* если мониторинг начнёт генерить много данных и принимающая сторона «захлебнётся», это обычно не так критично чем ляжет BI слой;
* независимое масштабирование этих подсистем;

Спасибо.
Частично согласен.

если мониторинг начнёт генерить много данных и принимающая сторона «захлебнётся»,

а) Это вряд ли, потому что объем данных в BI обычно сильно больше.
б) всегда можно организовать на уровне сервиса отдельный ресурс пул для мониторинговых данных.

независимое масштабирование этих подсистем;

Как бы да, но утилизация ресурсов выше в конечно итоге при использовании одной подситсемы вместо двух.

VM раньше позиционировалась исключительно как альтернативный (по отношению к таносам и прочим) лонгтерм сторадж для Prometheus, так как последний не умеет длительный срок метрики хранить
а потом между ними в интернете была знаменитая словесная заруба на почве разных взглядов на PromQL, после которой у VM появилась куча всего своего — начиная от агентов и заканчивая анализатором аномалий для метрик (но уже в платной версии) и они стали прямыми конкурентами Prometheus

почему не взять что-то
не только для хранения данных мониторинга но и BI аналитики

я, не без подобных мыслей, выбрал для хранения метрик более универсальный ClickHouse

разных взглядов на PromQL

Вот об этом я не слышал, но я и неособо слежу за системами мониторинга.
Спасибо.

У VM есть больше возможностей для работы с PromQL, а именно язык запросов MetricsQL docs.victoriametrics.com/MetricsQL.html

sql немножк сложнее чем promql/metricsql, да и сложнее сам по себе Clickhouse в обслуживании

sql немножк сложнее чем promql/metricsql

вообще можно ничего о SQL не знать, когда строишь запросы в Grafana, через Graphite query editor — это определенно один из самый простых вариантов

сложнее сам по себе Clickhouse в обслуживании

как два года назад настроил, так до сих пор хлеба не просит

InnoDB — это совсем не про time series :) Вряд ли она справится с типичной нагрузкой time series баз данных, когда туда записываются данные со скоростью в миллион строк в секунду на протяжении нескольких месяцев или даже лет.

Может, имелась ввиду InfluxDB? Она требует намного больше RAM и CPU по сравнению с VictoriaMetrics при работе с одним и тем же набором данных — см. docs.victoriametrics.com/Articles.html#benchmarks .

Спасибо за Ваши старания и за проделанную работу!
Всегда очень радуюсь, когда вижу новый дайджест!
Спасибо товарищи, Вы делаете очень полезную работу!

Отличный материал, спасибо !

Підписатись на коментарі