DevOps дайджест #10 — Docker fork, управление контейнерами, украинский Cloud хостинг, немного о безопасности

В выпуске: обзор систем монитринга, time-series баз данных, агрегаторов логов, чем опасны микросервисы и несколько уязвимостей.

Недавно я делал анонс Cloud хостинга Scaleway и его выход в public beta, ребята из vps.ua запустили свой облачный сервис. Сервера на SSD накопителях, в панели управления нашел аналоги AWS EC2, EBS, VPC, Security Groups, IAM. Есть поддержка Chef (не пробовал). Машинки можно хостить как в Украине (Харьков), так и в Европе (Роттердам) и Штатах (Атланта).

What It Costs to Run Let's Encrypt — всем нам очень нравятся бесплатные сертификаты от Let's Encrypt, но у ребят нехилый бюджет, чтобы содержать компанию. Бюджет компании на 2017 почти 3M USD, в статье есть ссылка на Donate :)

Статьи и гиды

Microservices — Please, don’t — автор перечисляет недостатки микросервисов и утверждает, что во многих случаях их лучше не использовать. Собственно, дельные замечания, на мой взгляд, но ответ автора на вопрос «When should you use microservices?» — «When you’re ready as an engineering organization» похож на заявление «Хорошие программисты пишут хороший софт».

5 Logstash Alternatives — сравнение log-агрегаторов, приводятся плюсы и минусы таких систем, как logstash, fluentd, filebeat, syslog-ng и других.

Top10 Time Series Databases — автор сравнивает большое количество time-series баз данных (DalmatinerDB, InfluxDB, Prometheus и др.) на примере задачи хранения и выборки данных по состоянии и производительности приложений.

The infrastructure behind Twitter: efficiency and optimization — обзор инфраструктуры Twitter и миграция на Mesos.

Processing Payments at Scale at Groupon —инфраструктура и технологический стек Groupon. По заявлениям, каждый день принимают $17M.

How to Migrate from HTTP to HTTPS a Complete Guide — пошаговое руководство миграции с http на https.

50 Top Server Monitoring & Application Performance Monitoring (APM) Solutions — большой список сервисов для мониторинга с минималистичным описанием. Не включили Promotheus.io, на который лично я смотрю с большим интересом.

Creating Jenkins pipelines with Ansible — руководство из двух частей, автоматизируем работу с Jenkins pipeline при помощи Ansible. Для нетерпеливых оформлена готовая Ansible role.

Контейнеры и виртуализации

A Handy Guide to the Mesos-Kubernetes-Swarm Jungle — автор пытается помочь выбрать правильный инструмент для управления контейнерами. А вот здесь описывается, какой хороший Kubernetes.

Docker comes to Raspberry Pi — Docker стал поддерживать Raspbian OS, можно строить свои hardware кластеры с Docker Swarm.

A Docker Fork: Talk of a Split Is Now on the Table — размышления на тему развития Docker Engine как базового продукта для контейнеризации.

8 best practices for building containerized applications.

How we survived HackerNews using Docker and AWS — очередная коротенькая success story.

Безопасность

MySQL critical vulnerability — уязвимость, позволяющая получить root привилегии. Для использования необходима аутентификация. MariaDB и Percona Server тоже с этой проблемой.

Pokémon-themed Umbreon Linux Rootkit Hits x86, ARM Systems — rootkit для x86, ARM Linux, функционирующий в пространстве пользователя и способный подменять функции libc.

Top 5 AppSec Defense needs in the Modern Era — основной посыл статьи: OWASP уже около 15 лет, и за это время вектор атак на приложения практически не изменился, а вот методологии разработки изменились существенно (архитектура, облачные сервисы, контейнеры). Описывается влияние на безопасность ChatOps, корреляции событий приложения, визуализации.

9 tips for a more secure continuous delivery pipeline — безопасность CI/CD систем критична, автор дает 9 советов о том, как ее повысить.

Why America's newest stock exchange is preparing for failure — как работает новая американская фондовая биржа, система Active-Active. Если коротко, то полное дублирование.

Релизы и сервисы

InfluxDB 1.0 — time-series database с поддержкой http api и sql-подобного языка.

Swift 3.0 — улучшена поддержка Linux, нарушена обратная совместимость с Swift 2.2 и 2.3.

Varnish 5.0 — добавлена экспериментальная поддержка HTTP/2, увеличена эффективность работы Ban Lurker, остальное читаем в Release Notes.

Apache CouchDB v2.0 — значительная оптимизация производительности (по заявлениям разработчиков) и встроенная поддержка кластеризации + новый интерфейс админ панели (написан на современных React + Flux).

Zabbix 3.2.

Vim 8.0.

Wireshark 2.2.

Книги

Nginx Cookbook — Advanced Recipes for High Performance Load Balancing.

DevOps and Security — A Roadmap to Success. A Practical Guide to Bridging DevOps and Security .

ChatOps — Managing Operations in Group Chat.

Работа

DevOps Engineer в Grid Dynamics — описание вакансии по ссылке. Здесь хочу только сказать, что команда в Харькове мне лично очень понравилась, толковые ребята, с которыми хочется работать (в отделе около 15 человек, будет с кем что обсудить). Подобная вакансия в Харькове, Львове или Кракове.

Юмор

Major change request 1 day before the release:
Major change request 1 day before the release


← Предыдущий выпуск: DevOps дайджест #9

👍НравитсяПонравилось0
В избранноеВ избранном0
Подписаться на автора
LinkedIn



Підписуйтесь: Soundcloud | Google Podcast | YouTube

29 комментариев

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

юбилейный дайджест получился самым интересным, спасибо! (итого 9 вкладок в браузере для изучения)

Спасибо. Рад, что дайджест полезен.

Сервера на SSD накопителях
vps.ua/servers
Наши VPS расположены на 2U серверах Supermicro с двумя 6-ядерными процессорами Intel Xeon E5 последнего поколения, 64-128 ГБ оперативной памяти и восемью ЖЕСТКИМИ ДИСКАМИ
а здесь vps.ua/openvz-hosting
вообще шасси Supermicro MicroCloud нарисовано
ребята из vps.ua запустили свой облачный сервис
Значно дорожче ніж ScaleWay за ті самі гроші.

Спасибо за Ваше замечание. Мы приняли его к нашему сведению. Разрешите прояснить позицию от лица компании VPS.ua. Мы позиционируем наше облако как провайдеры инфраструктуры как сервиса, а не отдельных облачных серверов. У нас можно создать свой отдельный VLAN или даже несколько и подключить к разным виртуальным сетевым картам на своих виртуальных машинах. VLAN сети — это полноценный изолированный L2, поэтому настройка фейловера ничем не отличается от таковой для физических серверов в отдельной инфраструктуре. Причем все манипуляции с сетевыми инфраструктурами, с конфигурацией серверов (кол-во дисков, сетевых адаптеров и их коммутацию) клиент может осуществлять в графическом редакторе нашей панели управления. Отметим, что загрузкой своих образов, никого сейчас не удивишь, но возможность создания wiard-подобных сценариев для разворачивания как отдельных серверов, так и целых инфраструктур это именно то, что нас отличает от конкурентов. В добавок к этому, наши дата-центры размещены в Украине и Нидерландах, что даёт гибкость в выборе размещения облачного VPS.

Я розумію що таке PaaS/IaaS. В Scaleway теж є можливість керувати дисками і нетворкінгом/фаєрволом але судячи з всього, функцій менше ніж у вас.

Панель керування це ваша розробка чи взяли існуюче?

Панель управления от наших партнеров, которые разрабатываю всю платформу облака в целом. Я бы рекомендовал Вам взять у нас бесплатный тестовый период, чтобы посмотреть более детально на наше облако изнутри.

Ксатити а дата цетны в Украине это скорее минут чем плюс? или сейчас не важно?
у вас получается дешевле чем у Амазона?)

Я не могу сказать, что облако в Украине у нас не популярно. Если это было бы так, то зачем тогда его содержать? :) Так или иначе, есть целые украинские организации, которым пинг очень важен. Облако в Европе для них не идеальный вариант. Насчет цен, то мы следим за рынком в целом и считаем себя конкурентоспособными.

в данном случае ,я думаю не о пинге,а более низменных вещах, чтоли)
типа «масок шоу» которые прийдкт и парализуют работу и изымут данные. Может конечно этого уже в Укарине нет, но как то я, пока с подозрением к хранению даных на территории экс СССР отношусь)

В Україні зручно дев-сервери тримати. Менші пінги — швидше йде розробка. Я би всі дев-серваки свої в Україну перекинув якби була така можливість.

Наша компания в этом помочь Вам не может?)

Может, я якраз зібрався з’їжджати з фріхосту, буду і на вас дивитися.

Мы готовы дать любой объем ресурсов в любой из локации, а также обговорить индивидуальные цены. Всегда открыты для диалога :) Но, честно говоря, мы славимся нашей поддержкой.

Для таких людей — облако в Европе идеально :)

Я уже пару лет как с AWS и доволен :)

Дорого. В нас півтора десятки слабких інстансів, те се, і рахунок солідний виходить.
Звісно якщо замовник платить то чому ні?

t2.micro що по характеристикам напевне відповідає 15 «юнітам» дешевше в 1.5 раза — 10$.

К сожалению, не понял что имеется ввиду под

t2.micro
. Можете разъяснить?

если вы следите за рынком , то ио идее должны знать своих конкуретнов в лицож)).
это так называется модель инстнаса в Amazon Web Services.

Теперь стало понятно, спасибо :) Это хорошее замечание насчет цен в наш адрес. Будем реагировать на подобные замечания с нашей стороны.

AWS взагалі дає дуже багато можливостей по автоматизації інфраструктури. Поки що, якщо ви хочете оркеструвати не 10 vps а 10 000, то нічого кращого не придумали.

У нас уже есть инструменты по удобному управления инфраструктурой. Пользователи, которые уже опробовали на практике эти инструменты — довольны.

www.ec2instances.info ось тут дивитися на ціни, тільки не забудьте регіон вибрати коректний.

А чим ви виправдаєте те, що ваші KVM VPS також надмірно дорогі? При чому, порівнюючи не тільки із західними аналогами, але й українськими. Ось, наприклад, ІТЛ (до речі, український ДЦ також в Харкові): itldc.com/vds.

А ваші ціни на OpenVZ взагалі захмарні — що у ІТЛ, що в західних хостерів KVM зі схожими характеристиками і то дешевше.

В данный момент, наша компания не развивает направление KVM VPS и OpenVZ VPS. KVM мы уже используем в облаке, а OpenVZ трудно назвать классическими VPS в нашем понимании. Мы даже хотели полностью закрыть обе линейки. Однажды, мы даже убирали из сайта упоминания об этих видах VPS. Однако, наши постоянные клиенты попросили нас этого не делать. Более того, для них (по их запросу) были созданы именно такие пакеты, которые представлены у нас сайте. Цены же полностью удовлетворяют этих же клиентов. Если же вообще перестанут пользоваться этими услугами, то мы полностью закроем продажи в этих двух направлениях, так как мы не наблюдаем никакого роста и интереса со стороны клиентов уже в течение пары лет.
Что касается цены, то повторюсь, что цена полностью удовлетворяет тех клиентов, которые нас попросили оставить данные линейки продуктов. Помимо этого, что ещё может входить в стоимость аренды сервера? Конечно же аптайм и качество нашей поддержки. Про аптайм я не будут говорить, так как его можно проверить только на практике.
А вот про поддержку мне есть что сказать :) Клиенты, к счастью, имеют позитивное мнение о нашей поддержки. У нас не нужно ждать ответа в чате в течение часа и более, техническая поддержка не молчит неделями.
У нас есть стандарты, которые мы строго придерживаемся. Это такие стандарты, где на вопросы в чате мы стараемся отвечать не дольше, чем за 1 минуту. Хотя статистика чат-системы говорит о том, что среднее время на ответ в чате — 46 секунд. Техническая поддержка отвечает в тикете не дольше, чем 2 часа. Кроме чата и тикета, нам можно позвонить в любое время дня и ночи или написать в Skype. Как вывод — наша поддержка доступна в любое время дня и ночи :)
Немного сухих фактов, у нас отдел поддержки — это один из самых крупных отделов в компании. Мы ставим ставку на качество предоставляемых услуг и, таким образом, делаем всё возможное, чтобы клиент, который получил в аренду VPS, в добавок получил ещё сервис, который редко можно встретить на рынке СНГ такого уровня.

Приклад конкретно з мого досвіду, аби не кидатися порожніми фразами: вже 2 роки користуюся KVM VPS від vultr.com (рефка). За цей період час простою зафіксований зовнішнім моніторінгом склав близько 15 хвилин (це менше десятитисячної долі відсотка). Потреба звертатися в підтримку була лише 1 раз — треба було відкрити 25й порт, який в них за замовчанням закритий, аби запобігти використання серверів спамерами. Впродовж 5 хвилин після звернення порт вже було відкрито.

Найдешевший тариф в них за $5 дає 1 ядро процесора (100%), 768Mb RAM, 15Gb SSD, ipv4 + ipv6 (ipv6 виділяється блоком).
А ось тариф, який найбільше схожий на ваш найдешевший K-2: $20, 2 ядра, 2Gb RAM, 45Gb SSD.
При чому, там нема поділу вартості на оплату за місяць чи за рік — вказані ціни діють незалежно від терміну (при помісячній оплаті у вас K-2 коштує $29.95), а тарифікація погодинна. Як бачите, ціна помітно нижче, а ресурсів або стільки ж або більше (SSD більш ніж вдвічі більше, а у вас, до речі, навіть не вказано тип дисків).
Плюс при реєстраціє дарують $5 і є ще купони на $20 та $50 з певними умовами. А також є партнерська програма.

А щодо ілюзії непопулярності KVM VPS — вона у вас виникла саме через скажені тарифи (за які мало хто хоче платити), бо насправді зараз в світі KVM — це найпопулярніші сервери: DigitalOcean, Linode, Vultr — живуть за рахунок продажу KVM серверів.

Спасибо за Ваш ответ. Начну с того, что классические KVM VPS для нас не в приоритете, поскольку KVM виртуализация взята за основу наших облачных VPS.
Кстати, в облаке можно использовать и любую другую виртуализацию.
Когда есть 2 похожих продукта, где 1-ый по-настоящему облачный, а 2-ой обычный (он же классический), то мы отдаем приоритет именно облачному хостингу.
Насчет цены, у нас легко можно попросить скидку в чате. Я пришел (в качестве клиента) в чат и получил скидку в 30% конкретно на KVM VPS. Каждый день -бывает разная скидка, если интересно, то можете каждый день в чат приходить и узнавать какая скидка сегодня.
В итоге, взял тариф K-2 на год + 30% скидки. Годичная цена составила $213.84. Цена за месяц составляет $17.82. Уже дешевле, чем тариф, который есть у www.vultr.com/pricing , но меньше диска в тарифе меньше диска. Насчет диска, то мы используем HDD + SSD кеширование.
Разница между пакетами состоит ещё в том, что у нас в KVM VPS нет настолько минимальных пакетов с 1 ядром и 768 МБ ОЗУ. Мы от них отказались давно. Тем не менее, я обязательно передам нашему руководству информацию о том, что минимальные пакеты вновь интересны для потенциальных клиентов.
Что касается бонусов на баланс, то клиенты у нас также могут получить денежные бонусы на баланс и использовать их в качестве оплаты. Для этого есть раздел «скидки и акции» в нашей панели клиента. Я приводить примеры не буду, так как любой желающий может зарегистрироваться у нас и посмотреть, что можно получить бесплатно и в каком объеме. Мы не жадные, скажу сразу :)
Если нужны большие деньги, которые можно вывести и даже неплохо подзаработать, то для таких клиентов есть партнерская программа vps.ua/affiliates

у нас легко можно попросить скидку в чате. Я пришел (в качестве клиента) в чат и получил скидку в 30% конкретно на KVM VPS. Каждый день -бывает разная скидка
Це жахливий маркетинг! Якщо у вас є можливість знизити тарифи на 30% — просто зробіть це. Коли я заходжу на сайти хостерів, про які писав вище, а потім до вас і бачу, що в будь-кого з них тарифи суттєво нижче, в мене вже навіть не виникне бажання шукати, а чи нема у вас якоїсь знижки і тим більше я ніколи не зможу припустити, що у вас може бути така шалена знижка, що з нею тариф вийде дешевше, ніж в них. І я не думаю, що я в цьому надто унікальний. Люди, які знайомі із західними хостерами, будуть просто проходити повз. Тим більше, що в цих хостерів нема практики секретних знижок за запитом — всі знижки максимально афішуються і це також додатковий фактор привабливості.
Когда есть 2 похожих продукта, где 1-ый по-настоящему облачный, а 2-ой обычный (он же классический), то мы отдаем приоритет именно облачному хостингу.
Це якась дивна гонитва за вчорашньою модою (вчорашньою, бо пік популярності хмар в СНД був у 2012).
До речі, якщо під хмарністю розуміти можливість додавання ресурсів до існуючого сервера, то той же Вультр дозволяю в два кліки перейти на більший тариф. Це не таке гнучке масштабування, як у вас, але без можливості налаштувати обсяг RAM помегабайтно можна якось прожити :)
Справжнім хмарником, в моєму розумінні, колись був Клодо, який посекундно тарифікував процесорний час та пікове споживання RAM в межах хвилини, тож з одного боку можна було обмежитися мінімальною оплатою при низькому навантаженні, а з іншого — вистояти проти хаброефекту без жодних додаткових дій (бо віртуальному серверу постійно був доступний максимум ресурсів). Але, здається, вони відмовилися від такого формату. І мені не зовсім зрозуміло, як вони захищалися від оверселінгу (і чи був захист взагалі).
у нас в KVM VPS нет настолько минимальных пакетов с 1 ядром и 768 МБ ОЗУ. Мы от них отказались давно. Тем не менее, я обязательно передам нашему руководству информацию о том, что минимальные пакеты вновь интересны для потенциальных клиентов.
Ну, вам варто спочатку оцінити можливості цього пакету конкретно у Вультра, бо він трохи відрізняється від конкурентів. По-перше, в решти мінімальний тариф за $5 — це 512Mb RAM, що дійсно мало для чого придатно у випадку 64х-бітної ОС. По-друге, у Вультра дуже гарне залізо: у конкурентів подібні тарифи набирають в межах 1000-1200 балів в UnixBench, а у Вультра — більше 2000 балів. Це хоч і синтетичний тест, але для порівняння непогано підходить. І з реального досвіду: цього тарифа достатньо для магазина на OpenCart, де 15 тисяч товарів в базі і відвідуваність до 20 відвідувачів одночасно. Коли пікова відвідуваність стала дострибувати до 30, довелося збільшити кількість воркерів php-fpm, що потягло і необхідність збільшення RAM до 1Gb. По процесору там взагалі жодних питань, запас ще величезний.
Тож справа не тільки в числових параметрах тарифу, але й тому, що за ними реально стоїть.
Насчет диска, то мы используем HDD + SSD кеширование.
Це жирнючий мінус. Західні хостери вже давно на “обчислювальних” серверах використовують виключно SSD. HDD можна зустріти хіба що на тарифах призначених для організації сховищ.

Подписаться на комментарии