Різне · 13 січня 2018, 14:46 1630

Meltdown\Spectre. Перформанс системы после патча

В свете последних событий, компании потихоньку начинают патчится от уязвимости в процессорах Intel, появляются первые результаты падения производительности систем вроде этого, результаты весьма противоречивые:
blog.dbi-services.com/...oracle-database-aws-slob

Мы на работе столкнулись с заметным падением производительности Cassandra из-за возросшей latency SSD почти в 2-3 раза.

Интересно было бы собрать какую-то статистику от «товарищей по несчастью» на DOU

Теми: Security, производительность

👍ПодобаєтьсяСподобалось0

До обраногоВ обраному0

Facebook

Twitter

LinkedIn

Ctrl + Enter

Ctrl + Enter

Valentin Nechayev уповноважений по милицях в Дарницькі печери 05.05.2018 19:44

Ещё новостей прибежало
www.heise.de/...eral-serious-4040648.html

В голове крутится только песенка из детства:
«На меня надвигается по стене майский жук.
Ну и пусть надвигается, я на мине сижу.
Нажимаю на кнопочку — майский жук улетел.
Можно выпить и стопочку, если ты уцелел.»
(Другая версия, тоже неплохо)

Відповісти

Підтримати

anonymous 25.01.2018 00:43

-

Відповісти

Підтримати

Artyom Krivokrisenko 25.01.2018 01:12

Как хорошо что этой проблемой занимается Intel а не Microsoft, иначе до конца месяца не осталось бы ни одного рабочего компьютера в мире.

Відповісти

Підтримати

anonymous 25.01.2018 01:15

-

Відповісти

Підтримати

Artyom Krivokrisenko

anonymous 25.01.2018 01:29

Нашу проблему так и не удалось победить, точнее нашли временное решение, но оно оказалось именно временным. Возникает более-менее серьезная I\O нагрузка и Кассандра просто ложится в этот момент. Впрочем, скоро это будет не нашей головной болью, проект переезжает в Бангалор, а уж как там проблему будут решать прекрасные специалисты из солнечной Индии — остается лишь догадываться ))

Відповісти

Підтримати

anonymous 25.01.2018 11:05

-

Відповісти

Підтримати

anonymous 25.01.2018 11:07

Ну я же не виноват, что всех попросили на выход, сказали что Кумар разберется :)

Відповісти

Підтримати

anonymous 25.01.2018 11:28

-

Відповісти

Підтримати

anonymous 25.01.2018 11:39

Так это не в Киеве, а в европке, но контора реально захотела себе выстрелить в ногу и у нее это получилось глобально

Відповісти

Підтримати

Зимний Лис 14.01.2018 00:07

После обновления абсолютно никакой ризницы не заметил вообще, тоже система на SSD и всё как работало так и работает !

Відповісти

Підтримати

Tim Tretyak ASM, TS Consultant в Hewlett Packard Enterprise 13.01.2018 23:35

Мы на работе столкнулись с заметным падением производительности Cassandra из-за возросшей latency SSD почти в 2-3 раза.

Гмм...
www.scylladb.com/...t-of-avoiding-a-meltdown
Возможно, МС где-то в другом месте нарукожопил в процессе патчинга. Выше видно, что амазон эта беда не задела.

Відповісти

Підтримати

anonymous 13.01.2018 23:46

У нас совпало с тем, что мы как раз в понедельник стали активно грузить данные в систему, результаты ошеломили — до 200-300 pending compactions на узле при том, что кластер затюнили практически по максимуму для загрузки

Відповісти

Підтримати

Tim Tretyak ASM, TS Consultant в Hewlett Packard Enterprise 14.01.2018 00:32

Откройте кейс, пожалуй.
Латенси от юзер-процессов практически не зависит при достаточной нагрузке, так что пусть разбираются. У вас же не дедики?

Відповісти

Підтримати

anonymous 14.01.2018 00:40

Уже открыли тикет для Datastax, они понятное дело кивают в сторону MS. В понедельник будем разбираться с MS, вообще какая-то фигня на ровном месте началась с дисками, при том что все настройки для компакшна и так уже на максимуме

Відповісти

Підтримати

Artyom Krivokrisenko 13.01.2018 22:47

Поднимется спрос на User mode файловые системы, основанные на SPDK или чем-то похожем.

Відповісти

Підтримати

Alex Fogol Software Developer, C/C++ Expert 15.01.2018 18:38

Так и вообще ядро убрать можно оставив только отдельные нужные апи.

Відповісти

Підтримати

Artyom Krivokrisenko

Oleksandr Natalenko Senior Principal Software Maintenance Engineer в Red Hat 13.01.2018 22:16

А розкажіть краще про свою конфігурацію стореджа. Цікавить у першу чергу I/O scheduler. І чи пробували blk-mq і, відповідно, mq-deadline, Kyber і BFQ (саме той, який в апстрімі, а не -sq).

Відповісти

Підтримати

anonymous 13.01.2018 23:03

У нас все проще — Azure, Premium Storage SSD...в прошлую пятницу был мейнтененс со стороны Майкрософта, все виртуалки на время погасили, включили после патча...и систему было не узнать ((

Відповісти

Підтримати

Oleksandr Natalenko

Oleg Korol POWER Ops, again 15.01.2018 15:27

latency SSD почти в 2-3 раза.

Azure, Premium Storage SSD

у них же нет никакого SLA по дисковой latency?
а в обсолютных величинах это как выглядит? (0.1ms->0.3ms? 1ms->3ms? ... R/W?)

все виртуалки на время погасили, включили после патча...и систему было не узнать

может с патчами вообще никак не связано и VM просто запустились уже на другом железе
облако :-)

Відповісти

Підтримати

anonymous 13.01.2018 18:20

-

Відповісти

Підтримати

Конь в Пальто 13.01.2018 19:39

Ио просел очень сильно. Это факт к сожалению.

Відповісти

Підтримати

Підписатись на коментарі

Ваша пошта

Не підписуватись