DSE Fest — технично и понятно про data science для разработчиков. Первые доклады уже на сайте >>
×Закрыть

Meltdown\Spectre. Перформанс системы после патча

В свете последних событий, компании потихоньку начинают патчится от уязвимости в процессорах Intel, появляются первые результаты падения производительности систем вроде этого, результаты весьма противоречивые:
blog.dbi-services.com/...​oracle-database-aws-slob

Мы на работе столкнулись с заметным падением производительности Cassandra из-за возросшей latency SSD почти в 2-3 раза.

Интересно было бы собрать какую-то статистику от «товарищей по несчастью» на DOU

LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Ещё новостей прибежало
www.heise.de/...​eral-serious-4040648.html

В голове крутится только песенка из детства:
«На меня надвигается по стене майский жук.
Ну и пусть надвигается, я на мине сижу.
Нажимаю на кнопочку — майский жук улетел.
Можно выпить и стопочку, если ты уцелел.»
(Другая версия, тоже неплохо)

Как хорошо что этой проблемой занимается Intel а не Microsoft, иначе до конца месяца не осталось бы ни одного рабочего компьютера в мире.

точнее этой проблемой не занимается. интел сейчас юзерам дает выбор из двух стульев.

Нашу проблему так и не удалось победить, точнее нашли временное решение, но оно оказалось именно временным. Возникает более-менее серьезная I\O нагрузка и Кассандра просто ложится в этот момент. Впрочем, скоро это будет не нашей головной болью, проект переезжает в Бангалор, а уж как там проблему будут решать прекрасные специалисты из солнечной Индии — остается лишь догадываться ))

проблему будут решать

VS

прекрасные специалисты из солнечной Индии

Кто-то из нас пъян или запутался в сарказмах :)

Ну я же не виноват, что всех попросили на выход, сказали что Кумар разберется :)

Та что-то в Киеве я смотрю уже не первый случай :(

Так это не в Киеве, а в европке, но контора реально захотела себе выстрелить в ногу и у нее это получилось глобально

После обновления абсолютно никакой ризницы не заметил вообще, тоже система на SSD и всё как работало так и работает !

Мы на работе столкнулись с заметным падением производительности Cassandra из-за возросшей latency SSD почти в 2-3 раза.

Гмм...
www.scylladb.com/...​t-of-avoiding-a-meltdown
Возможно, МС где-то в другом месте нарукожопил в процессе патчинга. Выше видно, что амазон эта беда не задела.

У нас совпало с тем, что мы как раз в понедельник стали активно грузить данные в систему, результаты ошеломили — до 200-300 pending compactions на узле при том, что кластер затюнили практически по максимуму для загрузки

Откройте кейс, пожалуй.
Латенси от юзер-процессов практически не зависит при достаточной нагрузке, так что пусть разбираются. У вас же не дедики?

Уже открыли тикет для Datastax, они понятное дело кивают в сторону MS. В понедельник будем разбираться с MS, вообще какая-то фигня на ровном месте началась с дисками, при том что все настройки для компакшна и так уже на максимуме

Поднимется спрос на User mode файловые системы, основанные на SPDK или чем-то похожем.

Так и вообще ядро убрать можно оставив только отдельные нужные апи.

А розкажіть краще про свою конфігурацію стореджа. Цікавить у першу чергу I/O scheduler. І чи пробували blk-mq і, відповідно, mq-deadline, Kyber і BFQ (саме той, який в апстрімі, а не -sq).

У нас все проще — Azure, Premium Storage SSD...в прошлую пятницу был мейнтененс со стороны Майкрософта, все виртуалки на время погасили, включили после патча...и систему было не узнать ((

latency SSD почти в 2-3 раза.
Azure, Premium Storage SSD

у них же нет никакого SLA по дисковой latency?
а в обсолютных величинах это как выглядит? (0.1ms->0.3ms? 1ms->3ms? ... R/W?)

все виртуалки на время погасили, включили после патча...и систему было не узнать

может с патчами вообще никак не связано и VM просто запустились уже на другом железе
облако :-)

на форониксе есть хороший тест по этому поводу. там тестировались разные юзкейсы. больше всего пострадал I\O.

Ио просел очень сильно. Это факт к сожалению.

Подписаться на комментарии