KubeCon London 2025 | Kubernetes в епоху AI

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

В цьому епізоді ми розмірковуємо над Kubernetes в епоху AI на KubeCon London 2025.

— Чи прийшов час робити форк Kubernetes для AI.

— Чому Kubernetes не встигає за змінами, адже фундаментальні речі як залізо, нетворк, безпека та розподілення ресурсів роблять свою справу і магія тут не працює.

— Розіграш борду: залишайте свої відповіді в коментарях — ми оберемо найкращій.

Kubernetes стає Platform of Choice для мульті-агентних архітектур, предиктивної аналітики, MLOps та Inference. Але побудова систем на базі LLM — це так само, як побудова на основі будь-якої іншому black box в нашій архітектурі — просто ця скринька за своєю суттю є непередбачуваною та ймовірнісною.

LLM workloads значно відрізняються за обчислювальними вимогами через довжину запиту, відмінності моделей та їх авторегресійну природу, що призводить до непередбачуваного летенсі. Більше того, поява методів мультиплексування моделей (наприклад, LoRA) вносить нові складнощі, які вимагають стратегій балансування навантаження, що враховують LLM.

LLM Prompt Security та як HAProxy експерементують з безпековою складовою LLM на рівнях load balancers ексклюзивно від Director of Solutions Engineering HAproxy.

00:00 Лондон та KubeCon вайб
00:02:05 Найбільший KubeCon ever
00:03:14 Нові виклики AI ери
00:04:00 HAproxy — LLM Security
00:06:00 Розподілення ресурсів для AI workloads
00:07:54 Дошка оголошень та вакансії
00:08:00 Еволюція Observability. @otel-official
00:09:00 OpenTelemetry лідер Observability
00:09:53 dash0.com в деталях
00:11:18 Дві найкращі події KubeCon
00:12:15 Napkin Challenge. @re-cinq
00:14:24 Розіграш борду. Залишай відповіді в коментарях
00:17:30 Kube-DC @voatsaps
00:19:18 Golden Kubestronaut Programm
00:20:43 pa-pa-paparazzi на House of Kube
00:21:11 Чому Google купив Wiz
00:21:40 Люди які завжди мають гроші — storage
00:23:10 Чи потрібна стандартизація Custom Kuberentes Controllers
00:24:50 Класна ідея для стартаперів від @voatsaps
00:26:26 Козацька чайка в гарному місці Лондона

Приєднуйся до DeadOpsClub
www.youtube.com/@DenysVasyliev/join