Що таке AI Gateway | Розбираємо основні фічі на прикладі Gloo AI Gateway від solo.io

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

В AIRe фрейворку базовим ствердженням є те, що inference — це наш новий аплікейшен.
Те це, чого в нас ще не було. Наприклад, ключі та доступи до AI провайдерів, аккаунтінг токенів, раутинг, балансування, фаіловер між моделями, контексте кешування та використання RAG, евалюешн та моніторинг моделей, контроль сенсетів даних у промптах та відповідях, датапоізонінг та інші аспекти безпеки.
Я був у пошуку control plane для нового типу аплікацій — інструменту для управління inference.
І як тільки зі сцени KubeCon в Salt Lake City я почув анонс нової ініціативи від Блумберг та solo.io — я зрозумів — це саме те що я шукаю.
В цьому епізоді ми розбираємося з AI Gateways.

Посилання на матеріали:

github.com/den-vasyliev/aire

www.solo.io/products/gloo-ai-gateway

docs.solo.io/...​latest/about/architecture

gateway.envoyproxy.io

github.com/...​ze-ai/open-inference-spec

slahiruc.medium.com/...​xds-protocol-f46b23732b7c

www.npmjs.com/...​e/@upstash/semantic-cache

docs.solo.io/...​ay/main/ai/tutorials/rag

👍ПодобаєтьсяСподобалось3
До обраногоВ обраному1
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Підписатись на коментарі