Що таке AI Gateway | Розбираємо основні фічі на прикладі Gloo AI Gateway від solo.io
В AIRe фрейворку базовим ствердженням є те, що inference — це наш новий аплікейшен.
Те це, чого в нас ще не було. Наприклад, ключі та доступи до AI провайдерів, аккаунтінг токенів, раутинг, балансування, фаіловер між моделями, контексте кешування та використання RAG, евалюешн та моніторинг моделей, контроль сенсетів даних у промптах та відповідях, датапоізонінг та інші аспекти безпеки.
Я був у пошуку control plane для нового типу аплікацій — інструменту для управління inference.
І як тільки зі сцени KubeCon в Salt Lake City я почув анонс нової ініціативи від Блумберг та solo.io — я зрозумів — це саме те що я шукаю.
В цьому епізоді ми розбираємося з AI Gateways.
Посилання на матеріали:
www.solo.io/products/gloo-ai-gateway
docs.solo.io/...latest/about/architecture
github.com/...ze-ai/open-inference-spec
slahiruc.medium.com/...xds-protocol-f46b23732b7c
Немає коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів