Mistral Small 3.1. Розробники з ЄС випустили нову «надлегку» AI-модель

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Компанія Mistral випустила нову надлегку модель — це Mistral Small 3.1. Головна «фіча», як і у LeChat — це «блискавична» швидкість роботи моделі:

За бенчмарками вона майже усюди перевершує найближчих конкурентів (але є декілька програних порівнянь):

Тут особливо цікаво порівняння із Gemma від Google — найпотужнішої моделі для одного GPU. Французькі розробники також кажуть, що їх модель повинна працювати із однієї RTX 4090.

На завдання із великим контекстним вікном вона справляється непогано, але на 128 тисячах токенах просідають майже усі:

В цілому така модель розрахована на використання для чат-ботів і віртуальних помічників.

Також її можна розгортати локально (що гарно), але не сказав би, що вона розрахована на роботів. Свіжа система Jetson Orin Nano від Nvidia має потужність у 67 TOPS (на рівні NVIDIA 2070 Super), і цього явно буде недостатньо для моделі.

Де спробувати:

• Завантажити можна і hugging_face: Mistral Small 3.1 Base та Mistral Small 3.1 Instruct;
• Або на Google Cloud Vertex AI;
• Також можна «помацати» онлайн на La Plateforme;
• Підтримку NVIDIA NIM обіцяють пізніше, за декілька тижнів.

Читайте: Надія ЄС: Le Chat від європейців виявився «надшвидким»