Робота з локальними моделями AI — повний гайд

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

2023-й став проривним роком у поширенні генеративного AI в маси, але в залежності від недешевих хмарних цензурованих сервісів від Open AI, Google чи Microsoft є свої мінуси.

Схоже у 2024 нас чекає зовсім інший вимір конкуренції в цій галузі, коли відкриті, безкоштовні та нецензуровані моделі почнуть масово використовутися локально чи на власних серверах.

У цьому відео ми детально розглядаємо, як працювати з локальними моделями штучного інтелекту. Від текстових моделей до vision-моделей, розглянемо, як використовувати ці потужні інструменти в LM Studio та через термінал з ollama. Також обговоримо, як налаштувати локальний сервер, сумісний з API OpenAI, для ваших проєктів з AI.

Цей гайд підійде як для початківців, так і для досвідчених розробників.
Репозиторій з кодом.

Таймстемпи:

0:00 — Вступ: Сенс локальних моделей AI
8:50 — Працюємо з текстовими моделями в LM Studio
21:22 — Порівнюємо швидкість виконання моделей в CPU та GPU
24:50 — Працюємо з vision-моделями в LM Studio
29:25 — Використання моделей в терміналі з ollama
32:00 — Запускаємо локальний сервер сумісний з API OpenAI
41:29 — Використовуємо локальний сервер для моделей з Vision
58:20 — Висновки і прогнози