Робота з локальними моделями AI — повний гайд

Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!

2023-й став проривним роком у поширенні генеративного AI в маси, але в залежності від недешевих хмарних цензурованих сервісів від Open AI, Google чи Microsoft є свої мінуси.

Схоже у 2024 нас чекає зовсім інший вимір конкуренції в цій галузі, коли відкриті, безкоштовні та нецензуровані моделі почнуть масово використовутися локально чи на власних серверах.

У цьому відео ми детально розглядаємо, як працювати з локальними моделями штучного інтелекту. Від текстових моделей до vision-моделей, розглянемо, як використовувати ці потужні інструменти в LM Studio та через термінал з ollama. Також обговоримо, як налаштувати локальний сервер, сумісний з API OpenAI, для ваших проєктів з AI.

Цей гайд підійде як для початківців, так і для досвідчених розробників.
Репозиторій з кодом.

Таймстемпи:

0:00 — Вступ: Сенс локальних моделей AI
8:50 — Працюємо з текстовими моделями в LM Studio
21:22 — Порівнюємо швидкість виконання моделей в CPU та GPU
24:50 — Працюємо з vision-моделями в LM Studio
29:25 — Використання моделей в терміналі з ollama
32:00 — Запускаємо локальний сервер сумісний з API OpenAI
41:29 — Використовуємо локальний сервер для моделей з Vision
58:20 — Висновки і прогнози

👍ПодобаєтьсяСподобалось3
До обраногоВ обраному3
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Трохи на додачу від індійських колег)
www.youtube.com/...​_channel=freeCodeCamp.org

Я б не назвав це повним гайдом роботи з локальними моделями, а скоріше «як використовувати GUI обгортку над ggml для деяких LLM моделей»

Можете пояснити значення терміну «Модель» в контексті ШІ? БО всі це використовують.
Модель це дані + алгоритм чи як?

Ну якщо це пояснювати максимально просто, то воно виглядає так,
Спочатку розробляється архітектура нейронної мережі, як вона буде працювати і створюється її код, наприклад, зараз для великих мовних моделей найбільш поширена архітектура «трансформер». Грубо говорячи воно формує алгоритм формування самої моделі.
Далі модель тренується не великих обсягах даних — це реально дорогий процес, треба багато потужного заліза, для моделей рівня Mixtral 8×7b чи GPT3-3.5 — це мільйони доларів. Ну і звичайно треба мати ці дані.
В результаті ми получаємо власне модель нейронної мережі, яка по суті є набором чисел, що описують ваги «weights». Далі ми модель можемо запускати для своїх проблем, щоб вона нам щось генерувала (процес називається inference). Для цього є інший код, що безпосередньо запускає модель.
По суті так, можна сказати що нейронна мережа певним чином містить в собі дані, на яких вона натренована, але не точно, вона містить, який наближений зліпок. Це працює наче людська пам’ять, яка не обов’язково пам’ятає все в деталях, лише наближено. Для розуміння співвідношення обсягу даних для тренування і розмірів самої моделі — це може бути 1000 до 1.
На відміну від «звичайних» програм ми тут не пишемо алгоритм роботи мережі, ми пишемо алгоритм її тренування і виконання.

То модель в розумінні ШІ це завжди тренована ней мережа?
Мені здавалося, що трансформери це щось простіше ніж нейромережа. Типу словник, де слова повʼязані між собою вагами, взʼязками типу «перед» і «після».
Треба щось почитати про це

наскільки реально зробити свій сервіс генерації зображень типу Міджорні? Є відкритий код і дані щоб мати базові функції? Які потужності потрібні?

Так, все реально, тільки для цього використовуються інші модельки, наприклад, Stable Diffusion, по залізу — як завжди, чим потужніше, тим краще, треба експериментувати для своїх потреб. Є багато туторіалів як це зробити, наприклад, ось www.pcworld.com/...​es-locally-on-the-pc.html

Можете спробувати цей вебінтерфейс для Stable Diffusion — github.com/lllyasviel/Fooocus
Моделі можете скачати тут — civitai.com/models

повністю реально. на гітхабі є опенсорс аналоги, які за якістю можуть конкурувати, а іноді видавати кращі результати, ніж midjourney. Беріть код, запускайте та генеруйте)

Підписатись на коментарі