ШІ чекає свого Прометея

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Уявіть древню Грецію. Ви живете у підніжжя Олімпу. Щоночі, на горі, боги влаштовують оргії навколо вогню. А ви лише дивитесь та заздрите.

Ви не можете торкнутися звабливих язиків полум’я, зігрітися його теплом, бачити вночі як у день. Ваша заповітна мрія — принести його додому, грітися від полум’я та готувати, нарешті, щось гаряче.

Уявили?

А тепер порівняймо вогонь з гори Олімп з генеративним штучним інтелектом.

З легкої руки OpenAI його називають GPT. Але OpenAI намагається отримати патент на GPT та зареєструвати торговельну марку, тому не варто звикати саме до цих трьох літер.

Можемо називати новітні моделі як Великі Генеративні Трансформерні Мультимодальні моделі, але така назва — дичина для більшості. Тому коли я тут пишу про «ШІ», то маю на увазі саме ВГТММ (LGTMM).

Але повернемося у древню Грецію. Що спільного між вогнем Олімпу та ШІ. Де тут аналогія? Адже на відміну від древніх греків чатом GPT користувалися тут, мабуть, усі?

Так, правда ваша, але частково. В нашій аналогії користуватися чатом GPT, це те саме, що дивитися на гору Олімп, бачити вогонь, але не відчувати його тепло!

Зараз аргументую

По перше, ви не можете взяти його з собою на безлюдний острів, де немає інтернету.

По друге, ви не можете покласти його в кишеню, і бути впевненим, що ваші з ним діалоги не побачать ніхто крім вас.

По третє, ви не можете використовувати його для бізнесу. Бо токени коштують відчутних грошей. Особливо якщо треба «ганяти» через контекст структурований контент, використовуючи API.

Останнє, мабуть, найголовніше, що не дає ШІ поширитися в більшість сфер життя. Бо для багатьох життєвих задач його використання буде корисно, але не рентабельно.

Наприклад: консультації з продажу, сервіси підтримки користувачів, гіди та екскурсоводи, та, по суті будь-які асистенти. Все це прекрасно працює з GPT-4, але вартість токенів виявляється досить відчутною, в той час, як користь є абстрактною.

Тож, які в нас є варіанти?

Можна чекати, поки ціни якісних комерційних моделей стануть доступними. Щоб це не означало. Але дивлячись у чесні очі Сема Альтмана, щось не дуже віриться.)

А ще можна звернутися до Open Source рішень. Давайте цей варіант розглянемо більш детально.

Перше, що стає нам на заваді, це вимоги до заліза.

Для прикладу одна з потужних генеративних open source моделей займає приблизно терабайт на носії даних та потребує понад 400 гігабайтів оперативної пам’яті!

Тож не намагайтесь встановити її на ваш PC. Схожий за розмірами хмарний сервіс від умовного Amazon буде коштувати приблизно 30 баксів на годину.

І я, до речі, не впевнений, що таке залізо зможе прийнятно обслужити більше одного користувача в моменті.

А ще зважте, що якість відповідей подібної моделі десь на рівні від GPT-3 до GPT-4, навіть ближче до 3.5, тобто, м’яко кажучи, не достатнє. І при всій повазі до Amazon, це все ще не кишенькове рішення.

Для ШІ в кишені потрібно зменшити вимоги до заліза та швидкість роботи моделі.

Чи можна це зробити? Так, ось декілька методів!

— Дистиляція. Навчання дочірньої моделі, на основі знань великої.

— Квантування. Зменшення бітності чисел моделі.

— Спарсинг. Видалення менш важливих параметрів моделі.

— Hardware acceleration. Використання просунутого заліза.

Що ж ми маємо на виході?

Ось деякі моделі, які мають отримані таким чином кишенькові варіанти. LLaMA, GPT-Neo, OPT, T5, BLOOM, BERT, T5, XLNet, Phi-3 ну і ще досить багато інших. Це open source з репозиторіями на GitHub, або на їх сайтах, або на Hugging Face.

Та всі вони, на мій субʼєктивний погляд, не дотягують до GPT-3.5. Тобто до рівня ШІ з якого й почався весь цей ажіотаж навколо генеративного ШІ в листопаді 2022 року.

На доступному залізі вони працюють, але повільно, в них мале вікно контексту, а задачі зі структурування даних вони з тріском провалюють.

Тобто по суті використати їх як корисний персональний ШІ інструмент не реально. В мене не вийшло! Якщо в когось є якісь кейси подібних речей — відпишіться, будь ласка, буду дуже вдячний!

На закінчення

Ситуація така, що Сем Альтман (гендир OpenAi), на жаль, явно грає на стороні «Богів». Він не має наміру зробити ШІ дешевим та доступним за межами OpenAi.

А світ поки що перейшов в режим очікування нового Прометея для ШІ. Це має бути хтось, хто уособлює якості Лінуса Торвальдса по софту, та Генрі Форда, для залізяк.