Meta анонсувала нову мовну модель — LLaMA

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

24 лютого Meta представили мовну модель LLaMA (Large Language Model Meta AI), розроблену, щоб допомогти дослідникам працювати в галузі штучного інтелекту.

«Ми віримо, що вся спільнота штучного інтелекту — академічні дослідники, громадянське суспільство, політики та індустрія — повинні працювати разом, щоб розробити чіткі вказівки щодо відповідального використання штучного інтелекту загалом і великих мовних моделей зокрема. Ми з нетерпінням очікуємо побачити, чого спільнота може навчитися — і зрештою створити — за допомогою LLaMA.»

Як і інші великі мовні моделі, LLaMA працює, приймаючи послідовність слів як вхідні дані та прогнозуючи наступне слово для рекурсивного генерування тексту. Щоб навчити модель, розробники використовували контент на 20 найпоширеніших мовах, зосередившись на мовах з латиницею та кирилицею.

Основні моделі LLaMA тренуються на великому наборі немаркованих даних, що робить їх ідеальними для тонкого налаштування для різноманітних завдань. LLaMA буде доступною в кількох розмірах (параметри 7B, 13B, 33B і 65B).

Аналітики оцінюють, що LLaMA з 65 мільярдами параметрів є «конкурентоспроможною» з Chinchilla70B і PaLM-540B від Google. Вона потужніша за модель, яку Google використовував для демонстрації свого пошуку в чаті Bard.

«Сьогоднішнє оголошення Meta, здається, є кроком у тестуванні їхніх генеративних можливостей штучного інтелекту, щоб вони могли впровадити їх у свої продукти в майбутньому», — сказав Гіл Лурія, старший аналітик програмного забезпечення D.A. Davidson.