Microsoft запускає свою найменшу ШІ-модель Phi-3, що навчалась на «казках на ніч»

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Microsoft релізнула нову версію своєї ШІ-моделі Phi-3 Mini, першу з трьох невеликих моделей, які компанія планує випустити.

Phi-3 Mini налічує 3,8 мільярда параметрів і навчається на меншому наборі даних порівняно з такими LLM, як GPT-4. Зараз вона доступна на Azure, Hugging Face та Ollama. Microsoft планує випустити Phi-3 Small (7 млрд параметрів) і Phi-3 Medium (14 млрд параметрів). Параметри означають те, скільки комплексних інструкцій може зрозуміти модель.

Розробники тренували Phi-3 за «навчальною програмою». Вони надихалися тим, як діти вчаться з казок на ніч, книжок з простими словами та структурами речень, які говорять про більш складні теми, — розповів Ерік Бойд, корпоративний віцепрезидент Microsoft Azure AI Platform.

Оскільки у світі не так багато дитячих книжок, для навчання Phi розробники склали список з понад 3 000 слів і попросили LLM створити «дитячі книжки».

Хоча моделі сімейства Phi-3 володіють деякими загальними знаннями, їх не порівняти з GPT-4 або іншими LLM за широтою охоплення: є велика різниця в тому, які відповіді дає LLM, яка вивчила весь інтернет, порівняно з меншою моделлю.