Meta анонсує «найшвидший у світі» суперкомп’ютер для AI-досліджень

Марк Цукерберг оголосив, що комп’ютер AI Research SuperCluster (RSC), що буде доопрацьовано вже влітку, стане найшвидшим комп’ютером у світі. Суперкомп’ютер зі штучним інтелектом зараз є п’ятим найшвидшим у світі.

Для чого Meta суперкомп’ютер

RSC допоможе дослідникам AI в Meta створювати нові та кращі моделі штучного інтелекту, які можуть вчитися на трильйонах прикладів, працювати з сотнями різних мов, аналізувати текст, зображення та відео разом, а також розробляти нові інструменти доповненої реальності і багато іншого.

«Ми сподіваємося, що RSC допоможе нам створити абсолютно нові системи штучного інтелекту, які зможуть, наприклад, забезпечувати голосовий переклад у реальному часі для великих груп людей, кожна з яких розмовляє різною мовою, щоб вони могли безперешкодно співпрацювати над дослідницьким проєктом або разом грати в AR-ігри», — йдеться в блозі.

Історія створення

Дослідницька група Meta AI створювала суперкомп’ютер протягом багатьох років.

«Перше покоління цієї інфраструктури, розроблене в 2017 році, має 22 000 графічних процесорів NVIDIA V100 Tensor Core в одному кластері, який виконує 35 000 навчальних завдань на день. На початку 2020 року ми вирішили, що найкращий спосіб прискорити прогрес — це розробити нову обчислювальну інфраструктуру з чистого аркуша, щоб скористатися перевагами нової технології GPU. Ми хотіли, щоб ця інфраструктура могла навчати моделі з понад трильйоном параметрів на наборах даних розміром з ексабайт — що для відчуття масштабу еквівалентно 36 000 років високоякісного відео», — йдеться в повідомленні.

Разом з цим, Цукерберг заявляє, що будь-які навчальні дані — надійно захищені: «RSC розроблений з нуля з урахуванням конфіденційності та безпеки, щоб дослідники Meta могли безпечно навчати моделі, використовуючи зашифровані дані, створені користувачами, які не розшифровуються до початку навчання. Перш ніж імпортувати дані в RSC, вони повинні пройти процес перевірки конфіденційності, щоб підтвердити, що вони були правильно анонімізовані. Потім дані шифруються, перш ніж їх можна буде використовувати для навчання моделей штучного інтелекту, а ключі дешифрування регулярно видаляються, щоб гарантувати, що старі дані недоступні»

Що під капотом

RSC складається з 760 систем NVIDIA DGX A100, 6080 графічних процесорів, причому кожен GPU A100 є потужнішим, ніж V100, який використовувався в попередній системі. Графічні процесори зв’язуються через дворівневу мережу Clos NVIDIA Quantum 200 Гбіт/с InfiniBand. Рівень зберігання RSC має 175 петабайт

Pure Storage FlashArray, 46 петабайт кешу в системах Penguin Computing Altus і 10 петабайт Pure Storage FlashBlade.

«Ранні тести на RSC, порівняно зі застарілою виробничою та дослідницькою інфраструктурою Meta, показали, що вона запускає робочі процеси комп’ютерного зору до 20 разів швидше, працює бібліотека колективної комунікації NVIDIA (NCCL) більш ніж у дев’ять разів швидше та навчає великомасштабні моделі NLP втричі швидше. Це означає, що модель з десятками мільярдів параметрів може закінчити навчання за три тижні в порівнянні з дев’ятьма тижнями раніше», — йдеться у блозі.

Коли RSC буде завершено, мережева структура InfiniBand з’єднає 16 000 графічних процесорів як кінцеві точки, що зробить її однією з найбільших таких мереж, розгорнутих на сьогоднішній день. Крім того, досідники розробили систему кешування та зберігання, яка може обслуговувати 16 ТБ/с навчальних даних, і планують масштабувати її до 1 екзабайта.

Проблеми розробки

Цікаво, що RSC розпочався як повністю remote-проєкт, який команда приблизно за півтора року перетворила на функціонуючий кластер. COVID-19 також наклав обмеження постачання майже всього:, від чіпів до таких компонентів, як оптика та графічні процесори, до будівельних матеріалів.

Що відбувається зараз

RSC працює, але його розвиток триває. Протягом 2022 року планують збільшити кількість графічних процесорів з 6 080 до 16 000, що підвищить продуктивність навчання ШІ більш ніж у 2,5 рази.

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

фейсбук самая мерзкая компания из фанга, в мире дефицит полупроводников а они очередную разпознавалку котиков строят

Цікаво який там хешрейт...))

А давайте я скажу, що під капотом: Скайнет, із виконанням коду на комп′ютерах та телефонах користувачів фейсбуку. А те що на фото — просто ферма для майнингу.

Підписатись на коментарі