«Тепер я знаю кунг-фу»: Як роботи проходять десятиріччя навчання за годину у симуляціях

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

«Прожити» роки за години

Вчені з 20 дослідницьких лабораторій представили нову платформу для симуляції роботів — Genesis.

Система використовує текстові запити (по факту — промпти), для створення 3D світів із реалістичною фізикою. Таким чином, роботам вдається тренуватися десятиліттями (у віртуальному часі) за кілька годин комп’ютерного часу.

«Одна година обчислень дає роботу 10 років навчального досвіду. Саме так Нео зміг опанувати бойові мистецтва за мить у Додзьо з ’Матриці’,» — написав співавтор дослідження Genesis Джим Фан на X.

Динамічні світи

Команда представила можливість створювати «4D динамічні світи». Це 3D, але із часом — не надто складно розшифрувати. Традиційно симулятори вимагають багато ручної роботи художників — і автоматизація дозволить скоротити багато часу у проектах.

Система перетворює текстові описи на повні віртуальні середовища з реалістичною фізикою, рухом камер і поведінкою об’єктів. І виглядає це красиво.

Цифри, цифри, і ще раз цифри

Науковці поділилися основними досягненнями свого дослідження:

• Швидкість: на платформі роботи навчаються у 430,000 разів швидше, ніж у реальному світі;
• Обчислення фізики відбуваються до 80 разів швидше, ніж у попередніх симуляторах (наприклад, Nvidia Isaac Gym);
• Паралелізм: платформа може запускати до 100,000 симуляцій одночасно.

Проект написаний на Python, знаходиться у відкритому доступі і повністю відкритий для підлаштування під свої задачі.

Різниця із дифузійними (відео) моделями: Genesis будує цілий симульований світ, у той час як традиційні моделі відеосинтезу працюють лише зі статистичною обробкою пікселів. Це можна використати, у тому числі для створення реалістичних ігор.

Багато науковців для проєкту Genesis залучили із провідних вишів: MIT, Stenford та з компаній на кшталт NVIDIA.

А що думаєте ви? Чи стане у нагоді така система для симуляцій навчання роботехніки? Можливо у когось вже є готові кейси використання? Діліться своїми думками!