Платформа Avengers: хто і як створював AI-платформу, що допомагає Силам Оборони України

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт! Я — ALGA, військовослужбовець Центру інновацій та розвитку оборонних технологій Міністерства оборони України. Вже декілька років маю честь служити в цьому Центрі, де займаюся розробкою та впровадженням ІТ-рішень для підвищення ефективності Сил Оборони України. Одним з ключових напрямків Центру, до якого я дотичний, є розвиток ШІ-платформи Avengers, що допомагає автоматично виявляти ворожу техніку на полі бою.

У цьому блозі я хочу поділитися досвідом створення та впровадження Avengers, розповісти про її можливості та перспективи розвитку, а також про те, як штучний інтелект впливає на хід сучасної війни. Ми прагнемо створити потужну та ефективну AI-платформу, яка допоможе українським військовим швидко та точно виявляти ворожі цілі. Сподіваюсь, після публікації цього тексту ми зможемо заручитися підтримкою професіоналів, які вміють працювати з технологіями, що потребують обробки великих масивів даних та застосування сучасних алгоритмів штучного інтелекту.

Як технології змінюють хід війни

Повномасштабна війна з росією стала каталізатором для розвитку та впровадження передових військових технологій. Опинившись перед обличчям агресора, Україна активно використовує та розвиває інноваційні рішення для свого захисту. На полі бою все частіше можна побачити не лише традиційну зброю (артилерію, танки, літаки), а й новітні розробки, які змінюють хід війни. Це і маневрені FPV-дрони, що завдають точкових ударів по ворогу, і морські дрони, які успішно атакують ворожі кораблі, і сучасні системи управління, що дозволяють ефективно координувати дії різних підрозділів.

Серед цих інновацій своє місце поступово знаходить платформа штучного інтелекту Avengers, яку розробляє наша команда з Центру інновацій та розвитку оборонних технологій Міністерства оборони України. Ця AI-платформа призначена для аналізу великих обсягів даних з дронів та стаціонарних камер, щоб допомагати військовим швидко та точно виявляти ворожу техніку.

AI на війні: оптимізація замість фантастичних сценаріїв

Штучний інтелект у сфері оборони — це не про створення Скайнета з фільму «Термінатор» чи роботів, які захоплять світ, як у фільмі «Матриця», а про оптимізацію бойових дій. Застосовуючи AI для автоматизації рутинних завдань, таких як аналіз відео та тексту й розпізнавання сигналів БпЛА, ми скорочуємо час, необхідний для прийняття рішень, і підвищуємо ефективність наших військ.

Багато країн декларували намір розвивати AI у сфері оборони ще з 90-х, але реальний прогрес був обмежений. Однією з ключових перешкод виявився брак даних, необхідних для навчання ефективних AI-систем. Такі дані майже неможливо згенерувати штучно у симуляторі чи на полігоні, а справжнє поле бою є неймовірно складним і різноманітним.

Це ж обмеження стояло і перед нами на початку повномасштабного вторгнення росії. Проте, як країна, що воює, ми маємо унікальний доступ до тисяч фото і відеоматеріалів із технікою ворога. Організація та розмітка цього масиву даних у форму, яка дає змогу навчати моделі машинного навчання, стали основою для розвитку AI-платформи Avengers.

Шлях платформи Avengers

Перші рядки коду Avengers були написані ще у березні 2022 року командою волонтерів, яка складалась з інженерів цивільних компаній, стартапів та університетів. Ці люди шукали можливість долучитись до спротиву, і ми знаходили один одного через персональні контакти та ГО «Аеророзвідка».

У 2022 році Avengers залишалась однією моделлю нейронної мережі, яка обробляла відеостріми та надсилала сповіщення про виявлені об’єкти у месенджер Signal. Вона працювала на звичайних серверах та не претендувала на обробку великих обсягів даних.

Згодом ми почали розширювати команду та долучати розробників та фахівців з machine learning, які до цього працювали у провідних продуктових та аутсорсингових компаніях. Вакансії публікували через соціальні мережі, Lobby X та нішеві чати спільноти. За останні роки AI-спільнота України дуже виросла, але спеціалістів хорошого рівня все ще недостатньо, щоб покрити потреби ринку. Тому стикаємось з такими проблемами, що і цивільні компанії, коли важко знайти спеціалістів, але й потрібно тримати високий рівень інженерної культури. Проте нам все ще вдається залучати людей завдяки амбітності ідей і складності задач.

Заручившись досвідом залучених спеціалістів, ми почали системну роботу над створенням повноцінної платформи. У 2023 році заклали фундамент для масштабованої інфраструктури — налагодили процеси розробки та експериментів з нейромережами, зібрали пайплайн для автоматизації обробки відеоданих та розпочали підготовку даних для датасету.

У квітні 2023 року наша команда зіткнулась з необхідністю розробки одного з модулів для Avengers. На жаль, ми не мали для цього власних ресурсів. Щоб вирішити блокер, необхідно було знайти готову команду розробників. Разом з ГО «Аеророзвідка» ми звернулися до однієї ІТ-команди, яка допомогла у підборі та формуванні команди. Громадська організація взяла на себе всі організаційні питання: від комунікації та рекрутингу до онбордингу волонтерів. Завдяки цьому ми змогли швидко розпочати розробку потрібного модуля.

За що хочемо висловити щиру подяку нашим друзям з ГО «Аеророзвідка»!

2024 рік був присвячений якісним покращенням моделі для відео з БпЛА, інтеграції з платформою відеоаналізу поля бою Vezha, яка є частиною екосистеми бойових інструментів DELTA. Про це ми розповімо трохи нижче і значно ширше.

Наразі Сили оборони України щотижня автоматично виявляють тисячі одиниць ворожої техніки завдяки платформі штучного інтелекту Avengers. Наш продукт прискорює процес прийняття рішень щодо ураження ворожих цілей та мінімізує ризик помилок, пов’язаних з людським фактором.

Як працює Avengers: архітектура, технології та навчання AI

Система обробляє відеостріми або записи, виділяючи з них окремі кадри для аналізу нейромережею. В результаті виявляються потенційні цілі з визначенням рівня правдивості, а дані передаються в інші модулі екосистеми військових інструментів DELTA. Як-то Vezha для дешифрування або Monitor для відображення на карті.

Розробки проходять постійні випробування в умовах реальних бойових дій, що дає змогу аналізувати помилки та ітеративно дотреновувати рішення. Команда розробки тримає прямий звʼязок з користувачами, завдяки чому й може отримувати чесний фідбек та приклади хибних виявлень.

В основі платформи — рішення, які базуються на моделях комп’ютерного зору та глибинного навчання (machine learning). Розробники адаптували найкращі ML-практики з цивільної сфери до вимог військових завдань, використовуючи велику кількість якісних даних, зібраних безпосередньо на полі бою.

Варто зазначити, що якісний і масштабний датасет — це ключовий елемент у створенні ефективних AI-рішень. Від його якості залежить, наскільки добре працюватимуть моделі, побудовані на його основі. Що більше в датасеті різноманітних зображень, розмічених точно й у різних умовах, то кращими будуть результати тренування штучного інтелекту.

На початку 2023 року однією з найкращих доступних моделей для розпізнавання техніки вважалася розробка команди проєкту «На Долоні» від компанії Twist Robotics. Вони мали власний унікальний датасет, який був переданий нашій команді та став основою для створення Avengers.

У березні того ж року ми спільно з ГО «Аеророзвідка» розпочали новий напрям, завданням якого стала розмітка об’єктів на базі датасету «На Долоні» для покращення AI-модулів. У липні 2023 ми перейшли на стандартизацію даних за форматом UMD (Universal Military Dataset версія). Хоч перехід на цей формат і знизив темпи розмітки, проте якість і відповідність новим вимогам значно підвищили ефективність тренувань моделей.

Крім цього, ГО «Аеророзвідка» через свій нетворкінг здобувала відео для розмітки з тими видами техніки, яких не вистачало для урівноваження датасету. Найчастіше це були зображення рідкісної та високо пріоритетної техніки.

Ми шукали тренувальні дані для найбільших помилок моделі, аугментували (data augmentation), тюнінгували трекінг об’єктів, щоб користувач не отримував той же рухомий об’єкт як нове виявлення.

Для оцінки якості моделі БпЛА відео використовується «недоторканий» валідаційний датасет з максимально різними параметрами виявлень на відео, який з часом доповнюється. Тому якщо будь-яка команда розробить кращу модель — ми зможемо об’єктивно це заміряти, і будемо раді розмістити її на платформі.

З погляду безпеки Avengers розроблена з урахуванням найкращих практик захисту та накопиченого досвіду бойової системи DELTA. Безпека платформи гарантується комплексним підходом, що поєднує найкращі практики Центру інновацій та знаходиться під наглядом Центру Реагування на кіберінциденти.

У чому особливість Avengers серед світових аналогів

На жаль, Україна стала полем битви для випробування новітніх військових технологій. Але ця трагічна ситуація надає нам можливість постійно збирати дані для навчання AI в реальних бойових умовах.

Моделі Avengers навчаються на великій кількості відео та фото з дронів і стаціонарних камер. Такий різноманітний і об’ємний датасет дає змогу створити AI-модель з високою точністю виявлення та ідентифікації цілей. Це надає Avengers перевагу над аналогами, які часто обмежені в доступі до таких даних, адже впродовж теперішнього періоду розквіту штучного інтелекту світ ще не стикався з війною такого масштабу та інтенсивності.

До того ж знаходження команди розробки всередині сил оборони допомагає краще налагоджувати взаємодію та отримання даних. Платформа відкриває можливості для України експортувати AI-технології партнерам та мати спільні напрямки розробок.

Avengers 2.0: виклики та плани

Військові хочуть, щоб Avengers працювала в режимі майже реального часу, підсвічуючи потенційні цілі, які може пропустити людина, особливо при перегляді великої кількості відеострімів.

Проте досягти ідеальної точності при такій швидкості дуже складно. Що чутливіша система, то більше вона «бачить», але й тим вища ймовірність хибних спрацьовувань. Наприклад, якщо налаштувати систему на виявлення замаскованої техніки, вона може помилково ідентифікувати кущі як ворожі об’єкти. Ми постійно експериментуємо з різними режимами роботи платформи, параметрами нейромереж, спілкуємося з дешифрувальниками та екіпажами, щоб знайти оптимальне співвідношення між швидкістю, точністю та мінімізацією помилкових спрацьовувань. Це складний і постійний процес, який вимагає глибокого розуміння як технологій AI, так і потреб військових на полі бою.

Інший напрям нашої роботи — забезпечення неперервної обробки великих обсягів різноманітних військових даних у хмарному середовищі засобами AI. Це допомагає зменшити залежність бойових процесів від кількості операторів та аналітиків, розпаралелити обробку інформації, а отже зберігати час військових спеціалістів та прискорити прийняття рішень. А швидші інформованіші дії на полі бою і є нашою асиметричною перевагою над ворогом.

Ще однією задачею для Avengers є пришвидшення розвитку автономності українських безпілотних систем та розвідувальних інструментів. Для цього ми надаємо розробникам доступ до великих якісних датасетів, інструментів та потужностей для тренування AI-рішень та їх об’єктивного порівняння.

Наразі одним із головних пріоритетів є покращення зручності роботи з автоматичними виявленнями для дешифрувальників. Ці люди у модулі відео аналізу поля бою Vezha слідкують за трансляціями або ж продивляються записи, щоб якнайточніше ідентифікувати цілі для ураження та сформувати потреби дорозвідки. Кожна технологія має свої обмеження та особливості, тому потрібна відповідна обгортка над ними. Наприклад, неефективно витрачати час на перегляд десятків повідомлень про одну й ту саму ціль, якщо зображення нечітке. Розв’язання цієї проблеми можливе як шляхом удосконалення AI-моделей, так і шляхом покращення інтерфейсу програми.

Платформа, формат датасету та процеси дозволяють застосовувати її в різних сферах. Наприклад, можна обробляти фото високої роздільної здатності, проводити розшифровку та аналіз аудіо перехоплень, досліджувати радіосигнали, працювати з великими текстовими масивами та генерувати висновки за допомогою LLM. Ми відкриті до співпраці з професійними командами, що мають досвід у відповідних галузях та підтверджені користувачами user-кейси, які можна вирішити завдяки платформі Avengers.

Ціль нашої команди — не змагатись за першість в AI-рішеннях для конкретних застосувань, а прискорити досягнення топових результатів всією військово-цивільною спільнотою, надаючи готову технічну базу та допомагаючи експертизою. Для цього також розробили юридичний процес, і перші розробники дронів вже отримали доступ до платформи.

У майбутньому ми бачимо цю платформу певним аналогом Hugging Face для українського miltech — як лабораторію для спільноти розробників з різноманітними наборами даних, інструментами, що дозволять створювати AI-рішення широкого спектра застосувань.