AR для військових: як «бачити крізь броню» та вражати ворожу техніку за допомогою системи від LimpidArmor

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

У рубриці DOU Проектор спеціалісти презентують свій продукт (як стартап, так і ламповий pet-проект).

Мене звати Михайло, я керівник компанії Limpid Armor, яка спеціалізується на штучному інтелекті, доданій реальності та комп’ютерному зорі. Хочу розповісти про нашу розробку у військовій сфері для танків та іншої броньованої техніки. Це Land Platform Modernization Kit (LPMK) — система ситуаційної обізнаності (Situation Awareness), що дозволяє військовим «бачити крізь броню» та отримувати інформацію про довколишню ситуацію тоді, коли необхідно.

Ідея

Мене завжди приваблювали складні інженерні рішення в особливих умовах, тому свій шлях в ІТ я розпочав з роботи на бурових платформах біля африканського узбережжя та прокладання ЛЕП в іракській пустелі. Пізніше, у 2014 році, я пішов захищати Батьківщину в зоні АТО і, завдяки своїм технічним знанням, очолив підрозділ аеророзвідки.

Михайло Гречухін у зоні АТО

Там же і зародилася ідея, яка стала основою мого бізнесу. Почалося все з нашого танку, що підірвався на міні на з’їзді з Донецької кільцевої дороги неподалік від Донецького аеропорту (ДАП). Кожного разу, коли я проїжджав повз нього, я розумів, що в цілком цивільному пікапі Mitsubishi L200 пересуватися безпечніше, ніж всередині танку. Ви запитаєте чому? Ключову роль тут відіграє можливість вчасно побачити небезпеку і швидко відреагувати на неї. На жаль, у випадку з танком це неможливо. У розпал боїв за ДАП протитанкові міни просто кидали на бетон злітної смуги і водії бронетехніки не встигали на швидкості помітити їх та вчасно відреагувати.

Після демобілізації думка про цю проблему час від часу поверталася до мене на зустрічах з колишніми братами по зброї чи під час читання ветеранської прози. Я чітко розумів ситуацію, і мене непокоїло те, що важкоброньована техніка є небезпечною для екіпажу.

Аналіз ринку показав, що спроби вирішити цю проблему тоді вже були, але технологія віртуальної реальності не підходила за психофізичними характеристиками, наприклад, норвезький Combat Lab невдало тестував Oculus Rifts для водіїв танків. А проекційна технологія, що активно використовується в авіації, не давала можливості якісно працювати з оптичними потоками та тривимірними (3D) об’єктами. Так, ізраїльська система Iron Vision від Elbit Systems, анансована в 2016 році, досі проходить стадію тестування. У той час як американський дослідницький центр Tardec планував випустити систему ситуаційної обізнаності для броньованої техніки до 2025 року, а повноцінно запустити її у 2035 році.

Реалізація

Улітку 2016-го я спробував використати пристрій доданої реальності (Augmented Reality), який мав переваги над іншими технологіями, які згадані вище. Більше того, технологія AR мала ще одну дуже важливу для військових перевагу: якщо система вийде з ладу, військовослужбовець може продовжувати спокійно користуватися стандартними засобами спостереження, не знімаючи пристрій доповненої реальності. В бою ці секунди можуть дорого коштувати та зменшити шанси на виживання бойової машини та її екіпажу.

У січні 2017 ми з Ольгою Дмитрук — моїм давнім партнером з соціальних проектів та «адвокатом Диявола» усіх моїх ідей — заснували компанію Limpid Armor. Ми зібрали команду з метою створити українську систему кругового огляду для танків, взявши за основу окуляри Hololens від компанії Microsoft. І нам це вдалося!

LPMK дозволяє екіпажу бойової техніки отримувати максимум ситуаційної обізнаності (інформації про навколишню ситуацію), а саме потенційні ворожі цілі навколо, або навпаки інформацію про позиції дружніх сил та цивільні об’єкти. Система також візуалізує дані про стан двигуна машини чи кількість набоїв для різних типів зброї, роблячи процес управління бойовою машиною, певною мірою схожим на комп’ютерну гру. Система підходить як для модернізації техніки, так і для імплементації у перспективних розробках.

З самого початку ми ставили перед собою завдання передати відеопотік в додану реальність для створення в користувача ілюзії прозорої броні (член екіпажу бачить зображення ситуації поза бронею в тому напрямку, в який він повернув голову). Але після низки тестувань та численних консультацій з військовими ми додали значну кількість додаткового функціоналу. Так, наприклад, з’явився відділ штучного інтелекту. Щодо самого функціоналу системи, ми додали дев’ять класів військової техніки, цивільної форми, військової форми та трьох класів цивільної техніки. Зараз працюємо над обробкою даних для нових моделей та системами розпізнавання спалахів та диму.

Ми використовуємо технології глибинного машинного навчання (Deep Learning) для створення складних нейромережевих моделей для автоматичного розпізнавання техніки, людей та інших об’єктів у реальному часі. А технологію виявлення аномалій (Anomaly Detection) — для предективної аналітики стану техніки та алгоритмізації дій екіпажу в різних обставинах.

Наразі над системою працює команда, що налічує понад 20 спеціалістів, зведених у кілька відділів: інжинірингу та розробки вбудованого програмного забезпечення; дизайну інтерфейсів та промислового дизайну; машинного навчання та комп’ютерного зору; а також доданої реальності. Зараз наша компанія розширює штат, але, на жаль, спеціалістів потрібного рівня на ринку праці менше, ніж хотілось би.

Наша команда

У результаті замість системи лише кругового огляду ми створили комплексне рішення для наземної бойової техніки. Це рішення складається з апаратної частини — сенсори (як встановлені на самій машині, так і віддалені), сервер для обробки даних та пристрій виводу даних (AR-окуляри, монітор або планшет). А також програмної частини — склейка оптичних потоків у єдину 360° панораму за допомогою технологій комп’ютерного зору (Computer Vision) і аналізу оптичного потоку (Optical Flow Analysis) як у видимому, так і у невидимому спектрах, нейромереж розпізнавання об’єктів навколишнього середовища та автоматизованого аналізу і візуалізації даних, отриманих з сенсорів.

Оскільки сама система зазнає значного навантаження, нам також довелося вирішувати низку складних проблем, пов’язаних з усуненням затримки передачі відеопотоку з великої кількості камер одночасно, GPU оптимізацією обробки зображень в режимі реального часу, оптимізацією нейронних мереж та розробки зручного інтерфейсу для доповненої реальності і відображення телеметрії.

Після презентації альфа-версії зміни концепції продукту не закінчилися. Під час розробки ми відмовилися від електромеханічної стабілізації камер через значне ускладнення математичної моделі і, відповідно, збільшення потреби в обчислювальних ресурсах. Тоді як на етапі переговорів із замовниками виявилося, що деякі з них навіть не потребують повноцінного склеювання панорами і цілком задовольняються автоматичним перемиканням між камерами поворотом голови. Звичайно ж, ми додали і таку опцію.

Нам також довелося докласти значних зусиль для оптимізації MS Hololens до бойового застосування. Ми розробили систему передачі даних з окулярів до серверу через кабель, чого вимагають військові стандарти. Було розширено кут огляду до 75° та імплементовано стабілізацію зображення задля зручності використання в техніці під час її руху. Крім того, ми розробляємо власні окуляри доповненої реальності, котрі будуть позбавлені наявних обмежень для вирішення задач наших клієнтів.

Загалом вирішення всіх проблем йшло методом спроб та помилок, що часто приводило до кардинальних змін у використанні технологій.

Результати і плани

На виставці озброєння IDEX-2019, що проходила в Абу-Дабі (ОАЕ), було представлено альфа-версію нашої системи LPMK і підписано перші контракти на тестові поставки. Це свідчить про затребуваність наших рішень та успіх у реалізації ідеї.

Підписання ексклюзивної дилерської угоди між Limpid Armor та International Golden Group під час виставки IDEX-2019, Абу-Дабі, ОАЕ

Зараз йде повним ходом розробка бета-версії, навіть радше «версій», під конкретні вимоги замовників, оскільки кожен кінцевий продукт буде відрізнятися залежно від машини, на яку встановлюється.

Спільно з фахівцями з Організації науки і технологій НАТО (NATO Science and Technology Organization) ми долучилися до розробки стандарту візуалізації умовних позначок та інших даних в доповненій реальності. А в грудні 2018 року на засіданні робочої групи в Афінах наша концепція була взята за основу і допущена до тестувань.

Восени 2019 року ми спільно з ЦНДІ плануємо відкритий показ системи на полігоні для офіцерів ЗСУ та представників НАТО. Про що, звичайно, більш конкретно ми повідомимо пізніше. Після завершення всіх бюрократичних процедур ми подаруємо Збройним силам необхідну кількість комплектів для дослідної експлуатації.

Беручи до уваги наші перші успіхи у військовій галузі та амбітні плани, ми також запустили цивільний напрямок, який пропонує сервіси відеоаналітики та візуалізації даних у доданій реальності для промисловості. Як у військовій сфері, так і в цивільній — життя та здоров’я людини є нашим пріоритетом.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn



29 коментарів

Підписатись на коментаріВідписатись від коментарів Коментарі можуть залишати тільки користувачі з підтвердженими акаунтами.

Може вже питали. Скажіть плз, там же потрібна якась механіка, правда, не просто сенсори? Окуляри 3-рд паті, це зрозуміло, планшет — також. А інше залізо там є, чи решта просто софт? У вас була потреба виробництва? Як і де ви це робили? З софтом все ± ясно.

В нас доволі велика електро-механічна складова починаючи від корпусів для сенсорів та електро-механічних систем стабілізації камер закінчуючи кабельним підключення АР-пристрою до сервіера і самою інтеграцію АР-пристрою до шолому.

Ну і... про виробництво розповісте?

На етапі прототипіювання та випуску alpha-версії нам вистачало потужностей власної HW-лабораторії та розміщення замовлень на київських підприємствах, що працюють з оборонкою. Наразі в процесі переговорів з деякими підприємствами для масштабування продукту.

Це дуже круто! Ви займаєтесь серйозною справою) Бажаю Вам успіхів!

Майбутнє вже сьогодні.
Думаю, що й проблема зі склейкою кадрів з різних камер вирішиться швидше, ніж ви очікуєте, не дивлячись на те, що військових все і так влаштовує.

Ця задача нами вирішена, тут більше було здивування, що клієнтам підходить і без цього)))

Круто !!! успіхів !!!

Мега круто, аж дух захоплює від уявлення всіх перспектив йього продукту, і рівня професіоналізму команди. Так тримати, успіхів!

Оце круто. Не коників з гімна ліпите. Успіхів!

В чём отличие вашей разработки от этой?
www.youtube.com/watch?v=XOi__MmtN1M

*кроме очевидного факта, что свою разработку ЦАХАЛ саудам не продаст.

Основна відмінність в технології, бо Елбіт використовує давно відому проекційну технологію яка працює з 80-х років в шоломах бойових пілотів.

Успіху! Пишаюсь такими земляками.

P.S. В світлі останніх статей на ДОУ — Продуктова компанія здорової людини.

Окреме дякую за «компанію здорової людини»)))

Наконец-то что-то кроме унылых снапчатиков и CRM’ок, удачи!

Круто, что компания и первые контракты.

Сколько то лет назад придумал аналогичный концепт. Акцент не на устройстве, а на его месте в «системе». Ну и связанные с этим возможности/ограничения/перспективы. Периодически возвращаюсь к нему и что то там изменяю/модифицирую/новый взгляд/изменение точки зрения.

Очень круто! А каких специалистов ищете?

Молодці! А приклади того, що бачить механік-водій є? Цікаво було б глянути

Звучить все дуже круто. Можливо є якесь демо-відео, щоб краще зрозуміти як це все разом виглядає та працює? Ну і успіхів :)

Цьому відео більше року, восени буде нове промо.

Великі молодці! Головне щоб ваші розробки не потрапили до ворогів України . Я так розумію джерела фінансування ваші власні . Чи плануєте залучати інвестиції : ангельські чи венчурні ?

Ми вже залучали інвестиції і, звісно, плануємо продовжувати!

Круто! Компания зарегистрирована в Украине? Microsoft не против военного использования HoloLens? HoloLens 2 уже доступны для предзаказа. Реально сможете конкурировать с Microsoft по разработке очков дополненной реальности?

Дякую за відгук!

Компанія зареєстрована в Україні. MS підтримує нашу розробку на рівні американського офісу. ХЛ2 доступні, але ще не прийшли нам)

Насправді ХЛ надто перевантажений зайвими функціями. Тому ми експеремнтуємо з більш простими рішеннями.

Підписатись на коментарі