Доброго дня.
Я думаю розпочати роботу над проєктом гібридного контролера польоту для бпла з можливістю візуального супроводу.
І от у мене таке питання, чи існують у природі алгоритми придатні до запуску на STM32H723VGH6, які здатні більш чи менш точно слідувати за певним об’єктом що рухається у просторі.
Ось така є реклама в лінкедин на цю тему: www.linkedin.com/...are&utm_medium=member_ios
є отаке openmv.io
але хз чи його потужності хватить на дрон.
Це про трекінг. Я колись в чатику скидав книжку та статті.
Суть, що алгоритми для трекінга набагато простіші, ніж для комп’ютерного зору — вони навіть на старих фотоапаратах працювали — щоб тримати рухливий об’єкт в фокусі.
Трохи лінків звідти:
en.wikipedia.org/wiki/Video_tracking
www.wiley.com/... Practice-p-9780470749647
en.wikipedia.org/...i/Moving_object_detection
en.wikipedia.org/...eground_detection#Surveys
viso.ai/...learning/object-tracking
ui.adsabs.harvard.edu/...5SPIE.9400E..09G/abstract
Specific Open CV object trackers include the BOOSTING, MIL, KCF, CSRT, MedianFlow, TLD, MOSSE, and GOTURN trackers. Each of these trackers is best for different goals. For example, CSRT is best when the user requires a higher object tracking accuracy and can tolerate slower FPS throughput.
The MOSSE tracker is very fast, but its accuracy is even lower than tracking with KCF. Still, if you are looking for the fastest object tracking OpenCV method, MOSSE is a good choice.
А що з них влізе й на який процесор — треба пробувати. Ще й здатність відслідковувати об’єкт буде сильно залежати від умов (освітлення, контрастність об’єкту порівняно з середовищем, сталість кута огляду).
Чув про такі штуки github.com/tensorflow/tflite-micro, але дуже сумніваюсь що твій кейс можна на STM32 запилити.
У мене десь валяється USB свисток прискорювач нейромереж, який купив років 6 назад ще на аліку за 45$ здається. Так руки не дійшли погратись. Можна покапати у цю сторону. Наче повинні ці чипи коштувати не дуже дорого
Ось руські на дронах ними ще у 2016му бавились habr.com/ru/articles/368891
Просто моя мета тут я можна сильніше здешевити систему, ось у чому проблемма
На жаль, відчутне здешевлення без ефекту масштабу та без власного виробництва не можливе.
Я погоджусь з Ювженко Денис . Спершу потрібно зробити прототип, а потім оптимізовувати, бо робоча версія ніколи не запрацює. З мого досвіду ML в БПЛА — дуже недооцінюють складність реального продукту. Наприклад, розкодування відео сигналу — на дешевих чипах це не тривіальна річ. Й загалом «таке» здешевлення марна справа, бо бойова частина коштує сотні доларів й перехід від $100 до $10 контролера майже не здешевлює. А якщо врахувати ще й вартість машини, життя операторів, то й $10K це дешево, якщо виріб дійсно влучає у ціль.
моя вам порада.
беріть потужне залізо і робіть шоб прцювало.
і після того пробуйте оптимізувати і перейти на більш дешеве залізо
Те, що ти описав, це декілька паралельних алгоритмів/систем/додатків які мають працювати одночасно і виконують різні функції.
Для розпізнавання об’єктів і Computer Vision — перший
Для керування польотом дрону — другий
Для приняття рішень і синхронізації перших двох — третій.
Це в самому примітивному наближенні.
В реальності там додастся ще система комунікації з оператором, опціонально SLAM(simultaneous localization and mapping) і ще дещо по-дрібницям.
Аби це все одночасно працювало на контролері з сімейства STM32 — мені не відомо.
Jetson nano або распбері 4/5 зі стіком-прискорювачем Coral від гугла — вже реальніше. Можливо, є ще якесь підходяще залізо, ще не встиг дослідити.
Загалом, ласкаво просимо в чудернацький і фантасмагоричний світ штучного інтелекту на Edge Devices.
гадаю на такому (www.st.com/...ocessors/stm32mp255f.html)
можна пробувать
Тема про телевізійне наведення, не для форуму. Та на загал — оскільки в усіх думки сходяться, залізо слабкувате. Та вже той-же Raspberry PI підійде.
Алгоритми можна знайти у Рейнхард Клетте. Готові рішення в OpenCV.
Викладіть кацапам алгоритм — декому розуму хватить!
а вони ж не чули про opencv
Особливо в Нижньому Новгороді в філіалі Intel.
Ви якщо почитаєте по темі, то дізнаєтесь — звідки взялись ті алгоритми, як і готові бібліотеки. Навіть як то фірми типу Intel — то які конкретно філіали тих фірм, робили готові бібліотеки і взагалі займались обчислювальний цент академії наук СРСР.
Гаразд, маєте на прикметі закриті группи для більш детального обговорення?
Anton P
Oleksiy
Denys Poltorak
Slavik Savko
Sergey Volkovich
Ювженко Денис
Oleksii Nedashkivskyi
Oleksiy
Ювженко Денис
Vic
Vitaliy Yermolenko
Alex Raiev
Vic
16 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів