QA Fest — конференция №1 по тестированию и автоматизации. Финальная программа уже на сайте >>
×Закрыть

Почему AI переходит от Cloud к Fog-вычислениям

Технологии искусственного интеллекта и IoT тесно связаны и дополняют друг друга. Сама топология IoT-решений предусматривает аналитическую обработку информации на стороне Cloud. Именно из-за анализа данных, полученных из многих источников информации, мы имеем синергетический эффект всего приложения. Однако большинство сегодняшних IoT-решений применяют анализ данных только на уровне Cloud, собирая огромное количество сырых данных от многих тысяч, а иногда и миллионов периферийных устройств.

В этой статье я постараюсь показать преимущества внедрения искусственного интеллекта на возможно более ранних этапах передачи информации, применяя концепцию перехода от Cloud computing в сторону Fog computing.

Мой опыт разработки — более 30 лет, из них 17 лет — в HighTech-индустрии Израиля. В настоящее время сотрудничаю с компанией GlobalLogic на позиции Senior Solution Architect. Руководитель направления компании в области искусственного интеллекта во встроенных системах.

ІоТ сегодня: использование и преимущества

Когда в середине 90-х годов к нам в компанию «Телрад» пришли представители Java с их первым продуктом Java 1.2, у нас, embedded-программистов, был шок. Мы поняли, что теперь код с сервера может исполняться на любом периферийном устройстве под контролем единого центра и даже независимо от конкретной платформы периферийного устройства. С тех пор прошло много времени до появления по-настоящему связанных через сеть устройств, которые сегодня мы называем IoT.

Направление потока данных

Еще одно существенное изменение, которое произошло с того времени, это направление потока данных. Если раньше мы старались больше удаленно управлять устройствами, то теперь нам важнее собирать информацию с периферийных устройств, обрабатывать её с помощью программных алгоритмов, принимать решения без вовлечения человека и только потом автоматически управлять устройствами. Фактически, выполнять полный цикл приложения без участия человека.

Сегодня IoT применим в любой области бизнеса. Некоторые из областей я постарался разобрать в моей предыдущей статье.

Предсказание

Еще одним существенным развитием технологии, удачно примененной в IoT, является построение экосистемы решения. Это подразумевает объединение устройств, произведенных различными вендорами и используемыми в едином приложении. Также экосистема объединяет устройства, Cloud и людей с различными функциями. Одной из самых важных категорий решений является предсказание. Этого типа решений вообще не существовало ранее. Предсказание событий чрезвычайно важно, поскольку экономит огромные финансовые ресурсы. Это уменьшает необходимый запас складских активов и экономит выполнение различных процессов. Поэтому обмен данными, как к/из центра, так и между устройствами, это только первое видимое преимущество IoT-систем.

ІоТ завтра: перспективы

Эта индустрия развивается лавинообразным образом. По прогнозам Business Insider Intelligence, к 2025 году будет более 55 миллиардов IoT-устройств по сравнению с 9 миллиардами в 2017 году.

Какие пути монетизации синергетического эффекта искусственного интеллекта и IoT видимы сегодня:

  1. Принятие сложных решений на базе AI и автоматизация процессов с помощью IoT.
  2. Сокращение затрат на хранение, поскольку AI осуществляет прогнозирование потребления.
  3. Низкая стоимость реализации. На сегодняшний день готовое устройство с камерой, контроллером, AI-ускорителем колеблется в пределах $100-$300.
  4. AI является катализатором других решений и технологий. Привлекая внимание и удивляя своими возможностями, полное решение требует Cloud и Mobile-частей.
  5. Более эффективное построение бизнеса за счет замены людей на интеллектуальные автоматы. Например, боты на основе распознавания речи, сокращают количество сотрудников колл-центра.
  6. Применение на подвижных объектах дает возможность быстрого, недорогого и безопасного метода контроля труднодоступных и опасных мест. Например, размещение на квадрокоптере устройств AI позволяет производить диагностику высотных сооружений и применимо в зонах повышенной опасности, таких как пожары, боевые действия.
  7. Периферийное устройство IoT на базе AI не требует переустановки для решения совершенно другой задачи. Перепрошивка устройства или заливка новой модели кардинально решает задачу переориентирования конечного устройства на другую задачу.

По данным Forbes, искусственный интеллект обеспечит увеличение прибыли на 38% к 2035 году.

От информации — к знаниям

Тенденция IoT с применением AI — это движение от сбора данных к агрегации знаний.

Типичные решения IoT до настоящего времени имели следующую логику. Физические датчики измеряют аналоговую величину, микропроцессор периферийного устройства переводит ее в цифровую форму, преобразует в заданную модель и передает в локальный концентратор. Оттуда данные с нескольких периферийных устройств в пакетном режиме передаются в Cloud, где обрабатываются механизмами анализа больших данных. Принимается решение по управлению, которое передается назад в периферийные устройства для управления исполнительными механизмами, как показано на рисунке. Параллельно, данные в аналитическом виде могут поступать к пользователям.

С появлением Embedded AI ситуация кардинально изменилась. Теперь вместо того, чтобы передавать огромные количества сырых данных в облако, проводится первичный анализ прямо на периферийном устройстве. Физические датчики стали значительно более сложными устройствами, например, видеокамерами.

Вместе с этим добавилось еще одно существенное преимущество решения: возможность принимать базовые решения локально, без участия облака. Последнее добавляет целый ряд преимуществ, таких как:

  1. Работа в реальном времени — облачные решения не могут гарантировать высокую скорость реакции на события в реальном времени от всех периферийных устройств.
  2. Секретность данных за счет обработки их на локальном устройстве без передачи по сети в облако.
  3. Возможность работы с временным отсутствием связи как между собой, так и с облаком — higher level of service availability.
  4. Фильтрация шумов и случайных сигналов.
  5. Интеграция различных ІоТ-устройств peer-to-peer (без необходимости посредничества Cloud-части) создает «smart facility», added value которого на порядок выше простой суммы возможностей отдельных устройств.

Конечно, остаются и примитивные датчики, такие как контроль температуры, влажности, скорости и прочие. Но даже с такими датчиками, совокупность их показаний может обрабатываться на локальном концентраторе без участия облачных сервисов.

Такая топология решения дает качественно новый результат для локальной обработки данных и принятия решения в критически важных случаях. Но и это еще не все. Есть более сложный уровень организации решения в целом, с использованием интеллектуальных мощностей облака, способных перестраивать и адаптировать локальные модели искусственного интеллекта. Менять эти модели на лету и сравнивая полученные результаты, выбирать наиболее подходящие модели. Возникает естественный вопрос: можно ли производить корректировку обучения на периферийном уровне без участия облачных сервисов? Ответ на этот вопрос неоднозначен. Модель распознавания, в целом, может делаться только специализированными сервисами с большими компьютерными мощностями. Существуют две модели машинного распознавания, используемые сегодня в периферийных устройствах:

  • K-nearest neighbors.
  • Weight imprinting.

Обе модели тренируются датасетами на мощных вычислительных сервисах. Но обучение последнего уровня может и должно производиться на самом периферийном устройстве. Типичным приложением является модель распознавания лиц и последний уровень, натренированный на конкретного человека.

Самооптимизация системы

Взаимодействие различных устройств в общем решении может дать дополнительные выгоды как по безопасности, так и по производительности агрегатов системы. Например, при увеличении температуры батареи питания, могут снижаться допустимые обороты рабочего инструмента.

Таким образом, каждое устройство может иметь уникальные, присущие только ему характеристики. Такие как время обслуживания с учетом необходимых процедур, фактические эксплуатационные данные устройства, наиболее эффективные характеристики работы. Устройства становятся похожи на живые организмы, также уникальные в рамках своего вида. Опыт обучения одного устройства, история его жизненного цикла, помогут применить это к новым моделям, автоматически программируя их производственные циклы для наиболее эффективного использования.

Фактически, IoT-решения должны применять AI-компоненты на каждом уровне обработки и передачи данных. Таким образом, вся система становиться самооптимизирующейся.

Принцип построения AIoT-систем

Мы можем сформулировать основной принцип построения AIoT-систем следующим образом: каждый узел системы, который может быть выделен физически или логически в независимую единицу, должен стремиться обработать полученную информацию таким образом, чтобы передать другим узлам системы формализованные данные в виде абстракций, а не сырой информации. С другой стороны, должна присутствовать возможность передачи оригинальных данных по запросу узлов более высокого уровня для проверки правильности созданной абстракции любым из нижних узлов. Обучение моделей узлов производится компонентами более высокого уровня иерархии системы.

Таким образом, мы можем говорить об обмене объектами знаний между узлами вместо обмена информацией. На рисунке представлена только иерархическая часть обмена информацией, но в реальной топологии обмен информацией может происходить и горизонтально на одном уровне абстракции. Такой тип коммуникации дает два главных преимущества: повышение надежности передачи на более высокий уровень и учет данных «соседей» для правильного выбора AI-модели.

Fog Computing

Второе преимущество не столь очевидно, но может быть объяснено на следующем примере.

Предположим, мы имеем несколько камер наблюдения на территории частного дома. Две камеры зарегистрировали присутствие человека, однако одна камера увидела лицо и, сопоставив его с жильцами дома, установила, что человек не член семьи. Она передала эту информацию другой камере, которая сменила модель распознавания лиц на модель регистрации опасной активности.

Архитектура с частичным вычислением и принятием решения на промежуточном уровне между датчиками и облаком уже известна и получила название Fog Computing. С появлением embedded AI-электронных устройств стало возможным ее широкое применение. На графике представлен функционал AI в зависимости от места его реализации. Чем ближе мы находимся к периферийному устройству, тем больше мы заняты определением ситуации и объектов, доступных к анализу на этом уровне. И по мере сбора информации от суммы объектов, мы можем проводить анализ, основанный на корреляции объектов данных от разных устройств. В соответствии с этим, чем ближе мы находимся к периферийному устройству, тем больше модель AI относится к задаче классификации объектов, таких как изображение, характерный звук, фильтрация помех. Чем ближе мы к Cloud, тем больше задача распознавания сводится к распознаванию видео и аудио последовательностей (video and audio sequence detection), предсказанию событий будущего (прогнозирование использования электроэнергии в рамках города или страны) и симуляций разумной информации, такой как чат-боты, видео-генерация «говорящая голова».

Итоги

  1. AI-акселераторы могут быть использованы как универсальный сенсор в системах IoT.
  2. Предпочтительнее передавать знания, чем сырые данные.
  3. Необходимо стремиться обработать информацию на возможно более низком в общей иерархии уровне для представления абстракции на более высокий уровень.
  4. Настало время переходить от облачных к туманным вычислениям.
  5. Взаимодействие одноранговых узлов дополняет информацию о реальности и качественно меняет алгоритм поведения системы в целом.
LinkedIn

17 комментариев

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

Как вариант при распознавании можно вычислять SIFT-дескрипторы на конечном устройстве и уже передавать в клауд для сравнения с базой. Будет крайне экономить трафик.

Реально тот же Киев модно утыкать камерами с аккумуляторами и солнечными батареями через каждые 50 метров и не особо грузить 4G сеть. В случае определения подозрительной активности уже включается полноканальный режим передачи видео.

У нас есть такое решение для лиц :)

Круто вам, а я распознаванием баркодов на managed коде занимаюсь. Хотя тоже интересно.

І всі ці пафосні ідеї та гарні слова несуть в собі одну-єдину примітивну думку: «треба перекласти витрати на залізо та електрику на кінцевого користувача».

Володимир, вам не доплачивают на работе? Честно, странно. Появился огромный пласт задач, которые до этого ни за какие деньги решить было просто нельзя.

Есть. целый ряд приложений, которые просто невозможно иначе реализовать. Как вы будете получать видео поток от ну скажем всего 10,000 камер для умного города? Как вы будете анализировать ситуацию в городе параллельно в 10,000 точек?
Это просто невозможно средствами одного только облака

Стаття трохи запізнилась. Espressif, наприклад, вже роки 2 роблять частково voice recognition на своїх 5$ чіпах. Підозрюю, що в Alexa теж (вже років 5).

Але в цілому — так, все що можна винести на переферію туди винесуть. Але це стосується тільки девайсів, що напряму підключені до живлевлення. Для автоновмних девайсів, імхо, все залишиться як і було.

Извини, но ты не понял смысла статьи. Это не только девайсы — это как раз комплекс IoT

Звучит революционно, Embedded AI с корректировкой обучения на периферическом уровне с оптимизированными агрегаторами системы, обмен информацией на горизонтальном уровне абстракций. Интересно, какие риски, например, точности, Вы видите в применении практик фоговых вычислений?

Сейчас трудно сказать. Это скорее отдельная тема исследования

Кстати, об интересном написано и идеи интересные. Но стиль написания раздражает (уж извини).
Особенно такое:

Существуют две модели машинного распознавания, используемые сегодня в периферийных устройствах:
K-nearest neighbors.
Weight imprinting.

Это еще надо догадаться, что ты имел в виду, когда написал оное. По сути написал ты чушь, но имел в виду дообучение на конкретном железе на конретные объекты некоей универсальной модели (типа MAP, LLR адаптаций и подобных).

И остальное у тебя в подобном стиле.

Ну сори, никто не без греха :)

виникло пару питань:

— претреновані моделі обробляють різну бізнес логіку, інколи в це вкладено багато грошей, наскільки це безпечно з точки зору безпеки бізенсу? з очки хору безпеки взагалі (наприклад отримання контролю над девайсом — та дотренування моделі щоб зловмисники розпізнавались як «свої»)

— наскільки етично — звалювати компутацію на клієнта? скажімо відео розібрати, кадри повитягувати це не аби що. Вставновлення додаткових компют потужностей, підвищене споживання енергоносіїв підчас обробки — це додаткові кошти які треба буде віддати споживачеві.

Если есть проблемы с безопасностью, то это уже другая проблема. Несколько моделей могут быть локально загружены, но включаться по команде Cloud. Что касается этичной компоненты, то добавьте месячную плату за обслуживание (пример Ring умных звонков) и вопрос будет снят :)

iOS 13 від Apple — там багато буде змін в сфері обробки даних — тепер багато доступно буде для обробки локально на девайсі. наприклад під час зарядки чи в режимі неактивності.
то ж етично — не етично — а вже таке є)

Да, есть. Но это не IoT. Спектр задач все же другой. Специфика другая.

Подписаться на комментарии