DOU Labs: як в Ciklum розробляли розумний IoT офіс

В рубриці DOU Labs ми запрошуємо IT-компанії ділитись досвідом власних цікавих розробок та внутрішніх технологічних ініціатив. Питання і заявки на участь надсилайте на editors@dou.ua.

Стаття написана у співавторстві з моїми колегами Ігорем Крашеним та Дмитром Мулькіним.

Останні кілька років весь технологічний світ божеволіє від слів інтернет речей (IoT), більший ажіотаж, мабуть, спостерігається лише навколо Data Science. Що ж таке той інтернет речей? Інтернет речей являє собою систему взаємопов’язаних обчислювальних пристроїв, механічних і цифрових машин, предметів, тварин або людей, які забезпечені унікальними ідентифікаторами і можливістю передачі даних по мережі, не вимагаючи взаємодії від людини до людини або від людини до комп’ютера.

Кожна велика компанія зараз має щось для IoT. Компанія Intel випускає Edison та Quark, Amazon — Amazon IoT, Google — Brillo, Apple — HomeKit. Цей список можливо продовжувати до нескінченності. Ми в R&D відділі компанії Ciklum вирішили не відставати від «модних тенденцій» та розробили свою платформу для IoT (4IoT).

4ІоТ

В результаті роботи у напрямі інтернету речей було створено власну платформу 4ІоТ, що поєднала в собі ряд переваг, основною з яких є невисока вартість та доступність розробленого рішення. Плата для розумних речей базується на основі ультра дешевого модуля ESP8266 (~$2), що робить собівартість плати близько $7 + вартість сенсора, який буде використовуватися. Для демонстрації можливостей платформи було розроблено ряд модулів таких як розумна розетка, сенсор сейсмічної активності, розумний контролер RGB стрічки, розумний прожектор та лампа, детектор відвідувачів та їх трекінг на базі камери та інше.

Плата 4IoT

На базі даної платформи можливо розробляти системи для розумних будинків, розумних речей на виробництві, рішення для розумних міст.

Після створення всієї інфраструктури розумних сенсорів виникло питання «а що робити далі?». Було вирішено додати голосове управління до екосистеми 4IoT на основі готових рішень для розпізнавання мовлення.

Трекінг людей. Рішення на базі камери та 4IoT

Інтеграція голосових сервісів Amazon Alexa

В якості рішення для голосового управління було вирішено використовувати рішення від Amazon — Amazon Echo, яку співробітники нашого відділу отримали в якості винагороди за перемогу на найбільшому IoT хакатоні у світі — Internet of Things World, що проходив цього року в американському місті Санта-Клара.

Amazon Echo — це своєрідний розумний гучномовець. Echo підключається до голосової служби Amazon Alexa, яка розпізнає мовлення та виконує певну відповідну дію. Amazon Echo — це своєрідний аналог Cortana, Siri та Google Now. За допомогою Echo можливо грати музику, надавати інформацію, новини, спортивні результати, прогнози погоди і багато іншого. Amazon, на відміну від аналогічних сервісів-конкурентів, дозволяє створювати свої додатки (Skills).

У відділі R&D було вирішено розробити відповідні додатки, які б дозволили взаємодіяти з екосистемою 4IoT: розумною RGB-лампою на основі 4IoT, сенсори температури тощо. Взаємодія була реалізована через протокол MQTT.

У будь-який момент можливо спитати щось на кшталт: «Alexa, what is the temperature in our laboratory?», на що Alexa відповість: «The ambient temperature is 25.5 degrees Celsius». Або: «How many persons are in the meeting room?», на що Alexa назве кількість людей, які зараз там знаходяться.

Розумна лампа з голосовим керуванням (можливо встановлювати колір лампи)

Відеодемонстрація роботи системи:

Що далі? Боти!

Новою тенденцією для інтернету речей, як і взагалі в IT-індустрії є створення рішень з певною долею автоматизації та штучного інтелекту. Зокрема останнім часом з’являється все більше ботів для Messenger, Slack та Telegram, які виконують певні корисні функції або автоматизують деякі рутинні операції. За допомогою ботів вже можна завантажувати торенти, купувати квитки або замовляти піцу. Нашими цілями є створення так званих розумних асистентів (smart assistance), зокрема із голосовим керуванням.

Такі розумні асистенти у сукупності із вже раніше створеною 4IoT платформою дадуть змогу автоматизувати повсякденне життя для розумних будинків і матимуть голосовий інтерфейс, що зробить використання таких систем більш простим і зрозумілим для звичайного користувача.

22 комментария

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

после распознавания лиц будете трекать кто и сколько времени просидел на кухне / курилке?

Ні, ні в якому разі не хочемо відбирати хліб у PM’ів

А в чем новшество платформы? И почему это называется платформой? На фото я вижу модуль с ESP и выводы для мех. подсоединения к GPIO. Сделали стабилизатор питания — и это вся плата? Есть адаптеры, припаиваешь модуль и в board можно вставлять. Стабилизатор из 1-го 2-х элементов на 3,3В в диапазоне до 15в. Почему на Lua писали, а не С++? Память ведь тоже критична в таких контроллерах. Стабильность выше с С++.

А в чем новшество платформы?
Ніхто не казав, що це щось абсолютно нове.
И почему это называется платформой?
Платформою це називається тому, що на базі даної плати ми можемо реалізувати довлі широкий спектр розумних речей в залежності від побажань замовника.
На фото я вижу модуль с ESP и выводы для мех. подсоединения к GPIO. Сделали стабилизатор питания — и это вся плата?
Плата вся, але 4IoT платформа не вся. Ми вкладаємо в це поняття більш широкий зміст. Тому що окрім плати це хмарні сервіси: фронт енд, бек енд, машинне навчання, біг дата аналітика та інше. Все те, що робить речі дійсно розумними. Самою платою за 5 баксів зараз дійсно нікого не здивуєш. Тут я з вами згоден.
Почему на Lua писали, а не С++? Память ведь тоже критична в таких контроллерах. Стабильность выше с С++.
Можливостей Луа вистачає для наших задач. Память не так критична, так як плата по суті передає показання сенсорів на хмарні сервіси, де і відбувається вся обробка. За весь час роботи питань по стабільності не виникало.

LUA дозволяє досить легко змінити скрипт в самому пристрої без додаткового обладнання чи специфічного програматора, підтримує консольну відладку та містить файлову систему — що в свою чергу доситьзручно при використанні WEB технологій та обслуговуванні браузерних сторінок, що можуть бути розгорнуті безпосередньо на самому пристрої. Підтримка SSL дозволяє зробити спілкування пристрою з мережею білш безпечним.

Олег, у вашому київському офісі бачив весію з датчиком руху. Вже вдосконалили?

Важко сказати яку саме версію ви бачили, але плата з сенсором руху працює, дані в хмару відсилає.

А що далі буде з вашими платами 4IoT ? Який був наклад цих плат, щоб сумарно вийшло по 7$
Тільки R&D їх використовує і чи намагаєтесь ви поширити їх серед співробітників офісу ? І чи ще є якісь плани по використанню «розумного офісу» в офісі з більш практичним підходом, наприклад спрощення життя співробітників, наприклад як веб-камера біля кавової машини, щоб знати, чи почекати чи вже можна йти за кавою ?

Фактично 4IoT є власністю Ciklum, тому рішення про подальшу долю проекту буде приймати керівництво. Партія була із 20 шт. і обійшлася нам менше $9. При більших партіях цю вартість не важко довести до $7. А якщо замінити мікросхему живлення (TPS-ка) за $2 на китайський ноунейм за $0,2, то можливо буде ще дешевше. Цей проект створювався більше для демонстрації можливостей і у вільний від поточних проектів час. Серед співробітників не розповсюджувався, але ми завжді відкриті для людей, яким цікаво. З приводу розвитку проекту для кавоварки і т.д., то плани є, але це у вільний від проектів час. На тему кави ми вже робили одну штуку, але як завжди вийшов алкоміксер www.ciklum.com/...t-machine-learning-tools

Насколько вы долго работали с ESP8266? Какие мысли про его надежность/безглючность?

З ESP8266 працювали майже рік, особливих аппаратних глюків за чипом не спостерігали, радіо канал працює надійно. Дуже порадувала дальнодія модуля (використовуемо ESP-12E). З точки зору глюків в коді — СДК від «Espressif» постійно вдосконалюєстья.

1. Бывает китайцы присылают глючный модуль.
2.Модуль просаживает wifi.
3. Не 5в толерантности, для некоторых датчиков
4. Требует хорошего питания не менее 300..500мА, что ограничивает использование на батарейках.
5. Arduino IDE не очень удобна, нет подстановки, многие библиотеки под C нужно дотачивать, если хочешь сделать сам, а не как макака повторить из инета.

1) Китайці вони іноді лажають, але як показала практика : існує якісний і не якісний китай.
Ми замовляли малу партію модулів в кількості 20 штук через eBay, всі 20 модулів працююті і зараз.
3) Так, а цей модуль і не має бути толерантним до 5 В рівнів, бажано в такому випадку всетаки узгоджувати рівні сигналів обладнання (датчика) і модуля.
4) Наразі номінальний струм споживання в активному режимі становить 150 мА, в імпульсі до 350 мА і 70 мкА в режимі глибокого сну, відповідно тривалість автономної роботи залежить тільки від тривалості сессії, сам модуль прокидається за приблизно 200 мілісекунд.
5) Стосовно ардуіно нічого не скажу, ми використовували NODEMCU та LUA, більш детально можно ознайомитись тут nodemcu.com

детектор відвідувачів та їх трекінг на базі камери та інше.
это детектор “людей” или “движущихся объектов”? если людей, происходит ли распознание конкретного человека? если да — какие параметры камер и алгоритмы?

Детектор людей ( HOG lear.inrialpes.fr/...ggs/pubs/Dalal-cvpr05.pdf ). Робота по розпізнаванню облич ведеться, але використовується інша камера.

Вов вов :) Стільки питань.
Ми використовували OpenCV на комбінацію різних доступних алгоритмів.
Біль детальну технічну інформацію сможемо розповісти на наступній зустрічі по IoT

Blynk хороша штука. Якщо потрібна апа для смартфона, то один з найкращих варіантів. Їй би ще паблік токени...

Їй би ще паблік токени...

Якщо я правильно зрозумів, то це вже є — docs.blynk.cc/...d-access-to-your-hardware

Чудово! Тому що коли ми пробували використовувати Blynk, була змога поділитися лише проектом, але не доступом до заліза.

Blynk крута штука, але мені всеж таки не ясно як поеднати GPL ліцензію та комерційні проекти?

Ми продаємо кастомізацію мобільних додатків. А вони закриті. Але зауваження коректне. В нас вже є конкуренти, які використовують наші ж ліби і сервер :). + Ми змінюєм умови ліцензування дле серверів, якщо треба.

Подписаться на комментарии