Відчути звук на дотик: створення проєкту на основі технології mid-air haptic

Привіти, спільното DOU. Мене звати Шереметєва Анна, я R&D Product Manager. Працюю в ІТ-індустрії понад 10 років, пройшовши класичний шлях від бізнес-аналітика до власника, а потім і до менеджера продукту.

За час роботи в індустрії довелося попрацювати з широким спектром проєктів: від більш традиційних SaaS, B2B, B2B2C до науково-дослідних програм та грантових проєктів. Переважна більшість ініціатив передбачала створення продуту, інновації чи сервісу з нуля. А в SoftServe, де я працювала декілька років, розширила свої обов’язки на науково-дослідну діяльність та комерціалізацію новітніх технологій.

В цій статті я розповім про маловідому бездотикову технологію, а також історію створення похідної інновації. Шлях до її створення не був очевидний, а став наслідком експерименту і привів до прикладного сценарію застосування. Публікація буде цікава тим, хто загалом цікавиться різними технологіями або бажає трохи зазирнути за лаштунки R&D лабораторії.

Зараз в Україні значно активніше розвивається R&D. На жаль, багато в чому цей розвиток пов’язаний саме з війною. Але більш детальної інформації про те, як саме відбувається праця над науково-дослідною ініціативою, не так вже й багато. Я вважаю, що наш ІТ-сектор може і має продукувати більше інновацій, які потім стануть відомими продуктами по всьому світу. Тому, роблю свій внесок в популяризацію R&D.

Ознайомлення з технологіями haptic, mid-air haptic, e-textures

Коли я доєдналася до науково-дослідницької команди в ролі менеджера продуктів, зоною моєї відповідальності було створення бізнес-кейсів. Їх кінцева мета — комерціалізувати новітню технологію e-textures (цифрові текстури), розроблену нашими партнерами.

E-textures базується на бездотиковій технології mid-air haptic. Тут треба зробити певну декапсуляцію термінології — спочатку зазначити пару речень про сам haptic, потім mid-air haptic, а потім буде легше зрозуміти, в чому суть e-textures.

Сама по собі хаптична (haptic) технологія — це про створення відчуття дотику в момент взаємодії з якимось предметом або поверхнею. Є декілька різновидів хаптика, й різновид визначається тим, що саме створює відчуття дотику (актуатор, рідина, ультразвук) і як він відчувається (вібрація, температура, текстура).

Приклади хаптика добре відомі на побутовому рівні. Усі тримали в руках телефон і відчували специфічну «віддачу» при натисканні на сенсорні кнопки. Це і є робота хаптичної технології. Відчуття дотику створює спеціальний актуатор, вбудований в телефон, у відповідь на безпосередній контакт пальця з екраном телефона. Тобто, це контактна технологія.

Cутність mid-air haptic полягає в створенні відчуття дотику з тією різницею, що його генерує ультразвук. Аби досвідчити почуття дотику, якраз не треба мати безпосереднього контакту з предметом чи поверхнею. Навпаки, відчуття створюється в повітрі. Тому в назві є «mid-air».

Аби досвідчити такий тип хаптика, потрібен спеціальний пристрій, як зображено нижче на ілюстрації. Він має численні маленькі динаміки, з яких на частоті 40 кГц випускається ультразвукова хвиля. На пристрої також є невелика інфрачервона камера, яка аналізує положення і відстань руки над пристроєм, а ще дозволяє спрямувати хвилі на долоню або на потрібну точку на ній.

Пристрій mid-air haptic

Коли з усіх динаміків виходять ультразвукові хвилі, вони об’єднуються в «пучки», що створюють тиск на шкіру долоні, і таким чином, людина може відчути дотик (тактильний фідбек).

Ультразвукові хвилі, що фокусуються на долоні. Ілюстрація SoftServe

Варто додати, що наразі mid-air haptic найкраще працює з долонею, бо на ній найбільш чутлива шкіра. Для тильної сторони долоні або іншої частини тіла відчуття буде дуже слабким або невідчутним взагалі.

В комплект з пристроєм входить необхідне для функціонування програмне забезпечення з вбудованою бібліотекою тактильних ефектів (патернів) та SDK аби програмувати нові патерни, інтегрувати пристрій з іншими системами тощо.

Переходимо нарешті до e-textures. Фішка цієї технології якраз в можливості створювати цифрові текстури. Поясню механіку технології в кількох кроках:

• з фотографії або відео зразка обраного об’єкта/поверхні за допомогою машинного навчання виділяється його текстура;

Візуалізація виділення текстури об’єкта. Ілюстрація SoftServe

• окремими алгоритмами ШІ програмуються хаптичні патерни, які «реплікують» цю текстуру. Алгоритми ШІ ґрунтуються на математичних моделях, що описують точки, з яких текстура формується;
• далі ультразвукові хвилі виходять через пристрій таким чином, що відтворюють запрограмований патерн. Користувачі відчувають щось подібне до того, якби доторкалися до реального об’єкту.

Таким чином, головна ідея технології e-textures: «перекласти» візуальний патерн в тактильний. Під час досвіду користувач споглядає об’єкт на екрані, а на пристрої відчуває його текстуру.

Скріншот з відео з прототипом застосунку e-textures

Відкриття про e-textures

Отже, в ході співпраці з партнерами по проєкту, ми створили демо-версію застосунку із використанням e-textures. Він дозволяв віртуально відчути на дотик деякі текстури, зображені на екрані: хутро мамонта, шкіру пітона чи шовк.

Логічна частина застосунку була написана на Python, а інтерфейс створений в Unity.

Приклади текстур в застосунку e-textures

Демо було протестовано з користувачами, після чого ми з командою отримали цікавий зворотній зв’язок. Виявилося, що користувачі, які бачили на екрані зображення конкретної текстури на кшталт шовку, очікували отримати абсолютно ідентичне відчуття як від дотику до шовкової тканини. Насправді ж технологія mid-air haptic передавала абстрактніше відчуття цифрової текстури. Адже ультразвук не в стані точно передати текстуру просто через технологічне обмеження.

Наш мозок створює дуже міцний зв’язок між тим, що ми бачимо (наприклад, якийсь предмет) і тим, що ми очікуємо відчути, доторкаючись до нього.

Це відкриття могло свідчити, що в такому застосуванні буде складніше сформувати бізнес-кейс і успішно комерціалізувати технологію e-textures. Треба було зробити додаткову валідацію, аби отримати остаточні висновки.

Технологія e-textures — це результат наукової та комерційної співпраці. В науковому середовищі інновації зазвичай описуються в наукових працях і демонструються на спеціалізованих конференціях, щоб перевірити актуальність ідеї та випадків її застосування. А також зацікавити потенційних клієнтів і, можливо, навіть укласти контракти. Найкращим майданчиком для представлення проєктів на основі технологій сімейства haptics є індустріальна конференція EuroHaptics.

Наша команда разом з партнерами планували взяти участь в цій профільній конференції, щоб презентувати e-textures і перевірити на більшій групі користувачів, наскільки відчуте збігається з їх очікуваннями. Чи «вірять» вони відчуттю, чи достатньо рівня абстракції текстури.

Ідея похідної інновації

Під час підготовки до участі в конференції EuroHaptics у мене виникла ідея. Я подумала, що на противагу візульно-тактильному досвіду, яким був e-textures, було б добре мати аудіо-тактильний. Це дозволило б одразу перевірити гіпотезу на одних й тих самих користувачах: чи зміниться сприйняття цифрової текстури, якщо не показувати об’єкт, а розказувати про нього.

Концепція полягала в тому, щоб усунути візуальну частину досвіду, яка створювала дуже міцний зв’язок між візуалізованим об’єктом і очікуваннями від дотику до нього. Натомість замінити його аудіорозповіддю, збагаченою звуковим дизайном. Вибрані слова і звуки перетворювалися б на відповідні тактильні патерни, щоб відвідувач міг одночасно слухати розповідь і «відчувати її на дотик» для глибшого занурення в досвід.

Відтак, сформувалася гіпотеза до тестування:

Аудіорозповідь зазвичай стимулює наш мозок до візуалізації історії, однак, образ цей скоріш за все розмитий, невиразний. Якщо до цих абстрактних візуалізацій спробувати додати досить абстрактні тактильні відчуття, це має створити глибоку синергію між аудіо і тактильним відчуттям, посилюючи вплив одне одного. В результаті мозок отримає більш цілісний образ, а відвідувач точніше відчує те, що почує.

На щастя, цю ідею підтримали мій безпосередній керівник та R&D інженери. Невеличка команда, до якої увійшли я та двоє R&D інженерів, почала над цим працювати.

Процес створення аудіо-тактильного досвіду

Крок 1. Знайти підходящий текст

Щоб створити це рішення, нам потрібен був шматок якісної аудіорозповіді з відповідним звуковим дизайном. Аудіозапис, крім того, мав відповідати декільком умовам:

• тривалість в межах 1-3 хвилин, інакше відвідувачі на подібних конференціях швидко втрачають інтерес;
• достатня кількість ключових слів і звуків, придатних до конвертування в тактильні ефекти, щоб користувач мав достатньо можливостей їх відчути
• логічність фрагмента тексту, інакше користувачі можуть не зрозуміти задум.

Переслухавши десятки керованих медитацій, аудіокниг, пісень та доріжок ASMR, я не змогла знайти хороший варіант, тому написала коротке оповідання «Покинутий дім»*. В нього я умисно вплела якнайбільше ключових фраз і слів з описами різних відчуттів й звуків, що можуть бути «перекладені» на дотик.

*Для потреб конференції текст був написаний англійською мовою та озвучений професійним актором.

Крок 2. Зробити звуковий дизайн

З метою глибшого занурення слухача в аудіорозповідь, необхідно було додати звуків навколишнього середовища. З цим нам допоміг професійний дизайнер звуку.

На основі тексту оповідання я приготувала мапінг ключових слів на звукові ефекти.

Нижче надаю кілька прикладів:

Крок 3. Мапінг тактильних ефектів

Аби створити необхідні патерни, спочатку потрібно було ідентифікувати всі ключові слова і звуки середовища, що можуть бути трансформовані у відповідні тактильні ефекти. Тому наступним кроком я підготувала для інженерів подібний мапінг разом з описом тактильних ефектів.

В таблиці можна ознайомитися з декількома прикладами:

Крок 4. Створення застосунку

Коли специфікація з патернами, а також озвучений і збагачений звуковим дизайном текст були готові, інженери нарешті могли розпочати програмування.

Для створення рішення обрали Unreal Engine, Python та SDK хаптичного пристрою.

• В середовищі Unreal інженери додали звукову доріжку оповідання, а також текстову версію.
• В спеціальному системному файлі був прописаний текст оповідання разом з таймкодами кожного слова й звукових ефектів. Таким чином, звукова версія була синхронізована з текстом і ми чітко розуміли в яку секунду що відбувається в записі. Також всі ключові слова, для яких має спрацювати тактильний ефект, були відмічені спеціальним «маркером», щоб потім підсвітити їх кольором на інтерфейсі.
• Для потреб демо-версії створили простий інтерфейс. Окрім аудіодоріжки, на екран виводився текст розповіді, а ключові слова були підсвічені синім кольором. Таким чином відвідувач міг краще поєднати текст з тактильними відчуттями.

Приклад інтерфейсу досвіду, створений на Unreal

• Тим часом другий інженер на Python написав коннектор, щоб інтегрувати пристрій хаптік до застосунку на Unreal.
• Через обмеження в часі ми скористалися готовими патернами з бібліотеки, доступної в SDK для пристрою. Коннектор мав запустити відповідний патерн для визначеного таймкоду звукової доріжки.
• Усе разом зібрали в застосунок на Unreal, який легко запускається з будь-якого ноутбука або комп’ютера. Але, щоб досвід запрацював з хаптичними ефектами, додатково треба встановити програмне забезпечення для mid-air haptic пристрою і мати сам пристрій.

Крок 5. Тестування

Щоб досягнути ще кращого результату, ми провели багато тестів і калібрування тактильних патернів. До прикладу, налаштування самих шаблонів, коректування інтенсивності імпульсу чи встановлення часових обмежень, щоб синхронізувати момент відчуття на дотик зі звуковим ефектом або ключовим словом, що промовляється.

Переважна більшість тестів пройшла в моїй «домашній лабораторії», як продемонстровано на зображенні нижче.

Тестую рішення

Для проходження досвіду відвідувач вдягає якісні акустичні навушники, щоб прослухати аудіоісторію. Дивиться на екран, на який виводиться текст розповіді з підсвіченими ключовими словами й «відчуває» ті ключові слова за допомогою хаптичного прострою.

Оскільки користувач може буквально доторкнутися до певних слів чи звуків з почутої розповіді, а також зважаючи на те, що сама історія є дуже зворушливою, я назвала цей досвід «The Touching Story» або, якщо перекласти українською, — «Історія, до якої можна доторкнутися» / «Зворушлива історія».

Тут можна подивитись відео-пояснення кейсу застосування технології.

Конференція

За великої підтримки інженерів нам вдалося досягнути того, що було задумано в початковій концепції. Демо e-textures поїхало на конференцію EuroHaptics 2022 разом з The Touching Story.

Демонструю рішення на конференції EuroHaptics 2022

За тиждень конференції обидва демо випробували сотні відвідувачів. Саме досвід The Touching Story отримав схвальні відгуки від спільноти, що спеціалізується на технологіях haptic.

На підставі фідбеку вдалося підтвердити гіпотезу: аудіо, доповнене тактильними відчуттями, сприймається значно краще, ніж візуальне зображення у поєднанні з тактильними ефектами. Відвідувачі підкреслювали більшу відповідність тактильного відчуття, тому що чують. А тактильне відчуття дійсно збагачує аудіорозповідь і допомагає глибше зануритись в досвід.

Результат

Отже, ми підтвердили, що в подальших спробах комерціалізувати технологію e-textures треба більше орієнтуватися на формулу «e-textures + аудіо». Це був дуже важливий висновок, тому що R&D досить дороге і важливо відсіювати неробочі кейси застосування настільки раніше, наскільки це можливо. За результатами конференції, кейс «e-textures + візуалізація об’єкта» був відсіяний.

Ідея «e-textures + аудіо» є інноваційною й зрештою була описана в науковій статті з наміром подальшого патентування.

Пізніше цей досвід багаторазово був представлений на інших конференціях: Talent Land в Мексиці; HAID у Великобританії; IMET на Кіпрі; CHI в Німеччині; IMEX у Франції. Що, своєю чергою, підтверджувало: винахід був успішним.

В підсумку сформувався ширший бізнес-кейс — застосовувати новітні технології як e-textures для створення цікавих досвідів, що дозволяють користувачам глибше занурюватися і проживати відчуття на новому рівні. Так в компанії з’явився окремий сервіс, який пропонує клієнтам створювати імерсивні досвіди.

Підсумки

В цій статті я поділилася своїм досвідом про шлях від виникнення ідеї інновації до її імплементації, від тестування гіпотези до трансформації в комерційну послугу на прикладі однієї технології. Сподіваюсь, це дало деякі обриси того, «як це було зроблено».

Відзначу, що важливими факторами успіху була підтримка ініціативи конкретним керівником, який виділив бюджет та спеціалістів необхідного профілю (Unreal, на якому було досить легко і швидко зробити інтерфейс та досвід з технологією mid-air haptic, що є дуже вузькоспеціалізованою).

Як можна побачити з процесу створення досвіду The Touching Story, в плані програмування це був досить простий проєкт. Якщо у когось виникне бажання поекспериментувати з mid-air haptic, то фірма-розробник пропонує dev kit. За декілька тисяч доларів можна купити пристрій з SDK. Також на сьогодні вони випустили нове програмне забезпечення, яке дозволяє через інтерфейс створювати будь-які дизайни патернів.

Моїм підсумковим ключовим посилом буде звернення до ІТ-спільноти — не боятися експериментувати, висловлювати ідеї та впроваджувати інновації. Поки ідея не запропонована, ніхто про неї не дізнається.

Шукайте в організації або за її межами того, хто може виділити бюджет на дослідження. Об’єднуйтесь з іншими спеціалістами. Тестуйте ідеї на своєму оточенні, якщо немає змоги брати участь в досить дорогих конференціях. Долучайтесь до хакатонів.

Й будьте уважними з аспектами захисту авторських прав. Але це вже інша історія.