Сучасна диджитал-освіта для дітей — безоплатне заняття в GoITeens ×
Mazda CX 5
×

Кінець смартфонів і останній Mobile Developer. Як окуляри доповненої реальності можуть змінити IT-індустрію

Смартфон — це не зручно. Він не є органічним продовженням нашого тіла. Коли я їду в таксі й водій опускає погляд на навігатор у смартфоні, одночасно когось підрізаючи, мені стає страшно. Коли їду в метро і пів години читаю DOU у вагоні, мені некомфортно, що всю дорогу доводиться тримати смартфон у руці.

Окей, я виходжу на станції. Вливаюся в людський потік. І тут мені надходить повідомлення. Я знову дістаю з кишені свій маленький iPhone 5s, який вірно служить мені вже багато років, і мій погляд спрямовується униз. Поки відписую, зіштовхуюся з людиною з натовпу. Нехай це буде дівчина, що замріялась про Париж. Це могло б бути початком історії кохання, але своє кохання я вже давно знайшов, а ця історія про те, що мені потрібен інший девайс. І ні, не новіший iPhone, він нічим принципово не відрізнятиметься. Мені потрібні окуляри доповненої реальності, які б перебрали на себе всі функції смартфона.

Ілюстрація Аліни Самолюк

Що чекає на Мobile

Думаю, невдовзі Mobile Developer перетвориться на AR Developer. Уже сьогодні Apple та інші провідні компанії інвестують в технології AR-окулярів. Найімовірніше, спочатку ці окуляри будуть продовженням смартфона, як-от розумні годинники. Але з часом матимуть усе більше функцій, притаманних смартфонам.

Із вдосконаленням таких окулярів на смартфони чекає доля кнопкових телефонів, а iOS-розробникам, які нині на піку затребуваності, доведеться переучуватися. Вже нині є технології, завдяки яким можна легко керувати окулярами — як жестами, так і голосом. Водночас їх не потрібно тримати в руках.

У якому напрямку рухатися розробнику

Ймовірно, майбутня операційна система для окулярів від Apple буде споріднена з iOS, в якій уже сьогодні активно розвивається ARKit — фреймворк для створення програм доповненої реальності. Новачкам, які хочуть опанувати iOS, я б порадив звернути увагу саме на нього.

Також у світі доповненої реальності стануть ще важливішими знання C++ та математики, зокрема лінійної алгебри та аналітичної геометрії, адже доведеться мати справу з тривимірним простором. Крім того, корисно буде знати Python та машинне навчання, насамперед Computer Vision. Настання ери доповненої реальності буде означати розквіт розпізнавання зображень.

Ось чому саме тепер ідеальний час, щоб створити власний продукт, орієнтований на доповнену реальність. Що це може бути? Пофантазуймо!

Сервіс знайомств, який розпізнає обличчя на вулиці. Наприклад, ви натрапили в метро на ту саму дівчину, що мріє про Париж. В AR-окулярах ви одразу бачитимете інформацію про її інтереси. Зможете, наприклад, підійти й запросити її поласувати круасанами на Монмартрі.

Або програма для мандрівників, що вказує шлях до цікавого вам об’єкта в будь-якому місті. Уявіть, як ви вдвох прогулюєтеся Парижем і, не відволікаючись на карту та не запитуючи перехожих, безпомилково знаходите музей Орсе.

А коли опинилися в музеї Орсе серед тисяч картин, програма для відвідувачів покаже вам в AR інформацію про кожну з них. Коли певна картина з’явиться у вашому полі зору, спрацює Computer Vision, полотно буде розпізнано й буде показано інформацію саме про нього.

А тепер уявіть собі, що ви в супермаркеті. Програма розпізнає товари на полицях і показує інформацію про них. Вам достатньо дати голосову команду, і товар буде придбано. Гроші знімуться з вашої картки автоматично. І вам не потрібно буде ставати у чергу до каси.

Перейдімо до месенджера майбутнього. Повідомлення — перед вашими очима, а відповідати на них можна голосом. Надиктована вами інформація переведеться в текст, але залишиться опція «Прослухати». Максимально зручно для тих, хто використовує окуляри та навушники.

Уже сьогодні мої друзі створили програму, яка дає змогу через наведення телефона на екран монітора отримати підказку в покері. З окулярами доповненої реальності користуватися такою програмою стане ще зручніше.

У школі доповнена реальність може стати в пригоді для демонстрації молекул на уроках біології та хімії.

Та що казати, навіть хірургічні операції в шоломах доповненої реальності HoloLens від Microsoft проводять по всьому світу з 2017 року, в Україні — з 2020-го.

Я впевнений, що фантастичне майбутнє не за горами, і ми можемо долучитися до його створення. Ті, хто стане першопроходцем у сфері доповненої реальності, на мою думку, повторять чи навіть перевершать успіх Джеффа Безоса, Марка Цукерберга або Макса Іщенка. Адже справи в індустрії доповненої реальності сьогодні такі, як були у вебі 1994–2005 років, коли були засновані Amazon, Facebook та DOU (звісно).

У коментарях можете «люто не погоджуватися», радо послухаю вашу точку зору. Але не забудьте засетапити власний AR-проєкт уже сьогодні.

Що вчити

Ось список ресурсів, які допоможуть з нуля опанувати програмування доповненої реальності. Переважно вони присвячені фреймворку ARKit від Apple, оскільки я сам є iOS-розробником. Буду вдячний, якщо в коментарях ви доповните статтю посиланнями на матеріали про ARCore від Google та інші фреймворки.

  • Книга Apple Augmented Reality by Tutorials від Chris Language. У ній автор розглядає фреймворки від Apple ARKit, SpriteKit та SceneKit. Останні два призначені для двовимірного (SpriteKit) та тривимірного (SceneKit) малювання в просторі.
  • Книга Machine Learning by Tutorials. Автори — Audrey Tam, Matthijs Hollemans, Alexis Gallagher and Chris LaPollo. Машинне навчання для iOS-розробників.
  • Книга Metal by Tutorials. Автори — Caroline Begbie & Marius Horga. Metal — просунутий фреймворк від Apple для програмування графіки.
  • Книга Linear Algebra and Its Applications. Автори — David C. Lay, Steven R. Lay, Judi J. McDonald. Класичний підручник з лінійної алгебри.
  • Стаття ARKit and CoreLocation. Navigation With Linear Algebra (and Trig) (частина 1, частина 2). Автор — Christopher Webb. Приклад практичного застосування математики для програмування доповненої реальності.
  • Збірка посилань Awesome ARKit. Посилання на репозиторії в GitHub, програми в App Store та тематичні публікації в інтернеті.
  • Курс на Udemy The Complete ARKit Course — Build 11 Augmented Reality Apps. Практичний путівник у світ ARKit.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU

👍ПодобаєтьсяСподобалось9
До обраногоВ обраному6
LinkedIn

Схожі статті




30 коментарів

Підписатись на коментаріВідписатись від коментарів Коментарі можуть залишати тільки користувачі з підтвердженими акаунтами.

Apple представила гарнітуру доповненої реальності Apple Vision Pro, над якою працювала 7 років. Запрошую обговорювати тут.

«Компания Facebook представила прототип браслета, который позволит пользователям управлять предметами дополненной реальности силой мысли», — AIN.ua з посиланням на CNBC. Джерело.

А можно для начала TWS наушники, которые будут управляться движением уха? Лень руками переключать, а отдельно каждым ухом я двигать умею.

стаття та каменти повинні бути з хештегом «повангуєм» :)
насправді чомусь згадується одразу vrml та відносно вдала історія flash (або добре або ніяк...).
насправді стаття з одного боку вірна і написана під лозунгом «ви ще користуєтесь дисковими телефонами, а вже варто користуватись кнопочними!» :)
Взагалі окуляри не самий зручний інструмент, скоріше погоджусь що розвиток буде але не в бік окулярів, має бути щось інше.

п.м. стосовно Вашого прихильництва до яблука — це чудово але треба не забувати про ще більший парк андроїдо-пристроїв а їх більше в кількості і в різновиді. Гадаю що треба чекати коли нам будуть нав’язувати щось нове як форм-фактор.

Сколько себя помню, тоже самое говорили о фронтенде. Что скоро появится куча автоматизированных систем, которые сами будут верстать сайты.

і воно так і сталось. Всякі лендосіки і т д зараз дизайнер зразу робить на конструкторі.

Але коли діло доходить до розробки якогось інтерфейсу (або рефакторингу старого), то поки ще ніякий робот замінити так і не зміг

Вже нині є технології, завдяки яким можна легко керувати окулярами — як жестами, так і голосом.

Ця фраза сама себе заперечує. Якісь жести чи керування голосом це зручно? Вимовляти слова важче ніж водити пальцем по екрану, і тим більше ніхто б не хотів щоб сторонні це чули, так само як ніхто не хотів би чути як інші це роблять.

Наприклад, ви натрапили в метро на ту саму дівчину, що мріє про Париж. В AR-окулярах ви одразу бачитимете інформацію про її інтереси.

а чи вона хоче щоб випадковий перехожий на вулиці це бачив?

Вам достатньо дати голосову команду

знову голосові команди, нащо?

Взагалі такий інтерфейс буде виглядати дико — замість того щоб тикати пальцем в кнопки на екрані, люди мають голосом віддавати команди, які будуть чути всі навколо. А як такі окуляри носити тим хто носить звичайні окуляри? Комбінувати якось а потім підбирати під свій зір індивідуально?

а чи вона хоче щоб випадковий перехожий на вулиці це бачив?

Звичайно, захоче. Ви коли-небудь були на сайті знайомств? «Наталка, 25 років, 500 метрів від вас». Так це і працює. А я там і з дружиною познайомився :)

Це може бути небезпечно, а в деяких країнах не дозволять таке, бо заборонено знімати людей без їх відома

Це може бути небезпечно

Так, це небезпечно. Як в пісні у Doni: «Будь осторожна, от этого бывают дети» :)

Смартфон — це не зручно. Він не є органічним продовженням нашого тіла.

Миллениал детектед! Дети, выросшие со смартфоном в руке, не согласны с этим утверждением.
images.app.goo.gl/HeWh7qKgbg8T2tFt6

Статья интересная как минимум с точки зрения iOS разработчику задуматься о том, что его ждет в будущем. Но, на мой взгляд совсем не раскрыта тема и роль LIDAR. Многие скажут, что технология, конечно, классная, но мало кому она понадобится на iPhone. А теперь представьте, что #apple отсканирует весь мир с помощью наших iPhone и создаст его виртуальную копию. А потом... Они выпустят #appleglasses, и вы будете видеть через них виртуальный мир, физически перемещаясь по реальному. Как вам такое будущее!!?

READY PLAYER FIRST?
WELCOME TO OASIS?

їду в метро і пів години читаю DOU у вагоні

Кажется ваш поезд свернул не туда ;-)

Побачив, що в коментарях до цієї статті на Facebook мене називають десятикласницею, дилетантом і рерайтером. Нагадаю, що саме я в 2014 році писав на DOU, що мова програмування Swift — майбутнє iOS-девелопменту, і ось які тоді були коментарі:

насчет swift согласен : не стоит он таких востороженных слюнопусканий
поскольку swift нынче в моде, то блогеры не могут о нем не писать. Короче, не показатель это вовсе.

Пройшло 7 років. Objective-C давно вилетів з рейтингу мов програмування DOU.

Можливо, через 7 років так само будемо згадувати і цю статтю про доповнену реальність ;)

Побачив, що в коментарях до цієї статті на Facebook мене називають десятикласницею, дилетантом і рерайтером

Пишите на английском языке — доля таких комментариев сильно снизится.

і ось які тоді були коментарі

Я так понял это был Trimm, его комментарии вполне можно объяснить, под его началом был проделан огромный пласт работы github.com/...​ataKit/tree/master/Module.
Он защищал свои библиотеки, на базе которых делались проекты, а также подходы.

Ну и первые два поколения swift были экспериментальные скорее.

Можливо, через 7 років так само будемо згадувати і цю статтю про доповнену реальність ;)

К дополненной реальности и нет вопросов никаких, вполне есть способы её применения не только для развлечений, где ты уворачиваешься от летящих на тебя кубиков, будучи в шлеме — а и для дела.
Когда лучше один раз показать, чем десять — рассказать.

Вопрос к очкам, как к устройству, его занимаемой нише и практичности.

Swift 3 для меня уже был стабильный рабочий инструмент.

Возьмем тот же ARKit: технологии 4 года, проблемы:
* Распознавание лица только фронтальной камерой, задней нельзя на уровне API, зачем такие ограничения?
* Распознавание конкретных картинок доступно только задней камерой(Часть народа вообще считает что для этого нужно Machine Learning), фронтальной нельзя на уровне API. Технических каких-то препятствий не вижу.

* Стены кое-как определяются, но если последовательно подходить слишком близко то сбивается.
(P.S. — это убило мою идею мобильного приложения создавать карту электропроводки используя магнитометр, при этом API частично заточен на стены)
Я так понимаю LiDAR в самых дорогих моделях устройств нужен что бы решать эту проблему.

* Позиции объектов — ARKit очень легко сбивается, различные освещения и повороты очень путают положения объектов.

* Определения пола/поверхностей работает относительно нормально, если с освещением все более менее хорошо. Если телефон особо не двигать и поворачивать.

На данный момент Apple ищет ~ 600 Computer Vision Engineers связанных с 3D, будем верить что за какое-то время они решат эти все проблемы.

Может у кого есть iPhone 12 / iPhone 12 Pro Max, как это все вас работает?

Мы ещё пару лет назад в рамках развития AR компетенции достаточно наигрались с AR очками.

Общий вердикт — продукт очень нишевый. Сама технология формирования изображения подразумевает ряд существенных ограничений, из которых два самых важных — это ограниченность угловых размеров формируемого изображения, и невозможность одновременно фокусироваться на нём и на предметах реального мира за пределами глубины резкости человеческого глаза.

О полной замене смартфона речь не идёт, и, думаю, не будет идти ещё очень долго. Скорее, в обозримом будущем AR очки будут выступать в роли аксессуара к смартфону в духе smart watch. По крайней мере, в «бытовом» применении.

Промышленные решения, к которым я бы отнёс и упомянутый в статье HoloLens — совсем другая история. Там и железо, и вычислительная мощность позволяют намного больше. Но, такие AR шлемы (потому что назвать это «очками» язык не поворачивается) громоздкие, тяжёлые и дорогие. В повседневной жизни таскать такое на голове никто не будет.

Я погоджуся, що ті окуляри, які існують на сьогодні — це нішевий продукт. І погоджуся, що ніхто не стане носити важкий шолом в повсякденному житті. Але вірю в силу прогресу. Побачимо, з чим прийде Apple, яка взяла велику паузу і поки що нічого не представила ринку, на відміну від конкурентів. Але, як відомо з витоків інформації, активно працює над AR-окулярами. Не вірите в те, що такий девайс може змінити IT-індустрію? Цікава Ваша думка саме про перспективи розробок Apple.

Щодо Google ARCore, то в них досить хороше першоджерело: онлайн документація.
Є багато інших платформ на які можна звертати увагу:
— Amazon Sumerian
— WebXR
— Є так само SDK для шоломів/окулярів таких як Microsoft HoloLens, Magic Leap, Google Glass Enterprise Edition, ...

Хм.

Седни столкнул девушку под поезд. Чертов маленький iPhone 5s, он во всем виноват!

Поки відписую, зіштовхуюся з людиною з натовпу. Нехай це буде дівчина, що замріялась про Париж

Она тоже смотрела в телефон.

Як окуляри доповненої реальності можуть змінити IT-індустрію

Такое устройство будет иметь свою нишу, как хороший помощник.

Выделить из кучи предметов нужный, вывести подсказку в поле зрения, помочь обратить на что-то внимание. Когда с ними окажется намного лучше, чем без них. В этом случае с ними лучше, но часто ли такие подсказки нужны?

Практичность под вопросом:
1. В холодное время года с формой на половину лица они будут потеть, и больше, чем обычные очки. Кстати, что делать тем, у кого зрение уже требует коррекции? Линзы носить и очки дополненной реальности?
2. Хрупкие, их легко повредить
3. Много ситуаций, когда не до управления жестами или голосом.
4.

Сервіс знайомств, який розпізнає обличчя на вулиці. Наприклад, ви натрапили в метро на ту саму дівчину, що мріє про Париж. В AR-окулярах ви одразу бачитимете інформацію про її інтереси.

Точно не будет такого: вопрос приватности
5.

У школі доповнена реальність може стати в пригоді для демонстрації молекул на уроках біології та хімії.

Хороший пример, но всему классу нужны будут очки.
Иначе будет как у нас в школе: очередь к микроскопу, чтобы рассмотреть клетки лука или отпавшего цветка от вазона.
6. Вот не верю, что не будут надоедать рекламой, от которой даже отвернуться нельзя.

Я для себя остановился на часах.
0. Узнать время
1. Приходит уведомление (многие выключены, кстати) — я смотрю на часы, за телефоном не тянусь, если там сообщение — можно ответить голосом. Часы можно настроить так, что они не дёргают по лишнему поводу.
2. Нужно заплатить в магазине — Apple Pay на часах в самый раз, за телефоном опять же тянуться не обязательно.
3. Карта и навигация — едешь на велосипеде, поглядываешь на руку.
4. Аутентификатор

Очки своё место займут, возможно, но не сами по себе, а из-за возможного расцвета AR и некоторых юзкейсов, которые не высосаны из пальца.
Но это не конец смартфонов.

Мені потрібні окуляри доповненої реальності, які б перебрали на себе всі функції смартфона.

Ви готові дивитися рекламу від admob,adcense,facebook та інших рекламодавців в окулярах?

вангую gestures за допомогою руху зіниць
і спеціфічні розлади через перевантаження відповідних м’язів

„Blink your right eye to confirm, left to cancel”
Причому на iOS, Android, Windows i Ubuntu Ok у правого і лівого функції будуть різні, може навіть протилежні.

Не взлетять ніякі окуляри. Хіба зір собі зіпсуєш з тим постійний перефокусуванням

Сервіс знайомств, який розпізнає обличчя на вулиці. Наприклад, ви натрапили в метро на ту саму дівчину, що мріє про Париж. В AR-окулярах ви одразу бачитимете інформацію про її інтереси. Зможете, наприклад, підійти й запросити її поласувати круасанами на Монмартрі.

— очень, очень плохо. В остальном — интересно.

— Но я мечтаю жить на Манхэттэне!
— Нет. Один круассан, максимум на Монмартре. Или одна булочка на пляс Пигаль, выбирай что-то одно, скорее, у меня очки разряжаются...

Наприклад, ви натрапили в метро на ту саму дівчину, що мріє про Париж.

Підходиш, береш за руку і впевнено говориш:
— Уезжашка!

Уже ж был Google Glass. И достаточно давно.

Він ще доси є, але вже його розвивають у Enterprise напрямок:
www.google.com/glass/start

Підписатись на коментарі