Commited: 50+ воркшопів з ТОПами тестування: M.Bolton, G.Bahmutov, T.King, R.Desyatnikov, J.Bach. Лише за $40 на рік та економія $15 до 20 квітня
×Закрыть

DOU Labs: как в Sigma Software разработали приложения для AR очков Sony SmartEyeglass

В рубрике DOU Labs мы приглашаем IT-компании делиться опытом собственных интересных разработок и внутренних технологических инициатив. Вопросы и заявки на участие присылайте на editors@dou.ua.

Статья написана в соавторстве с моим коллегой Сергеем Бакаенко.

Дополненная реальность — активно растущий мировой тренд. Слышали о нем все, а вот поработать над проектами для дополненной реальности удавалось, пока еще, немногим. На то есть несколько причин. Во-первых, несмотря на то, что многие компании инвестируют сегодня в развитие AR девайсов, фактически все AR девайсы сегодня лишь на начальной стадии развития, сырые и недоработанные. А во-вторых, эти девайсы еще и стоят недешево, и купить их можно далеко не везде.

Хочу рассказать о своем опыте разработки двух приложений для очков дополненной реальности Sony SmartEyeglass.

Есть большое количество промо-роликов, которые показывают возможности этих очков. На них все выглядит действительно очень круто, и ты понимаешь — это будущее. Но когда мы принялись за работу, все оказалось не так гладко и хорошо, как в рекламных роликах.

Изначально, идея приложения состояла в том, чтобы с помощью камеры, встроенной в очки, считывать штрих-коды любых товаров. Пользователю на экран при этом выводится полная информация о продукте: название, страна-производитель, стоимость, вес и т.д. Поначалу, экспериментировать с эдаким подобием «зрения Терминатора» было забавно, но со временем стало понятно, что сама по себе функция считывания штрих-кодов в контексте дополненной реальности не несет в себе большой практической пользы.

Следующая версия приложения основывалась на предыдущем решении, но это приложение было гораздо полезнее при использовании в повседневной жизни. Бывала ли у вас ситуация, когда вы набрали много продуктов в супермаркете, а на кассе вам озвучивают общую сумму покупки заметно больше той, что вы ожидали? Наше приложение поможет избежать таких неприятных ситуаций. С его помощью, покупатель может сканировать коды всех товаров, добавлять их в виртуальную «корзину» и видеть стоимость своей покупки еще до того, как дойдет до кассы.

Техническая часть

На сегодняшний день сами очки в нашей стране купить невозможно, да и те версии, которые есть в продаже на Западе — пока предназначены только для разработчиков. Стоит такое удовольствие ни много, ни мало — 800$. Для тех, у кого очков нету, но поэкспериментировать с дополненной реальностью очень хочется — на сайте Sony есть подробное описание установки эмулятора очков, так что, даже не имея их, вы можете попробовать разработать собственное приложение и «прикоснуться к прекрасному» ☺ Хочется отметить, что у Sony очень подробная документация по настройке и запуску этих очков, как и разработки приложений для них.

В силу специфики девайса, в руководстве для разработчиков есть также пункты о безопасности, весьма специфические и характерные именно для дополненной реальности. Суть AR девайсов — дополнять мир, который человек видит через очки, выводить на дисплей дополнительную информацию, которая, в то же время, не отвлекает внимание пользователя. Например, если человек находится за рулем автомобиля или за штурвалом самолета, надолго переключать внимание на информацию в дополненной реальности ему ни в коем случае нельзя. Все это нужно учитывать разработчикам при создании приложений.

Прежде чем приступать к работе, нужно понять, как будет использоваться решение — будет ли пользователь сидеть на месте, ходить или что-то делать. Для каждого случая прописаны рекомендации от Sony: если человек находится в движении, на дисплей очков должно выводиться как можно меньше текста, а его размер должен быть как можно больше. При этом пользователь должен понимать, на каком уровне приложения он находится, сколько бы он им не пользовался. Поэтому очень сложные приложения с большой вложенностью экранов Sony настоятельно советуют не делать.

Очки Sony не могут работать отдельно от телефона (в данном случае, это может быть только Android 4.4 и выше), и все процессы, которые происходят у вас на экране очков, обрабатываются на телефоне и передаются с помощью Bluetooth или Wi-fi.

У Sony также есть свои SDK для разработки приложений, без использования которых очки просто не будут видеть установленное на девайсе приложение. Не буду вдаваться в подробности, так как все описано на сайте Sony предельно понятно и в этом несложно разобраться.

Хочется отметить, что на многие вещи Sony накладывает ограничения, поэтому нам не удалось работать напрямую с камерой, получая с нее видеопоток в реальном времени и выводя на экран маркер при распознавании границ штрих-кода. Потому, для считывания штрих-кодов мы делали фото с камеры, и потом на фото уже проверяли наличие штрих-кода в базе. Разумеется, это менее удобный вариант, но на тот момент — единственный, который мог решить поставленную перед нами задачу.

Наложили свой отпечаток и ограничения в плане UI. Нам не хватало элементов, которые предлагает Sony, поэтому, например, мы использовали диалоговое окно от Sony и превратили его в подобие меню для нашего приложения. Получилось довольно неплохо ☺

Результаты

Наша разработка изначально велась на эмуляторе (очки приехали позже), и мы столкнулись с проблемой того, что новые приложения, которые мы ставили на девайс, эмулятор упорно не видел. Как бы банально это ни звучало, эти проблемы позволил решить обычный reset телефона. Такая же проблема была и уже с самими очками, когда они приехали к нам.

В целом, это был интересный опыт для нас и для дизайнеров, которые рисовали UI для приложения, так как до этого никто не работал с AR.

Хочется отметить, что сам девайс еще на ранней стадии развития, и супер-инновационных решений на нем сделать, увы, не получится. Тем не менее, даже сейчас работать с такими вещами очень интересно.

👍НравитсяПонравилось0
В избранноеВ избранном0
Подписаться на автора
LinkedIn

Похожие статьи



4 комментария

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

Недавно пробовал hololens от майкрософт, в целом технология впечатлила и думаю через 3-5 лет это все будет намного компактнее и размер AR-проекции больше.

Если не учитывать того, что вы так и не описали, что же вы таки сделали, что же собственно позволяют сами очки (насколько они быстрее ардуинки и сколько они живут от одной зарядки), то уже вот это

Стоит такое удовольствие ни много, ни мало — 800$
пока ставит пока крест на всей этой теме.
Пока их цена не приблизится к 250-300 баксам и ниже, работать от одной зарадки они смогут не меньше 16 часов и процессор не сравниться топовыми смартфонами смысла в них 0. Так игрушка для любителей попонтоваться, которым некуда деньги девать. Даже сейчас процы в смартфонах не могут почти ничего из AR, что может PC. Только сейчас в топовых смартфонах начал появляться GPGPU и то только в очень некоторых.
Так что имхо вы поспешили с этой разработкой лет на 5-7. Как я когда-то с разработками в области речевых образов.
что же собственно позволяют сами очки

Очки предназначены для наложения плоского компьютерного изображения на то, что человек видит в реальном мире (нечто типа зрения Терминатора в 1-2 частях фильма)

Это покрывает не все задачи AR, но вполне хорошо покрывает вещи типа heads-up display, remote guidance и геолокации («сломанная вышка сотовой связи через 300м на юго-восток», «проверьте предохранители в блоке питания» со схематичным изображением, где они находятся и т.п.).

Собственно, вот наглядная демонстрация: youtu.be/F8pjS3lM0R4?t=15s

В целом, моё ощущение рыночной ниши именно этих очков — это промышленное применение и, возможно, remote guidance для DYI проектов. Покемонов с ними не половишь — но они для этого и не предназначены. Поэтому мощность процессора здесь не так уж и критична.

процы в смартфонах не могут почти ничего из AR, что может PC. Только сейчас в топовых смартфонах начал появляться GPGPU и то только в очень некоторых.

Вы точно не здесь не путаете AR и VR? Для AR далеко не всегда нужны какие-то адовые вычисления и графика уровня игр класса ААA.

Так что имхо вы поспешили с этой разработкой лет на 5-7. Как я когда-то с разработками в области речевых образов.

Разработки в области AR ведутся уже многими компаниями, причем, не первый год. Да, я бы сказал, что в Gartner cycle технология сейчас находится на пике преувеличенных ожиданий, но это и хорошо, т.к. стимулирует спрос на экспертизу в этой области :)

Сейчас такое время, что очень сложно запрыгивать на уже мчащийся на полном ходу поезд (читайте — хорошо проработанную и освоенную технологию), то же распознавание речевых образов развивается семимильными шагами.

Вот этого и не хватало очень в топике. Описали бы сразу что именно сделали, что получилось, где применяться будет и т.д.
А то у меня от прочтения статьи только море вопросов возникло, что я и озвучил.
Ибо у меня при прочтении возникла ассоцияция, что там чуть ли не распознавание лиц возможно, чему и удивился сильно.
Кроме того, после твоего ответа уже понятно, что в общем-то эти очки могут и какие применения их возможны.

Подписаться на комментарии