VR/AR — 5 решающих факторов развития технологии

Технологии VR и AR уверенно занимают свое место среди прочих повседневно используемых человеко-машинных интерфейсов. Сегодня мы уже не размышляем о том, стоит ли создавать VR/AR-приложения, мы уверены, что эта точка уже пройдена. Технологии уже стали нашей реальностью, они переходят из стадии early adopters к стадии масс-маркета, и мы ожидаем, что нас вскоре захлестнет волна VR/AR-разработок.

Я с нашей командой VR/AR экспертов определила, что мешает развитию этих технологий и их переходу в массовость. Давайте обсудим, какие препятствия нужно преодолеть VR/AR, чтобы стать сформировавшейся технологией массового спроса.

1. Оборудование и его стоимость

Не нужно быть пророком, чтобы предсказать, что снижение цен сыграет важную роль в распространении VR-технологии. Мешает этому дороговизна графических адаптеров, ведь VR ставит высокую планку перед их производителями. Быстрая и красивая графика, важная для любого настоящего процесса погружения, для VR важна особенно, ведь замедленное время реакции может вызвать VR-укачивание и сделать невозможным использование продукта.

Давайте посмотрим на цифры. Согласно журналу PCgamer.com, «большинство людей воспринимает мерцающий свет, как постоянное освещение при частоте мерцания 50-60 раз в секунду, или герц». Чтобы добиться такого же естественного эффекта в компьютерной графике, эту цифру нужно перевести в FPS (кадры в секунду), необходимый допустимый минимум для VR-приложений 60 FPS. Но при этом, «...периферийным зрением мы очень хорошо определяем движение. Отчасти поэтому VR-шлемы, способные работать на периферийном зрении, используют частоту до 90 Гц.» (PCGamer.com «How many frames per second can the human eye really see?»).

Атман Бинсток, главный архитектор в компании Oculus, объясняет: «Долгое время требования к 3D-графике реального времени для ПК были умеренными, достаточно было обеспечить 30-60 FPS. VR превращает графику в проблему жесткого реального времени, так как видимым становится каждый пропущенный кадр. Постоянно отсутствующие кадры создают эффект дрожания и дискомфорт. В результате графические возможности становятся критическими для нейтрализации неожиданных системных недочетов или провалов производительности контента».

Не удивительно, что с такими требованиями мы имеем дело с самым современным оборудованием, из-за чего передовые клиенты платят огромные суммы за ПК, пригодный для работы с VR (по мнению Logical Increments: «Без компромиссов — самый мощный пользовательский ПК на рынке, подходящий для VR-игр, стримминга, редактирования видео 4K и 3D-моделирования и анимации, будет стоить $5300»).

2. Внешний и внутренний трекинг

При внешнем трекинге (Oculus Rift, HTC Vive, PS VR) сенсоры размещаются в разных углах комнаты, чтобы обеспечить полное покрытие и определить положение устройства по отношению к окружающей среде. В реальной жизни это означает, что нам нужно будет выделить комнату, которая будет оснащена необходимым количеством камер, компьютером и шлемом, чтобы вы могли погрузиться в виртуальную реальность. Какова вероятность, что эта установка будет использоваться в обычном доме? Очень низкая. Поэтому прогнозируемый объем разработки приложений для шлемов с внешним трекингом навряд ли достигнет уровней масс-маркета.

Внутренний трекинг дает пользователю большую гибкость, так как VR шлем (HMD) уже имеет встроенную камеру, которая отслеживает и определяет положение дисплея по отношению к окружающему пространству. Следовательно, ситуация с установкой камер, как в случае с внешним трекингом, в корне иная. Они просто больше не нужны.

Одно из наших любимых устройств с внутренним трекингом — HoloLens. Это устройство смешанной реальности с 1 камерой глубины и 4 камерами для определения окружающей обстановки, которые помогают визуализировать окружающую среду с большей детализацией. Опция прозрачности дает возможность видеть окружающую обстановку, хотя и немного туманно. Тем не менее, пользователь получает преимущества погруженности автономного голографического устройства, и в то же время, возможность преодолеть неудобство, связанное с изолированностью, как в случае с VR-шлемом.

С HoloLens у нас произошла интересная история. Sigma разработала приложение Interio для помощи дизайнерам, архитекторам и организаторам мероприятий в визуализации интерьеров и создании общего впечатления от будущего оформления помещения. Мы представили это решение на выставке VR Sci Fest, которая прошла в Королевском технологическом институте в Стокгольме в мае. К сожалению, после дня работы на выставке, HoloLens нас покинул и восстановить его не удалось. Посмотрим правде в лицо: продолжительность работы и обслуживание устройства — это важный фактор. Хотя мы все еще имеем дело с бета-версией и комплектом разработчика, не с финальным розничным продуктом. И все же, необходима уверенность в том, что финальным продукт будет стабильным и надежным, оправдывая свою ценность за вложенные в него деньги.

3. Оптимальное использование ресурсов

Срок службы батареи — камень преткновения для многих устройств. Для VR-устройств с использованием мобильных телефонов, которые более доступны для большего числа людей, проблему расхода энергии необходимо решить как можно скорее.

Согласно CNet.com «Электроприборы с большей производительностью, большей скоростью передачи данных, более высоким качеством видео и гейминга, более ярким и детализированным экраном развиваются со скоростью закона Мура. Питающие их литий-ионные блоки батарей, не могут за ними угнаться. Не удивительно, что ресурс аккумулятора — самая частая жалоба пользователей смартфонов!»

Учитывая это, а также необходимое количество кадров в секунду, которое должно быть минимум 60 (обычно для мобильных игр требуется 30 кадров/с или меньше), довольно просто понять, что мобильный VR «сожрет» заряд батареи за пару часов. Эту проблему можно частично решить с помощью эффективного программного кода, разумного и согласованного дизайна приложения, и графических ресурсов. Другую часть проблемы нужно решать глобально на аппаратном уровне.

4. Взаимодействие с пользователем

VR и AR — это, по сути, новая парадигма взаимодействия между человеком и машиной. Только подумайте об этом — работая над приложением для шлема, нужно переосмыслить стандартный интерфейс пользователя: например, выбор кнопки отличается от того, к чему мы привыкли. Мы больше не кликаем. В зависимости от устройства, вы либо фиксируете взгляд на объекте, либо используете жесты или голосовые команды. Чтобы закрыть окно, вы можете, например, сделать отбрасывающее движение, а чтобы открыть файл, вы хватаете его название.

И подумайте о самом дисплее. Большинство привыкло работать с довольно маленьким дисплеем — в среднем для ноутбуков около 15 дюймов. Тогда как виртуальная реальность превращает в дисплей все пространство вокруг вас. Файлы или окна (это все еще будут «окна»?) могут открываться вокруг вас или только одно окно перед глазами и такого размера, который будет удобен для работы с его содержимым.
Постепенно переходя к новым VR/AR-интерфейсам, мы несомненно примем новую парадигму пользовательского интерфейса и работы с ним.

5. Сценарии использования

Давайте отвлечемся от ажиотажа, который, как правило, сопровождает технологии VR и AR, и подумаем о технологиях, которые стали незаменимыми в повседневной жизни. Например, мы уже не можем нормально функционировать без мобильного телефона. Вы ощущаете растерянность и оторванность от мира, если телефон разрядился и вы не можете связаться с контактами из вашей телефонной книги или использовать привычные приложения.

Самое сложное в развитие технологии — это создание привлекательных сценариев использования. Вы в самом деле будете использовать AR-приложения только для поиска виртуальных объектов вокруг вас, а-ля PokemonGo? Нет сомнений, что технология, скрывающаяся за AR приложениями, вне конкуренции. Но остается задача создания сценариев, которые заставят пользователей возвращаться к этим приложениям, сделав их частью повседневной жизни.


Подводя итоги, мы уверены, что наблюдающийся сейчас невероятно быстрый технологический прогресс неизбежно решит технические сложности, стоящие на пути развития технологий виртуальной и дополненной реальности. А задача создания ценных сценариев, приложений и продуктов, без которых вы не сможете представить себе свою жизнь, это то, с чем нам всем предстоит столкнуться.

Когда готовилась эта статья, наша команда Unity-разработчиков получила возможность протестировать ARKit, который скоро будет доступен в iOS 11. И они в полном восторге! Мы считаем, что нас ждет всплеск AR-разработки сразу же после выхода ARKit. Мы уже видим, что ARKit значительно упрощает создание AR-приложений, благодаря великолепному распознаванию поверхностей, не говоря уже о широкой базе пользователей айфонов, на которых будет доступна эта SDK.

LinkedIn

27 комментариев

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

Создание прототипа сцены для виртуальной реальности
www.facebook.com/...​-часть-1/265827767249059

Красной нитью через некоторые пункты FPS проходит, но его (да и производительность в целом) я бы смело вынес в отдельный шестой (или даже первый?) пункт.
Особенно когда это касается мобильных девайсов, вдобавок к очень правильному пункту о батареях :)
Пока что подавляющее большинство такого контента на мобилках — это абсолютно синтетические вещи, которые специально «оптимизировались» (т.е. тупо подгонялись по хардварным требованиям) ради минуты славы и срубания венчурного бабла без внятных перспектив на выход в широкий продакшен.
ИЧСХ, минута славы происходит на одном-двух флагманах (а чаще только iPhone 7 Plus) и всё.
А в реальности внезапно оказывается, что разброс моделей телефонов у реальной аудитории колоссальный, и на 20-30% этих моделей оно не заработает вообще, а еще на 30-40% будет лагать так, что мама не горюй.
Это особенно актуально на развивающихся рынках, где какой-нибудь Samsung Galaxy S5 уже три-четыре года как в топе, а на замену ему люди покупают совсем не Galaxy S8, а, скажем, Galaxy J2, и сколько ты ни старайся, вундервафля на нём хорошо (а то и никак) не заработает.

Есть немало многообещающих компаний в этой сфере, но пока они не выберутся из своего технопузыря и не посмотрят на реальный мир и на реальные слабые девайсы, на которых в массе своей это всё и надо монетизировать, кина не будет.

Vr только начал бурное развитие в мире. Главное что бы автор статьи имел понимание что это вообще такое.

Кстати, ещё одна тема по поводу AR, которая лично мне нравится гораздо больше — это пирамидальный голопроектор. Я себе заказал 22″ пирамиду со специальным покрытием для повышения контрастности и 1440×1440 дисплей такого же размера, конструкция обошлась порядка $500, но в конце концов после доработки напильником получился приличный 640×640×640 голопроектор. Единственное, что поддержка софта нулевая, всё надо делать самому. Но результат потрясающий.

По моему мнению, VR будет вытеснен MR (Mixed Reality), т.к. MR имеет больше возможностей для монетизации. На данный момент, VR сложно монетизировать ввиду малого количества устройств, рынок растет... Не знаю как другим, но что в Окулусе, что в Вайве я замечаю зерно на дисплеях, т.е. разрешение еще слабое. Поэтому такое ощущение, что смотрю старый телевизор на расстоянии 2см)) В общем года через два мы сможем нормально пользоваться данными технологиями...

Поки що, ніде крім в авісимуляторах VR не пробував. Польоти в DCS на A-10 — справжня казка.

Не знаю, кбокс с распознованием движений не выгорел. Лично мне для VR глаз будет жалко, сильно контрастный источник света, который почти в притык

Давайте посмотрим на цифры. Согласно журналу PCgamer.com, «большинство людей воспринимает мерцающий свет, как постоянное освещение при частоте мерцания 50-60 раз в секунду, или герц». Чтобы добиться такого же естественного эффекта в компьютерной графике, эту цифру нужно перевести в FPS (кадры в секунду), необходимый допустимый минимум для VR-приложений 60 FPS.

Очень странный вывод, причём тут мерцание и обновление немерцающего изображения? Особенно, если принять во внимание, что в IMAX 3D изпользуется 24 кадра в секунду и только в очень редких фильмах 48.

Электроприборы с большей производительностью, большей скоростью передачи данных, более высоким качеством видео и гейминга, более ярким и детализированным экраном развиваются со скоростью закона Мура.

Какие электроприборы? Плойка %) ?

в IMAX 3D изпользуется 24 кадра в секунду

Наверное, именно поэтому, в Imax 3D картинка смазывается при движении камеры. И для динамичных игр, и для простого поворота головы в виртуальном шлеме, такая частота слишком маленькая.

Наверное, именно поэтому, в Imax 3D картинка смазывается при движении камеры.

Или это операторский приём. 48 FPS в Хоббите, например, был выбран как раз из-за большого количества динамических сцен. Теоретическая скорость восприятия цветной картинки глазом и его обработка мозгом 50 — FPS, больше просто не пропустит глазной нерв, и то это касается только малой центральной части воспринимаемой картинки. Поэтому человеческий глаз постоянно движется и сканирует картинку в разных местах. Периферическое зрение быстрее, но там человек отмечает только скорость движения объекта и его размер, никакой детальной информации и никаких цветов — как раз та смазанность при движении.

Теория теорией, но в реальной жизни, при движении глаз, смазанность не видна, в отличие от экранной картинки. Именно поэтому и нужна увеличенная, по сравнению со статичной картинкой, частота обновления картинки.

но в реальной жизни, при движении глаз, смазанность не видна, в отличие от экранной картинки.

В реальной жизни будет такая же смазанность при попытке сфокусировать зрение на быстро движущихся объектах. Объект фокусировки будет чёткий, всё остальное смазанное. При повороте головы (а именно это пытается делать оператор при съёмке фильма), фокусировка практически невозможна, будет смазанная картинка.

Опять-таки — это тоерия. А на практике, один и тот же фильм не в IMAX 3D будет выглядеть лучше. Смазанность будет практически незаметна. Вернее, движение будет плавным, а не рывками.

один и тот же фильм не в IMAX 3D будет выглядеть лучше.

Это еще одна теория, ничем не подтвержденная.

Это практика, подтвержденная собственными глазами :) Попробуйте сами сравнить на досуге.

А мою практику ты два раза обозвал теорией.

Замени на слово предельная. Практическая скорость всегда ниже.

Про фпс тут

Где? Там про latency.

если время кадра > минимальной латенси, то начинается motion sickness.
идея в чем, от момента вашего поворота головы до обновления картинки на экране hmd должно пройти менее 20мс, в это время должны уложиться рендеры стереопары, всякие железячные оверхеды и обновление матрицы. отсюда требования окулсов/вайвов по оптимальному фреймерйту в 90-100 фпс (±10 мс на рендер + 5 мс на матрицу + 5 на оверхеды)

отсюда требования окулсов/вайвов по оптимальному фреймерйту в 90-100 фпс

20мс — это 50 fps, откуда цифра в 90-100? 90Hz — это максимальная частота обновления панелей окулсов, только и всего.

20мс это ориентировочная пороговоая цифра в статье на 2013 год, cv1 уже сильно лучше первых прототипов и исходя из экспериментов на людях пришли к оптимальному числу фпс что б народ не укачивало.

То-есть полных в хмд 50 кадров (20мс) это не учитывая стерео пару, если отдельно каждый рендернутый фрейм считать — 100фпс.

CV1 видится как монитор 2160×1200@90Hz, т.е. он способен выдавать 90Hz на каждый глаз (1080×1200).

Подписаться на комментарии