Чи виправдовує Apple Vision Pro очікування розробників

Привіт, мене звати Андрій Яворський, я XR Architect у SoftServe і займаюся координацією та розробкою VR/AR-рішень для Enterprise-сектору. Тож коли Apple анонсувала Apple Vision Pro, я негайно взявся досліджувати майбутній девайс та можливості його SDK. А нещодавно зі США прийшов сам хедсет, тож я протестував усі його функції на практиці.

У цій статті я коротко розповім про особливості девайсу та розробки на ньому, а також порівняю Apple Vision Pro з іншими популярними хедсетами. Якщо ви хочете створити щось під Apple Vision, але вагаєтеся і хочете дізнатися більше, сподіваюся, ця стаття буде для вас корисною.

Чим Apple Vision Pro вирізняється серед інших девайсів

Apple Vision Pro — це перший XR-хедсет від Apple, якого очікували роками. І це одна з основних першопричин такого значного інтересу з боку розробників до нього. Я багато працював з Meta (Oculus) Quest 3, і мені було дуже цікаво порівняти можливості цих девайсів, зважаючи на перспективну промокампанію від Apple.

Переваги

Еплівський хедсет має очевидні переваги. По-перше, це використання технології eye tracking. Завдяки великій кількості сенсорів, інфрачервоних камер та лідарів девайс точно аналізує оточення та визначає, куди дивиться користувач. А функція Optic ID замінить введення пароля на сканування зіниці (як у крутих шпигунських фільмах).

За допомогою трекінгу очей і відбувається основна взаємодія з девайсом, адже саме поглядом користувач вказує на елементи, якими хоче скористатись. Забезпечує цю взаємодію окремий процесор R1, який обробляє дані з камер та сенсорів і зосереджується на аналізі навколишнього простору та рухів користувача. А завдяки поєднанню з процесором М2 ми отримуємо доволі потужний пристрій.

По-друге, пристрій оснащений двома екранами з роздільною здатністю 4K+, що забезпечує надзвичайно чітке та деталізоване зображення. Серед популярних девайсів це, мабуть, найкраща якість, яку я бачив.

Крім того, для девелоперів важливою перевагою є глибока інтеграція з екосистемою Apple. Розробникам, знайомим з iOS, буде легко освоїти розробку для VisionOS, а багато наявних застосунків для iOS можна перенести на нову платформу без додаткових зусиль — достатньо поставити галочку, щоб застосунок став доступним в App Store для окулярів.

VisionOS

VisionOS — це операційна система для XR-пристроїв від Apple, яка побудована на основі iPadOS. У ній вбудований ARKit, що дозволяє розпізнавати навколишнє середовище та взаємодіяти з ним. Це, зокрема, Image Recognition (розпізнавання зображень), Plane Detection, тобто розпізнавання поверхонь та предметів, а також World Tracking — набір функцій для визначення перебування користувача в просторі. Застосунок буде розпізнавати ваше оточення, розуміти, де саме ви перебуваєте і які віртуальні вікна чи об’єкти повинні там розміщуватись.

Однією з цікавинок VisionOS є технологія Foveated Rendering, яка дозволяє рендерити високоякісне зображення лише в тому місці, на яке спрямований погляд користувача. Завдяки трекінгу очей система визначає точку фокусування, і саме в цій області відображається чітка картинка. Периферійні зони відображаються з нижчою якістю, що дозволяє підвищити загальну продуктивність системи, покращити освітлення, рендеринг та деталізацію 3D-моделей без додаткових навантажень на процесор. Цей процес відбувається швидко та непомітно для користувача, забезпечуючи приємний та плавний досвід використання.

VisionOS також пропонує різноманітні способи контролю. Основним методом є управління за допомогою рухів очима; в цьому хедсеті ваші очі виконують роль вказівника мишки. Деякі застосунки навіть можуть реагувати лише на напрямок погляду, без підтвердження дій жестами рук. Наприклад, у вбудованому браузері Safari ви можете навести погляд на іконку голосового введення, диктувати фразу і здійснювати пошук без жодних додаткових дій. Окрім того, підтримується голосове управління та підключення Bluetooth-пристроїв, що дозволяє використовувати клавіатуру, мишку та інші аксесуари, а також шерити екран з MacBook, перетворюючи XR-хедсет у повноцінний робочий інструмент (чи ні?).

Відображення контенту

У VisionOS є кілька варіантів відображення контенту, що забезпечує гнучкість і різноманітність взаємодії з віртуальним середовищем. Однією з унікальних можливостей Apple Vision є здатність відображати дуже велику кількість застосунків водночас.

Завдяки цій функції можливо розмістити з десяток різних застосунків в одній кімнаті та стільки ж в іншій, і всі вони будуть працювати паралельно. Користувач може вільно переміщатися між кімнатами, переходячи від одного застосунку до іншого, що посилює враження безшовної інтеграції та багатозадачності.

Найпростіший варіант відображення — це Window Mode. Це 2D-вікно з можливістю додавання Z-офсету для контенту, що дозволяє розміщувати деякі елементи трохи попереду або позаду основного вікна, створюючи ефект об’єму. Будь-який iOS-застосунок, перенесений на VisionOS, автоматично працюватиме у цьому режимі, але без додаткових Z-офсетів, відображаючись просто як 2D-екран.

Другий варіант — Bounded Volume. Це обмежений простір, спеціально виділений для конкретного застосунку, оточений віртуальними стінами. Особливість цих двох режимів (Window Mode та Bounded Volume) полягає в тому, що вони працюють у режимі Shared Space. Це дозволяє відображати та взаємодіяти з кількома застосунками одночасно.

Наприклад, користувач може мати відкритими кілька застосунків у режимі Window Mode та декілька в режимі Bounded Volume, причому фокус буде автоматично зміщуватися на той застосунок, на який користувач спрямовує свій погляд.

Крім цих двох режимів, є ще два варіанти, які належать до так званих Exclusive Spaces: Unbounded Volume та Immersive Mode. Unbounded Volume відрізняється від Bounded Volume відсутністю віртуальних обмежень. У цьому режимі запускається лише один застосунок, і жодні інші не можуть працювати паралельно. Unbounded Volume дозволяє бачити реальний простір навколо себе та взаємодіяти з реальними поверхнями та предметами.

Immersive Mode, з іншого боку, — це класичний VR-режим, в якому користувач не бачить реального світу. Він підходить для VR-ігор, 360-градусного відео та іншого контенту, що повністю занурює користувача у віртуальне середовище. У цьому режимі взаємодія з реальним світом недоступна.

Якби не ціна....

Усі вищеперелічені характеристики могли б зробити цей девайс успішним і популярним. За чутками, наразі Apple вдалося продати приблизно 200 000 девайсів замість 700 000-800 000 запланованих. Вартість Apple Vision Pro значно перевищує своїх конкурентів: $3500 проти $500 за Meta Quest 3 і $1000 за Meta Quest Pro.

Він має однозначно вищу якість зображення, причому як віртуального, так і зображення з камери, більшу потужність та передову технологію відстеження погляду. Але, на мою думку, це не коштує $3500. Така вартість розрахована на дуже вузьке коло користувачів.

На додачу, зараз користувачу пропонується недостатньо контенту, заради якого варто купувати цей девайс. Я для себе, наприклад, не знайшов причин, для чого мені носити Apple Vision Pro упродовж дня (як це демонстрували багато влогерів). Так, я можу запустити з нього застосунки з iPhone, але з iPhone це робити об`єктивно зручніше, ніж з самого хедсету.

Поки що платформа, під яку в майбутньому можна випускати якісь продукти, є ще трохи сирою, і її аудиторія занадто вузька. Безумовно, потенціал у цього девайсу є — скоріш за все, він перефокусується на enterprise-сектор, де його будуть більше використовувати для роботи, аніж для повсякденного життя, як спочатку позиціонувалося в Apple.

Інструменти для девелопменту

Для розробки застосунків під Apple Vision необхідно мати Macbook на процесорі Apple Silicon. Далі слід встановити XCode, додати підтримку VisionOS, що автоматично встановить RealityKit і Reality Composer Pro. Reality Composer Pro інтегрується з XCode і надає можливість працювати з 3D-моделями, налаштовувати їх і готувати до використання в застосунку.

Важливо зазначити, що існує дві версії Reality Composer: Reality Composer для iOS і iPadOS, і Reality Composer Pro для VisionOS. Повна і зрозуміла інструкція є на сайті Apple (тут про Reality Composer, а тут про створення першого застосунку), тож я не бачу сенсу її тут переказувати — розібратися можна за 30 хвилин :)

Для розробки застосунків під Apple Vision Pro існує два основні інструменти — це Unity i RealityKit.

Unity

Unity — це популярний ігровий рушій, який давно перестав бути лише інструментом для створення ігор. Компанія Unity співпрацює з Apple і розробила PolySpatial SDK для створення застосунків під Apple Vision. PolySpatial базується на RealityKit, а RealityKit — на Metal. Завдяки Unity розробники отримують широкий спектр функцій для роботи з 3D-контентом.

Цей підхід найкраще підходить для створення імерсивних застосунків або застосунків, де основний фокус на 3D-контенті. Якщо ви вже маєте досвід розробки на Unity, перехід на VisionOS буде відносно простим. Unity забезпечує високорівневу взаємодію з 3D-контентом, що робить його ідеальним для створення насичених віртуальних середовищ.

RealityKit

RealityKit — це фреймворк від Apple, спеціально розроблений для взаємодії з 3D-контентом у застосунках. Він дозволяє легко інтегрувати 3D-моделі, додавати AR-функції та створювати інтерактивні середовища.

RealityKit забезпечує простий (хоч і не завжди інтуїтивний) спосіб роботи з AR- та 3D-контентом, що робить його ідеальним для розробників, які мають досвід роботи зі Swift та іншими платформами Apple і хочуть створювати реалістичні та інтерактивні застосунки. Крім того, він підтримує MaterialX — відкритий стандарт для відображення матеріалів та шейдерів, що спрощує перенесення наявних ігор та застосунків на VisionOS.

Додатково є ще кілька можливих інструментів розробки, такі як, наприклад, Metal. Це низькорівневий графічний API від Apple, який забезпечує максимальну продуктивність та гнучкість для розробників. Використання Metal підходить для тих випадків, коли функціональність RealityKit або Unity не відповідає вимогам проєкту. Це найбільш low-level підхід, який дозволяє рендерити контент за власними правилами.

Крім того, нещодавно Unreal Engine запустив підтримку Apple Vision Pro. Проте варто зазначити, що цей рушій наразі доступний лише для розробки VR-застосунків і не підтримує взаємодію з реальним оточенням.

Наостанок, NVIDIA Omniverse анонсували підтримку Apple Vision Pro, але поки що деталей щодо цього немає.

Вибір способу розробки застосунків на VisionOS залежить від специфіки та потреб вашого проєкту та рівня свободи, яку ви хочете мати під час розробки. Загалом раджу спробувати кожен з цих інструментів, щоб краще зрозуміти, що саме підійде для ваших завдань.

Обмеження для розробників

Під час розробки під VisionOS важливо враховувати кілька обмежень. Найголовніше — відсутність доступу до камери та до решти сенсорів. На відміну від iPhone, де можна запросити доступ до камери, в Apple Vision цього зробити не можна: front-камера покаже Persona користувача (3D-модель його обличчя), а back-камера просто поверне чорний фрейм.

Це означає, що ви не зможете отримати детальну інформацію про навколишнє середовище або взаємодіяти з ним на рівні окремих деталей. Наприклад, ви не зможете визначити, що саме за об’єкт перед користувачем чи навіть сканувати QR-коди.

Окрім того, якщо ви створюєте Shared Space application, будете знати тільки про взаємодії користувача з вашими елементами інтерфейсу, тому коли погляд користувача відведено в сторону іншого застосунку, ви про це не дізнаєтеся. На відміну від цього, в режимах Unbounded Volume та Immersive Mode ви зможете отримувати більше даних про жести користувача, напрямок погляду та інші дії.

Ці обмеження закономірні та створені для посилення конфіденційності користувачів, але це також суттєво зменшує функціональність можливих застосунків для Apple Vision Pro. Варто нагадати, що схожі обмеження накладаються на більшість XR-платформ, тому Apple тут не виділились.

Також слід врахувати нюанси розробки на Unity, адже у них це перший досвід зв’язування рушія із RealityKit, тому досі, наприклад, не підтримуються HDRP та SRP, а також VFXGraph, більшість партікл-систем і ще багато різного. Детальніше можна прочитати тут: Supported Unity Features & Components | PolySpatial visionOS | 2.0.0-pre.3 (unity3d.com). Ці обмеження можуть вплинути на ваш вибір інструментів і підходів до розробки.

На додачу, Apple зараз не дуже працює над розширенням функціональності Apple Vision Pro, ймовірно, через низькі продажі. Виклик полягає і в малій кількості туторіалів для розробників. Це стосується як Unity, так і інших платформ. Часто рішення доведеться шукати самому методом проб та помилок.

Крім того, друга сторона медалі «екосистеми Apple» — обмеження розробки виключно на макбуках, що створює додаткові незручності для розробників, які звикли працювати на інших платформах. Якщо раніше можна було створити гру на Unity для мобільного пристрою Apple на Windows і лише збілдити її під iOS на Mac, то тепер потрібно використовувати Mac на всіх етапах розробки, адже PolySpatial SDK підтримується лише на macOS.

Реальний досвід і варіанти використання

На позитивних моментах зупинюся коротко, бо вони в цій статті досить детально описані. Дуже сподобалася точність відображення рук та взаємодія з віртуальними об’єктами, а також якісний трекінг очей. Це створює відчуття реальної присутності у віртуальному світі, і взаємодія з об’єктами стає природною та інтуїтивною. Дуже висока якість зображення, але в сутінках вона суттєво погіршується. У мене світла квартира, але ввечері, навіть з увімкненими всіма лампами, зображення стає зернистим і менш чітким.

Є моменти, які потребують покращення, наприклад, обмежена функціональність під час трансляції екрана MacBook. Наразі немає можливості окремо розташовувати декілька вікон, тобто, це працює як звичайний screen sharing і замінить вам максимум купівлю монітора.

Щобільше, мак не має доступу до мікрофона, динаміків та Персони на хедсеті, тому для робочих дзвінків потрібно буде або знімати шолом, або вдягати додатково навушники та використовувати стандартну камеру комп’ютера. Сподіваюсь, що з часом ситуація зміниться — з’явиться глибша інтеграція хедсету з макбуком, буде можливість відкривати декілька вікон, розташовувати їх у віртуальному просторі та користуватись ними паралельно.

Один з важливих недоліків — необхідність повторної калібрації під кожного користувача. Якщо Meta Quest можна використовувати на виставках, де різні люди вдягають гарнітуру один за одним без додаткових налаштувань, то Apple Vision Pro потребує калібрування зіниць та рук для кожного окремого користувача без можливості запам’ятати ці дані десь у профілі.

До девайса є питання і по дизайну. Для роботи Apple Vision Pro вимагає підключення окремої батареї, яка забезпечує живлення на 2-2,5 години. Для довшого використання потрібно підключати додатковий кабель від павербанка до батареї, і в результаті ти ходиш обвішаний кабелями як у якомусь старому кіберпанк-всесвіті.

Стандартне кріплення для окулярів теж виявилося не дуже зручним. При тривалому перегляді відео починають боліти очі та голова — це те, на що жалілися багато користувачів і навіть повертали хедсет.

Здивувався, що на платформі дуже мало ігор і користуватися девайсом для розваг доволі складно. Майте на увазі, що App Store на хедсеті наразі не доступний для українського регіону, то ж потрібно буде міняти регіон вашого Apple ID або створювати новий акаунт.

Загалом, як пристрій для індивідуального і повсякденного користування мені він взагалі не підійшов, але якщо пізніше виходитиме велика кількість застосунків, то в ньому буде більше сенсу, і, відповідно, зростатиме попит.

Але наразі він більше підходить для enterprise-використання. Однією з основних сфер є високоякісні візуалізації, такі як дизайн інтер’єрів та пристроїв. Завдяки своїй здатності надавати детальні зображення, Apple Vision стає чудовим інструментом для дизайнерів, архітекторів та інших професіоналів, яким потрібна точність і візуальна ясність. Крім того, така деталізація буде корисною і в медичній галузі для проведення навчань чи віддаленої підтримки лікарів.

Щодо застосування на виробництвах, то на відміну від конкурентів, Apple Vision Pro не підійде для того, аби тренувати на ньому всіх працівників — через свою вартість. Скоріше, це девайс для керівництва. Наприклад, менеджери можуть використовувати хедсет для моніторингу виробничих процесів, перегляду цифрових копій (digital twin) фабрик і спостереження за станом обладнання. Це дозволить керівникам приймати обґрунтовані рішення на основі актуальної візуалізованої інформації, навіть коли вони знаходяться поза межами виробництва.

Підсумок

Моє особисте враження від Apple Vision Pro неоднозначне — з одного боку, він має перспективи й очевидні переваги над своїми конкурентами; з іншого, його вартість та поки що сира платформа не дозволяють повністю скористатися цими перевагами. Для цього повинен минути ще певний час. Створити щось під пристрій — однозначно цікаво, але якщо ви хочете монетизувати продукт для пересічних користувачів, то для цього ще зарано.