Принимайте участие в зарплатном опросе! Уже собрано почти 8 000 анкет.

Как в Live Animations создали AR-контент для книги Alif and Sofia, которая учит мусульманских детей молиться

В рубрике DOU Labs мы приглашаем IT-компании делиться опытом собственных интересных разработок и внутренних технологических инициатив. Вопросы и заявки на участие присылайте на editors@dou.ua.

Всем привет! Я Сергей Хухра, CTO AR-студии Live Animations. Мы создаем контент и маркетинговые решения, используя технологию дополненной реальности. Я хочу рассказать, как наша команда работала над одним из самых необычных проектов за наши 5 лет на этом рынке — Alif and Sofia. Мы создали AR-контент для детских книг, которые рассказывают мусульманским детям, как правильно совершать обряд молитвы.

Идея

Сама идея книг с дополненной реальностью, конечно же, не нова. Этот подход стал популярным еще во времена, когда AR только входила в нашу жизнь, и с тех пор вполне успешно применяется с пользой для целевой аудитории, которая состоит преимущественно из детей. Ведь AR-контент — именно то, что может превратить чтение в интерактивное приключение, а это положительно влияет и на увлеченность читателей, и на восприятие произведения. Другое дело, что в столь устоявшихся сферах, как религия, новые способы подачи информации всегда внедряются очень неохотно. Ислам, как одна из самых консервативных религий, особенно осторожно относится к инновациям и технологиям в культурном образовании детей.

Тем более неожиданно для нас было осенью 2018 года получить из нашего офиса в Нью-Йорке новость о том, что от малазийской компании Big Bad Wolf поступил заказ на создание AR-контента и мобильного приложения для детских книг про мальчика Алифа и девочку Софию, которые учат детей, как правильно совершать исламский обряд молитвы. Хотя к тому времени мы и создали AR-контент уже для более чем 15 книг, такая тематика была для нас совершенно новой.

Эти персонажи очень популярны среди детей в исламском мире, уже были иллюстрации, мультики, книги с ними, но еще никогда они не «оживали» в AR. C одной стороны, это существенно облегчило работу нашим дизайнерам, ведь персонажи были уже готовы, не нужно было ничего придумывать. А с другой — наши AR-персонажи должны были быть точь-в-точь такими, как требовал заказчик, что не позволяло отклониться от узнаваемого стиля ни на йоту. Поэтому, забегая вперед, скажу, что правок во внешний вид и анимации Алифа и Софии мы вносили огромное количество.

Главной целью проекта с учетом его тематики было сделать обучение исламским традициям и обрядам детей, живущих в странах Юго-Восточной Азии, более интересным и вовлекающим с помощью технологии AR. Заказчик хотел сделать книги не просто очередными детскими рассказами об обычаях ислама, а интерактивными медиаисториями с музыкой, песнями и танцами. Между прочим, до начала работы над этим проектом мы не знали, что в Индонезии живет наибольшее число мусульман в сравнении с другими странами.

Это был первый проект подобного рода в мусульманском мире, а потому начинать работу было вдвойне интересно: мы хотели посмотреть, как AR «ляжет» на столь консервативную тематику.

Как работает проект

Проект включает в себя набор AR-анимаций (по 12 для каждой книги) и мобильные приложения под iOS и Android для воспроизведения этих анимаций. Имея успешный опыт разработки мобильных приложений для детских книг, мы создали приложение по уже отработанному шаблону, добавив только уникальный дизайн в новой стилистике. При этом набор функций приложения дает пользователю возможность использовать AR-контент по максимуму. Приложение может:

  • распознавать маркеры в виде рисунков на страницах для запуска соответствующих AR-анимаций;
  • воспроизводить AR-контент в 3D с привязкой к книжным страницам (или просто закрепив сцену на экране телефона);
  • делать снимки и записи экрана, чтобы делиться ими в соцсетях.

Помимо этого, приложение дает возможность взаимодействовать с AR-контентом.

Например, когда ребенок успешно пройдет все этапы обучения, в AR-анимации на последней странице его ждет интерактивная раскраска: нужно сначала раскрасить то, что он видит на экране, а потом вся сцена оживает именно в тех цветах, которые выбрал читатель.

Весь AR-контент хранится на сервере и предоставляется по запросу программы, поэтому пользователю не нужно загружать объемное приложение с маркетплейса. Мы также упростили интерфейс мобильного приложения и сделали его максимально доступным для целевой аудитории. Оно открывает камеру по нажатию одной кнопки на главном экране и сразу готово к распознаванию страниц и воспроизведению AR-контента.

После установки и запуска приложения пользователю нужно лишь перейти в режим камеры, открыть книгу и навести камеру на страничный разворот, чтобы увидеть AR-контент. Анимации можно смотреть прямо на книжных страницах, разглядывая их со всех сторон, или можно для удобства прикрепить AR-сцену к центру экрана смартфона.

Реализация

Создать 12 AR-анимаций для каждой из двух книг (пусть некоторые из анимаций и были одинаковыми для обоих персонажей) и собрать это все в приложение — задача, которая требует значительных ресурсов и усилий большой команды. По сути, моделинговая и аниматорская работа шла не над двумя персонажами (мальчик Алиф и девочка София), а над четырьмя: модель Софии есть как в обычной одежде, так и в традиционной парандже, а Алиф может быть то в шапочке и босиком, то без шапочки и в кроссовках.

В проекте была задействована команда в составе одного текстурщика, пяти моделлеров, семи аниматоров и пяти девелоперов. Наши моделлеры вообще специалисты довольно универсальные — они часто помогали текстурировать персонажей и объекты.

Что касается девелоперов, то один из них занимался редизайном и адаптацией приложения конкретно под этот проект и сборкой UX/UI, один был ответственен за размещение в сторах, двое работали над спецэффектами, еще один — над компасом в приложении.

Кстати, компас — это вообще уникальная штука, над которой мы изрядно попотели. Известно, что все мусульмане во время молитвы должны смотреть в сторону Каабы, расположенной в Мекке. Изначально мы хотели внедрить компас в трехмерное пространство, прямо в AR-контент, который воспроизводится при наведении на иллюстрацию.

Такая идея, как AR-компас, была совершенно новой для девелоперов, и, чтобы реализовать ее, отдельный человек отвечал за сложные вычисления сферических координат, широты, долготы и просчитывал различные сценарии геолокаций (даже виртуально переносился в Японию!). Несмотря на все усилия, после нескольких тестов мы так и не смогли добиться того, чтобы на всех девайсах указывалось строго одно направление. Находясь друг рядом с другом, они отображали стрелки этого компаса, «смотрящие» в разные стороны. Смирившись с этим, мы честно признались заказчику, что для наиболее точных показаний лучше всего будет просто внедрить компас в UI приложения.

Разработка началась в ноябре 2018 года, и, так как все специалисты, задействованные в проекте, состоят у нас в штате, за время реализации проекта состав команды не менялся. Озвучка персонажей — это единственное, что мы отдали на аутсорс. Так как мы уже давно набили руку в проектах с AR для книг, рабочий процесс состоял из привычных нам стадий.

Техническая реализация

С технической точки зрения мы используем движок Unity, с которым работаем уже довольно давно. Из-за того, что наше приложение должно без проблем функционировать на множестве девайсов всех ценовых категорий, Unity позволяет максимально оптимизировать AR-контент, который наши аниматоры и моделлеры создают с помощью Maya и Maya 3D. А чтобы вывести весь этот контент, мы используем Vuforia в качестве надстройки.

Конечно же, помимо разработки и оптимизации контента, необходимо подготовить работающее мобильное приложение, которое будет все это воспроизводить, создавая привлекательный user experience. Над последним мы, кстати, заморачиваемся особенно сильно, ведь без него невозможно получить высокий рейтинг в сторах, а для нас это очень важный показатель качества. Именно поэтому приложение Alif and Sofia было написано с нуля на C#+Mono с использованием почти 500 оригинальных скриптов. В итоге программисты потратили больше трех недель на то, чтобы создать стилизованное приложение, и еще неделю, чтобы добавить все анимации, спецэффекты и т. д.

Качество для нас было в приоритете, поэтому технология создания окружения для персонажей была полностью ручной. Используя только цвет и карту высот, все текстуры мы создавали вручную. В то время, когда так популярны автоматизированные процессы для отрисовки бликов и других эффектов, наши специалисты рисовали все сами прямо в текстурах. По словам команды, которая работала над созданием контента, такой индивидуальный подход был вызван тем, что над этим проектом было приятно работать благодаря симпатичным персонажам (Алиф вообще влюбил в себя всю команду) и необычности культурной составляющей.

Без сложностей, конечно же, не обошлось. К истории про компас добавились сложности в работе с анимациями и огромное количество правок от заказчика, связанных с культурными нюансами проекта. Сначала расскажу о сложностях анимирования. Внешний вид персонажей полностью зависит от традиций ислама, и если мальчик Алиф во всех сценах носит одну и ту же одежду, меняя только головные уборы и обувь, то девочка София буквально проходит через метаморфозу: из одетой современно она превращается в полностью закутанную в специальную паранджу.

С точки зрения 3D-моделинга полная паранджа является очень сложным техническим элементом, когда персонаж не просто стоит, а постоянно меняет позы: все изгибы и складки, то, как они ложатся на тело, должны быть продуманы до мелочей, чтобы избежать неестественности финальной картинки. Неудивительно, что на создание Софии команда 3D-моделлеров проекта потратила в два раза больше времени, чем на Алифа. И хотя 3D-модели обоих персонажей были предоставлены заказчиком, чтобы избежать компромиссов в качестве, пришлось заново создавать модели специально под этот проект.

Правки, которые поступали от заказчика, были обусловлены не плохим качеством работы, а культурными особенностями: исправлять надо было анимации, то, как должны двигаться персонажи и какие действия они должны совершать. Столкнувшись с новой культурой, наши ребята не всегда могли с точностью воспроизвести все характерные движения, требуемые исламскими обрядами. Например, при троекратном омовении водой необходимо было сделать так, чтобы Алиф каждый раз набирал в ладошки новую воду, а не использовал ту, что осталась после предыдущего омовения. Этого мы не знали, и поэтому пришлось переделывать. Отполированный с учетом всех правок проект Alif and Sofia был передан заказчику в апреле 2019-го, после пяти месяцев работы над ним.

Результаты и планы

Alif and Sofia стал одним из самых успешных среди наших проектов. В день презентации книжек на самой большой книжной выставке Азии Big Bad Wolf количество запросов на наши серверы (а AR-контент хранится именно там) превысило 150 тысяч в час, тогда как рассчитаны они были на 300 тысяч запросов в день — серверы не выдержали и легли, но мы быстро устранили эту неполадку. Такой интерес еще больше убедил нас в том, что технологии могут заработать даже в такой консервативной сфере, как мусульманская культура.

Сейчас мы работаем над расширением проекта: книги перевыпускаются на малайском языке, и мы добавляем его в приложение к уже существующему индонезийскому. Таким образом мы готовим проект к выходу на новые рынки, адаптации для других исламских стран и общему расширению аудитории. Также в планах — добавление функционала ARKit и ARCore для распознавания поверхностей и воспроизведения AR-контента на них.

LinkedIn

50 комментариев

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

София — греческое языческое имя.
FYI

Ислам принимает всех. И Софию, и Марию. Правда никого не отпускает живым.

Ислам принимают все — рано или поздно

Знаете, я посмотрел ваши демо, и они реально крутые!
Думаю подобные мимишные персонажи не дадут расти моджахедам.

Спасибо огромное)))) за такое подтверждение нашей работе. Согласно на все 100

Але ж в ісламі зображення людей це харам. Максимум там квіточки і узори.
Не тролінг, а справді цікаво чи обговорювали ви це із замовником ?
Якщо так і він дав добро, замовник мав проконсультуватись про це з імамом який в свою чергу мав звернутися з цим до муфтія і той разом з іншими на раді муфтіїв мали випустити фетву з такого важливого питання. Як ви це обійшли?

Денис, спасибо за вопрос. Герои Алиф и София — это уже созданные образы для детей и они Очень популярны на азиатском рынке ( есть мультфильмы, книги, игрушки, раскраски и прочие детские товары) . К нам обратился заказчик с уже созданными моделями и поэтому проблем никаких не было. Мы не создавали новые образы, а именно уже ранее созданных героев оживили для конкретных книг. PS извините за задержку с ответом

как же это все плохо :(

Статья — бомба. Очень увлекательно, с точки зрения реализации и работы над проектом, хотя задумка весьма взрывоопасная. Особенно интересно как вы реализовывали компас для вычисления сферических координат.
Было бы, правда, интересно почитать о других ваших проектах, особенно если будет больше деталей.
Пока что, 9/11!

Ну а что такого? Разработчики ФАУ-2 тоже просто выполняли заказ, при этом используя cutting-edge технологии. Доктор Менгеле вообще из самых благих побуждений работал и сделал немало прорывных открытий.
*SARCASM*

На Менгеле всё современная медицина держится — это для медицины вообще святой человек. Правда для тех, кто попал под его эксперименты дьявол во плоти.

Странно, что тут не нашел комментария с шутками про всяких экстремистов.
www.youtube.com/watch?v=IL357BrwK7c

Печально что такие передовые технологии используются для таких отсталых целей

В цьому проекті прекрасно все! Дітей з малечку привчатимуть пізнавати світ або через екран телефона, або через спілкування з уявним другом.
Питань немає: хто платить гроші — той замовляє музику.

Дітей з малечку привчатимуть пізнавати світ або через екран телефона, або через спілкування з уявним другом.

ага, именно в этом и проблема

Если вам хорошо заплатят для написания проги для «повышения еффективности електрического стула» тоже скажите «прекрасно все»?

А вот и идейки пет проектов подъехали🤔

Да. Гони бабло — оно не пахнет. Но вот на людях хвалиться подобным не буду.

Интересно есть технологии которые учат родителей отстать от детей со своим боженькой7

Серьезное дело.

Конечно, аллах вам в помощь, но одна только тема хиджаба поднимает геволт даже у тех, к кому паранджа вообще не относится [я], и это резко уводит фокус от технологий и усилий по их обузданию.

Рекомендую перечитать весь код проекта, чтобы нигде не попалось некорректное название файла или текст комментария. Подобные мазафаки могут быть сделаны случайно — см. ваш пример с нюансами омовения у Алифа — так и нарочно.

В мою бытность манагером был случай, когда дизайнер выдал мне итоговый файл для сайта продавцов рам и багетов для картин, который он уже пару месяцев как называл «Рамки-хуямки-final.psd» (очень он заколебался править дизайн по их указаниям), а у программиста в проекте функции местами назывались function getSomeShitIzDatabazy($vseBagetyHuiety) — он был с дизайнером заодно против противного заказчика.

Ваши изображения — харам

Халяльный харам.

Требую обучающую приложуху по lurkmore.to/...​сламский_туалетный_этикет, чтобы уж совсем довести до абсурда.

без пояса София не аутентично выглядит

Это следующее приложение, для детей постарше. Как правильно одевать, использовать, итд.

Дуже дивно, що знаходяться люди, які пишаються участю в подібних проектах.

Артем, пізнання і вивчення нової культури, її особливостей і співпрацю при створенні проекту для дітей — це завжди розширює кругозір і робить тебе більш терпимим, створюється загальна реальність. Повага будь-якої релігії робить людину шляхетніше і масштабніше.А приниження і знецінення іншого погляду на світ, робить людину слабкою. Хотілося б почути більш об’єктивну оцінку з професійного боку ІТ фахівця, а не суб’єктивне релігійне думку.

Всегда интересовало, что происходит в голове у sjw, которые защищают ислам, который полностью противоречит их же взглядам.

Повага будь-якої релігії робить людину шляхетніше і масштабніше.А приниження і знецінення іншого погляду на світ, робить людину слабкою.

ну не могут пиарщики без демагогии.

Дмитрий, речь идет не об Исламе, мы поделились опытом создания проекта с дополненной реальностью для исламских детей. Это была интересная и эффективная работа большой команды.Мы делимся успешными действиями для профессионалов. Об этом статья)))

Тут все вопросы не к процессу реализации, а к этичной составляющей проекта для насильной клирикализации детей. Деньги, конечно, не пахнут, надеюсь хоть цену выше рынка поставили)

Интересно, дети сами выбрали быть исламскими?

А дети, которых украинские родители крестят ещё в нежном возрасте, берут с собой в церковь по выходным и т.п., тоже сами выбрали быть христианскими?

Я, честно говоря, немного удивлён дискурсом обсуждения — как будто бы та или иная технология может сильно повлиять на религиозность и традиции того или иного общества.

А дети, которых украинские родители крестят ещё в нежном возрасте, берут с собой в церковь по выходным и т.п., тоже сами выбрали быть христианскими?

А тут кто-то говорит что есть разница?

Я, честно говоря, немного удивлён дискурсом обсуждения — как будто бы та или иная технология может сильно повлиять на религиозность и традиции того или иного общества.

Может. Представьте, если бы в телефонах и компьютерах, где молодежь проводит много времени, вообще не было бы религиозного контента. Со временем люди ещё могли бы решить что можно жить и без религии и строгих древних правил.

Мне кажется, что давление и традиции семьи и общества здесь «решают» гораздо сильнее, чем доступность цифрового контента религиозной тематики.

В Украине, и большинстве «христианских» стран можно поменять верование и даже пол (омг) без риска быть как минимум парией а то и отправиться на свидание с тем самым «боженькой» без какого либо согласия. Или быть неверующим или агностиком (ето кстати разное) без последствий.
Я уважаю выбор людей _сознательно_ выбирающих ислам (равно как и другую религию) при условии что они НЕ имеют право навязывать свой выбор другим и диктовать свои условия (Например окунаться в ПУБЛИЧНыЙ бассейн в уличной одежде)
Я также НЕ буду «продвигать» их (и другую) религию даже за деньги.

Мое имхо из всех религиий ислам наиболее «пещерный» и воинственный, в реальности и в тех государствах где он «госрелигия». Возможно в своей сути он не был таким (ето философская дискуссия вне рамок данного топика) но по факту так есть.
Поетому я «без ентузиазма» смотрю на подобные топики.

п.с. лучше б запилили какую другую действительно обучающую прогу с «виртуалкой» и етим хвастались, музеи там какие...

Мое имхо из всех религиий ислам наиболее «пещерный» и воинственный

Нет. Христианство такое же. Оба выросли из одних и тех же еврейских сказок и оба в общем одинаковы во всех смыслах. Но вот во времени они постоянно спорят в кровожадности. Сейчас ислам чуть кровожаднее. Не так давно было наоборот.

при условии что они НЕ имеют право навязывать свой выбор другим

Только похоже что так не бывает

В этом есть большая проблема, которую трудно разрешить...
Как человек лично прошедший через опыт болезненной подростковой религиозности, я думаю что индоктринация детей крайне опасна.
Я христианин, и хотя я давно не участвую в таинствах (это отдельная тема), вера для меня не пустой звук, однако, я бы предпочёл воздержаться от индоктринации детей (в том числе моих будущих), у них должен быть выбор, и как минимум они должны осознавать под чем «подписываются».

Пізнання культури й допомога і її поширені — дуже різні речі. Я, наприклад, часом читаю історичні книжки про нацизм, сталінізм, про плем’я канібалів можу почитати, все це дуже пізнавально, але вчити цьому дітей??? І справа не тільки в ісламі, якби йшлося про християнський молитовник для дітей — реакція була б та сама. Діти беззахисні від зловживань дорослих, особливо батьків, а ви своєю роботою замість допомогти чи принаймні не заважати їм вирости самостійними, гідними індивідуумами, допомагаєте перетворити їх ув’язнених в гето. Он там вище про Індонезію було, і як, подобається ваша робота www.dailymail.co.uk/...​de-wedlock-Indonesia.html www.dailymail.co.uk/...​arital-sex-Indonesia.html ?

і робить тебе більш терпимим

Терпимим слід бути тільки до тих, хто сам вміє проявляти терпимість.

Хотілося б почути більш об’єктивну оцінку
Повага будь-якої релігії робить людину шляхетніше і масштабніше.А приниження і знецінення іншого погляду на світ, робить людину слабкою.

Ну це об’єктивно факт! ;)

є нормальне помірковане мусульманство а є салафіти які живуть по законам шаріату. в Малайзії стрімко розвивається другий варіант. сімейне право вже вирішується шаріатським судом. почитайте про розвиток ісламу в Малайзії, вам як жінці буде цікаво.

Памяркоунае всегда сливает буйным, если светские структуры не настучат буйным по голове.

Певно ж, свою дитину вона туди не відправить, а Софійка... — Софійку не шкода. А десять баксів є десять баксів.

свою дитину вона туди не відправить

А потім своя донька вийде заміж (проігнорувавши всі поради) і тільки десь у малайзіях зрозуміє, в яку халепу встряла.

Подписаться на комментарии