Тестирование игр: какие KPI важно знать QA Engineer

Меня зовут Григорий Батурин, я QA Engineer в харьковской студии Plarium. Сейчас работаю над проектом Mech Arena: Robot Showdown — это мобильный многопользовательский экшен-шутер от третьего лица в режиме реального времени. Недавно игра вышла в глобальный релиз. В этом материале я расскажу, какие ключевые показатели эффективности должен знать QA Engineer при тестировании игр. А также на примере одной из функциональностей Mech Arena: Robot Showdown покажу, на какие метрики стоит обратить внимание.

Еще когда готовился к собеседованию, я заметил, что информации по тестированию игр очень мало. Поэтому хочу упростить задачу для начинающих Game QA Engineer, и рассказать о навыке, который выделит вас среди кандидатов. Это понимание KPI — ключевых показателей эффективности.

Знание базовых метрик позволит вам эффективнее приоритизировать задачи и анализировать результаты тестирования. А зная терминологию, вы сможете выстроить более эффективный диалог с другими командами. Если на собеседовании вас попросят расставить приоритеты (одна из классических задач), вы сможете обосновать решение с использованием метрик.

Особенности работы Game QA Engineer

Работа QA Engineer в игровой индустрии имеет свои особенности, которые следует учитывать не только при подготовке к собеседованию, но и при планировании своего профессионального развития.

Ниже перечислены специфические навыки, которые выделяют чаще всего. Они ориентированы на разработку и выполнение тест-кейсов для игровых проектов.

Опыт работы с игровым движком. Это один из основных технических навыков QA Engineer, который отличает профессионала от новичка. Хороший специалист понимает принципы работы используемого движка и может составить специфические тестовые сценарии.

Большой игровой опыт. Можно ли сказать, что у вас большой игровой опыт, если вы отыграли 8000 часов в Dota 2? Или играли в World of Warcraft с момента релиза? Для QA Engineer в геймдев-индустрии более ценно не количество часов, а разнообразие игрового опыта, который не ограничивается одним жанром или игрой.

Знание целевой платформы и операционной системы на уровне продвинутого пользователя. Сейчас большинство проектов создаются под несколько платформ. Это значит, что QA Engineer обязан понимать специфику операционной системы, с которой работает, будь то Android, iOS, Windows или собственная операционная система как, например, в Nintendo Switch. Эти знания помогут эффективно использовать доступную функциональность.

Понимание специфики тестирования игр. Этот пункт является связующим для вышеперечисленных. К нему можно отнести умение организовывать работу с командами, расставлять приоритеты проверок, разделять задачи, оценивать время тестирования.

Зная игровые метрики, QA Engineer на начальных и завершающих этапах разработки сможет более точно оценить влияние нововведений. А также предложить изменения, которые упростят процессы разработки и тестирования, но при этом не повлияют на целевые показатели.

Базовые игровые метрики

Систематизировать знания базовых метрик можно с помощью распределения их в модели AERM — Acquisition (Привлечение), Engagement (Вовлечение), Retention (Возврат), Monetization (Монетизация). Модель иллюстрирует путь пользователя в игре.

Существуют и другие модели, с помощью которых можно систематизировать игровые метрики, например AARRR — Acquisition, Activation (Активация), Retention, Referral (Рекомендации), Revenue (Доход).

В статье мы рассмотрим модель AERM — она более понятна начинающим.

Диаграмма воронки AERM

Acquisition

На этом этапе мы не будем особо останавливаться, поскольку основное влияние здесь оказывают отделы маркетинга и гейм-дизайна. Но о нем стоит знать, поскольку термин используется в формулах далее.

Описание этапа в разных аспектах игры

На этом этапе можно выделить три основных определения:

  1. New Users (новые пользователи) — пользователи, впервые запустившие игру. Важно разделять понятие учетной записи и человека. Один человек может иметь несколько аккаунтов, и каждая созданная им учетная запись будет считаться как New User. В зависимости от типа и целей проекта, могут использоваться понятия Downloads или Install.
  2. Total Users (общее количество игроков) — это общее число пользователей вашей игры. В этот показатель входят как активные учетные записи, так и неактивные до момента их удаления.
  3. Cost Per Install (стоимость за установку) — затраты маркетинга на привлечение одного пользователя. Иногда используется смежное понятие Customer Acquisition Cost (стоимость привлечения клиента).

Engagement

Engagement и Retention часто объединяют, поскольку их показатели напрямую связаны с заинтересованностью игрока. Это самые объемные этапы — они отображают поведение игроков в вашей игре. Качество тестирования имеет большое влияние на показатели этих этапов. Если игра содержит баги или ее сложно освоить на начальных сессиях, пользователи не захотят в нее возвращаться. Поэтому QA Engineer должен организовать регрессионное тестирование и предложить решения, которые улучшат игровой опыт.

Описание этапа в разных аспектах игры

Общим показателем вовлечения считается Average Session Length (средняя длина сессий). Иногда для этого показателя используют обозначения Session Duration, Visit Duration или Average Session Time. Этот показатель рассчитывается по формуле:

Чтобы оценить влияние нововведений, используют Participation rate — это доля игроков, которые участвовали в игровой активности или событии. Метрика позволяет отслеживать вовлеченность игроков в те или иные игровые функциональности.

Retention

Этап, показатели которого отражают заинтересованность пользователя вернуться в игру. Большинство обновлений призваны повысить этот KPI, а значит, его можно использовать при анализе результатов тестирования.

Описание этапа в разных аспектах игры

Основным показателем возврата игроков можно считать Retention Rate — это процент пользователей, которые зашли в игру на N-й день после регистрации.

Зачастую Retention Rate разделяют на:

  • краткосрочный Retention — Day 1, Day 3, Day 7;
  • долгосрочный Retention — Day 14, Day 28/30, Day 60, Day 90.

Для удобства презентации Retention Rate используются сокращения:

  • DAU (Daily Active Users) — число пользователей, выполнивших хотя бы 1 вход в игру в течение дня;
  • WAU (Weekly Active Users) — число пользователей, выполнивших хотя бы 1 вход в игру в течение недели;
  • MAU (Monthly Active Users) — число пользователей, выполнивших хотя бы 1 вход в игру в течение месяца.

В контексте обсуждения Retention стоит упомянуть Churn Rate (отток пользователей). Этот показатель используют для оценки количества пользователей, покинувших приложение за определенный период (обычно за 14 дней). Для QA Engineer этот показатель является ключевым в блоке Retention, поскольку его резкое повышение сигнализирует об ошибках, допущенных во время релиза.

Monetization

Этап, который является ключевым фактором для развития проекта. Монетизация помогает улучшить игровой опыт, создать новые функциональности и разнообразить геймплей. Она демонстрирует, какие аспекты игры интересуют пользователей больше всего. Например, какой режим или персонаж наиболее востребованы.

Исходя из этих данных, команда разработки расставляет приоритеты для дальнейшего развития. Если большинство людей покупает определенного меха, команда разработки добавляет на него скины, квесты или упрощает его получение, например, добавляя меха в награды, чтобы повысить интерес к ивенту.

Описание этапа в разных аспектах игры

Когда говорим о монетизации проектов, стоит учитывать соотношение CPI (Cost Per Install) и LTV (Lifetime Value). Последний также называют CLV (Customer Lifetime Value) — это доход от одного пользователя за всю его «жизнь» в проекте.

Чтобы монетизация была успешной, важно поддерживать соотношение в таком виде: LTV > CPI. Такое соотношение не универсальное, поскольку не учитывает затраты на разработку и тестирование. Оно ключевое для общей оценки проекта, но чтобы оценить отдельные функциональности, связанные с монетизацией, нужно использовать метрики, описанные ниже.

Paying Users Share (доля платящих пользователей) — процент пользователей от всей аудитории, совершивших хотя бы один платеж.

Conversion Rate (конверсия уникальных игроков в платящих) — метрика показывает, какая часть вашего DAU перешла в платящих. Этот параметр также используется в оценке результативности маркетинга.

Average Revenue Per User (ARPU, средний доход на пользователя) — доход, который в среднем приносит один активный пользователь за определенный период времени. Он рассчитывается по формуле:

Average Revenue Per Paying User (ARPPU, средний доход на платящего пользователя) — средний доход от пользователя, который совершил хотя бы один платеж за выбранный период времени.

Использование игровых метрик на примере функциональности из Mech Arena: Robot Showdown

Рассмотрим использование игровых метрик на примере тестирования функциональности Influencer Link. Она создает для инфлюенсеров уникальные ссылки. Игрок, который перешел по ним и установил игру, получает награду.

На стадии планирования и анализа требований важно понимать, на какие из этапов в модели AERM воздействует функциональность и почему.

Acquisition. Функциональность Influencer Link направлена на привлечение новых игроков, поэтому влияет на метрики New Users, Total Users, Cost Per Install.

Retention. Поскольку игроки получают бонусы сразу после прохождения туториала, ошибки в отображении попапа с наградой могут существенно воздействовать на заинтересованность пользователя. На этом этапе функциональность влияет на метрики DAU, Churn Rate.

Monetization. Функциональность не направлена на монетизацию. Но размер выдаваемой награды может повлиять на количество людей, которые продолжат играть и перейдут в категорию платящих пользователей. Influencer Link воздействует на метрику New Paying Users.

Любую функциональность, которую вам предстоит тестировать, рекомендую обсуждать с ответственным за ее реализацию гейм-дизайнером. Не бойтесь задавать уточняющие вопросы и предлагать изменения еще на этапе планирования. Это поможет вам лучше понять целевые показатели.

Важным этапом планирования является оценка времени тестирования. Influencer Link — маркетинговый инструмент, поэтому при определении сроков необходимо получать обратную связь от команды маркетинга.

К тестированию следует приступать только после того, как вы определили, сколько времени понадобится на реализацию функциональности, а также указали метрики, на которые она влияет. Метрики помогут аргументированно отстоять свою точку зрения при выявлении недостатков в игровом балансе или элементах UI.

После релиза функциональности стоит задавать вопросы об изменениях метрик. Так вы сможете предложить дальнейшее развитие нововведений и проекта в целом. Примером улучшений для функциональности Influencer Link могут быть особые награды на основе пожеланий игроков.

Больше информации о метриках

Рекомендую регулярно просматривать материалы о метриках, чтобы структурировать знания, узнавать о новых подходах. Ниже я собрал несколько полезных ссылок, которые помогут расширить знания о KPI проектов в игровой индустрии.

Видео:

Статьи:

Знание игровых метрик важно для всех, кто задействован в создании и развитии игры. Без понимания ключевых показателей QA Engineer будет сложно выявить закономерности в изменении KPI и аргументировать свою точку зрения, когда появится необходимость предложить улучшение функциональности.

👍НравитсяПонравилось11
В избранноеВ избранном9
LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Я абсолютно не понял, каким образом знание этих метрик так важно для QA в геймдеве.

Читаю статтю, і зацікавила метрика

Average Session Length

Часто в деяких іграх, щоб отримати якись конкретний предмет, необхідно наприклад перемагати деякого супротивника велику кількість разів, бо відсоток «випадання» унікальної речі досить малий. А супротивник респавниться тільки в новій ігровій сесії. Відповідно все що роблять гравці, це відкривають нову ігрову сесію, перемагають супротивника, закривають ігрову сесію. Таким чином, результат даного відношення буде сильно спотворений, і оцінка

Engagement і Retention

буде не точна. Є якісь альтернативи?

Кейс интересный. Скорее всего, в данном случае геймдизайнеры проекта так и задумывали. То, как в игре реализованы сессии, известно только им.
Могу сказать, что старт и финиш сессии зависит от реализации со стороны девелопмента и не всегда логин — это новая сессия.

Немного не понял, почему qa инженер должен обращать внимание на метрики притока и оттока кастомеров, разве это не работа ba аналитиков?
От статьи ожидал какие то абстрактные кейсы проверок анимации, логики, физики, баланса, перфоманса пер клиент, перфоманса пер сервер, возможно некий лоад (как и чем его генерировать, мерять).

Понимание игровых метрик это не обязательное требование для QA engineer, и является лишь хорошим подспорьем при принятии решений и оценке результатов работы.
Если происходит резкий отток кастомеров, то на каком-то из этапов разработки были допущены ошибки.

Да, но это вообще не ваша парафия а забота GD и т.д. У них эти метрики перед глазами каждый божий день, они же монетизацию на этом строят

Гриша — лучший!
Отличная статья! <3

Подписаться на комментарии