Один тест — подвійний результат: як одна зміна в UX одночасно збільшила нам і дохід, і активність користувачів — Experiments Hub

💡 Усі статті, обговорення, новини про продукти — в одному місці. Приєднуйтесь до Product спільноти!

Дисклеймер: Цей допис є частиною добірки продуктових експериментів — Experiments Hub. Проводили A/B тести або якесь інше продуктове дослідження? Заповнюйте форму і діліться своїм досвідом та інсайтами!

Коротко про компанію та продукт

Привіт, на звʼязку Антон Шуляк — Product Analyst у дейтинг-застосунку Hily в українській продуктовій IT-компанії appflame. Уже майже три роки разом із командою я генерую та тестую гіпотези, аналізую результати й допомагаю приймати рішення, які впливають на монетизацію та розвиток продукту.

Наш застосунок Hily працює за freemium-моделлю монетизації: базові функції доступні безкоштовно, а за Premium-фічі потрібно заплатити. У нас уже понад 35 мільйонів користувачів на Tier-1 ринках, а з 2024 року ми стабільно входимо в Топ-5 дейтинг-застосунків за кількістю реєстрацій у США. Щороку наші користувачі надсилають понад 1,5 млрд лайків і створюють понад 50 млн метчів.

Наш головний челендж — знайти баланс між крутим користувацьким досвідом і зростанням доходів. Думаю, ця тема знайома всім, хто працює над монетизацією. Як ми розвʼязуємо цей челендж у Hily — розповім у кейсі.

Застосунок Hily

Контекст кейсу

У Hily є кілька продуктових команд, кожна з них відповідає за різні аспекти продукту: монетизацію, користувацький досвід, безпеку користувачів тощо. В моїй команді ми фокусуємося на монетизації й один із ключових напрямів нашої роботи — покращення платних фіч, які впливають на кількість і повторюваність платежів. Однією з таких фіч є Major Crush, до якої користувачі можуть отримати доступ через підписку або її разову покупку. Як вона працює?

Зазвичай у дейтинг-застосунках, щоби почати спілкування, потрібно отримати «взаємний лайк» — обидва користувачі мають лайкнути один одного. Але функція Major Crush дозволяє користувачеві написати іншій людині ще до того, як вона лайкне його/її у відповідь. Далі все залежить від отримувачів: вони можуть відповісти або проігнорувати повідомлення.

Одразу скажу, що ми подбали про комфорт користувачів і обмежили кількість використання Major Crush, щоби не перенаситити користувачів вхідними повідомленнями.

Проблема та гіпотеза

Раніше одним із наших основних способів пропонувати й надсилати Major Crush був через спеціальний екран у застосунку, де користувачі бачили всі профілі, яким вони поставили лайк.

Здавалося б, ідеальне місце для цієї дії: перед очима вже є цікаві профілі. Але, як показав аналіз, цей екран відкривали дуже рідко, і це було основною причиною низької кількості повідомлень, надісланих через Major Crush.

Звідси ми сформували гіпотезу:нам потрібно створити ще один більш зручний спосіб скористатися Major Crush, щоби збільшити використання цієї фічі та збільшити конверсію в підписку.

Водночас ми вирішили залишити можливість надсилати Major Crush зі всіх раніше можливих місць у застосунку, щоби навмисно не звужувати воронку — ми отримували певну конверсію з інших екранів, але прагнули знайти найбільш ефективний варіант.

Дизайн експерименту

Найкращим місцем для пропозиції скористатися Major Crush нам здався екран діалогів. Ми знали, що ним активно користуються, і він ідеально вписується в механіку фічі, адже Major Crush надсилається через повідомлення. Тому очікували, що більшість користувачів помітить і спробує нову фічу.

Щоби пропонувати цю фічу максимально ефективно, ми використали дві ключові переваги:

Враховуючи, що наші користувачі активно гортають та лайкають профілі, у нас була велика база потенційних отримувачів Major Crush. Це дозволило нам гнучко налаштовувати алгоритм і підбирати найбільш релевантні збіги для користувачів цієї фічі.
Ми фокусувалися на тих користувачах, які зараз онлайн і зазвичай швидко відповідають. Це підвищувало ймовірність швидкого діалогу та позитивного користувацького досвіду.

Приклад пропозиції Major Crush в діалогах (Message before match)

Приклад використання Major Crush

Результати експерименту

Додавання Major Crush у табу діалогів гарно вплинуло на її використання та монетизацію загалом.

Оскільки ми показували фічу всім користувачам, а не тільки тим, у кого вже був Major Crush, більше людей дізналися про неї та захотіли спробувати. Це розширило монетизаційну воронку на 40 %, і позитивно вплинуло на наш дохід:

80 % користувачів, які побачили пропозицію в діалогах, зацікавилися та натиснули на фічу;
25 % користувачів відправили Major Crush (частково через обмеження на використання);
конверсія у використання Major Crush зросла на 4 %, а частота використання фічі збільшилася на 3 %.

Також, оскільки наш алгоритм підбирав саме тих користувачів, які були онлайн і зазвичай швидко відповідали, у застосунку стало більше активних діалогів. Це підняло загальну активність і retention користувачів.

Висновки

Корисний функціонал може залишатися невикористаним просто тому, що його важко знайти. У нашому випадку можливість надсилати Major Crush тим, кого користувач уже лайкнув, уже була, але ховалася в малопопулярному розділі, тому її майже не використовували. Коли ми додали її в діалоги, користувачі стали набагато частіше нею користуватися. Тому важливо регулярно переглядати функціонал продукту та знаходити такі приховані можливості для зростання.
Місце показу фічі має значення. Якби ми реалізували Major Crush через окремі поп-апи чи вкладки, а не через табу діалогів, конверсія у взаємодію, скоріш за все, була б нижчою.
Монетизація та активність користувачів у застосунку не обов’язково суперечать одна одній. Якщо правильно продумати фічу, можна й доходи збільшити, і взаємодію з продуктом зробити цікавою. У нашому випадку фіча Major Crush не тільки принесла більше оплат, а й підвищила активність у застосунку, оскільки користувачі стали частіше спілкуватися.