Коли помилка стала експериментом — Experiments Hub

💡 Усі статті, обговорення, новини про Mobile — в одному місці. Приєднуйтесь до Mobile спільноти!

Коротко про компанію та продукт

JATAPP — міжнародна ІТ-компанія, яка створює високотехнологічні додатки у сферах бізнесу, лайфстайлу, кібербезпеки та освіти.

Контекст кейсу

На той час у нашому продукті було три платіжні мерчанти (включно з PayPal) і ми також відмічали в аналітиці — сегмент, що оплачував через PayPal мав вищий rebill rate, ніж у тих, хто обирав інші методи. У звʼязку з цим багато хто тестує на екрані оплати більший фокус на цей метод оплати. Через нетипову аудиторію нашого продукту багато стандартних рішень з ринку не спрацьовували: те, що «працювало» для інших продуктів, тут не давало очікуваного ефекту.

Саме в цей час Google переходив з GA3 аналітику на GA4, яка була настільки сирою, що навіть спеціалісти із технічного сапорту Google розводили руками по багатьох тех питанням

Через це ми ухвалили рішення перейти на власну аналітику, і відповідно користуватись гугл сплітовалкою для A/B-тестів ми не могли, і тому на певний час їх було призупинено. Команда переключитися на розробку внутрішньої платформи для розподілу трафіку

Гіпотеза

Гіпотезу яку ми сформували на основі вищого ребіл рейта сегменту із методом оплати PayPal — якщо ми збільшимо % цього сегменту у загальній масі платних користувачів, за рахунок механік мотивації взяти саме PayPal а не інший метод, то таким чином ми збільшимо загальний ребіл рейт продукту

Метод тестування

Погіршуючий експеримент (ненавмисний)

Самарі

Одного спекотного вечора четверга під час виливки нового релізу ми ненароком 🐞 відключили PayPal на головній сторінці прайсингу. Команда була занурена в розробку аналітики та власного механізму спліт-тестів + вихідні, тому збій помітили лише через 5 днів, із врахуванням часу на виливку фікса, в сумі виходить 6 днів

Але була інша причина чому помітили через 6 днів. Щоденний моніторинг ключових показників не виявляв жодних змін 🤔 - тренди 📈 денної конверсії співпадали із минулим і позаминулим тижнем, а cancel rate перебував у звичному діапазоні.

🧪 Фактично вийшов «погіршуючий A/B-тест» — замість тестування механік які б мотивували користувачів більше брати PayPal, ми його прибрали і тим самим мали можливість перевірити, чи пояснення вищого ребіл рейту криється в платіжному методі. Продукт великий, рахунок MAU йшов на мільйони, тому цього періоду було достатньо для збору данних навіть для низького MDE

Як результат ми отримали:

❌ Гіпотеза не підтвердилася — після відключення PayPal загальний rebill rate не знизився
💰 Ми заощадили ресурси команди і час — використали час простою без A/B-тестів для перевірки альтернативним шляхом + звільнити чергу для наступних тестів
👥 Високий rebill rate зумовлений характеристиками сегменту користувачів, а не особливостями методу оплати
📈 Розширений моніторинг: тепер ми відстежуємо метод оплати в щоденних метриках, щоб миттєво фіксувати аномалії та шукати нові можливості для росту