Кореляція чи каузація: як помилка може коштувати понад 3% ARPU

💡 Усі статті, обговорення, новини про продукти — в одному місці. Приєднуйтесь до Product спільноти!

Привіт! Мене звати Настя, я Head of Product Analytics дейтинг-застосунку Hily в українській продуктовій IT-компанії appflame.

Я починала свій шлях у компанії понад семи років тому з позиції Middle Product Analyst, коли на продукті було лише до 50 спеціалістів. Зараз нас на продукті понад 120, і моя аналітична команда забезпечує аналітикою чотири продуктові крос-функціональні команди для прийняття бізнес-рішень.

Наша команда зосереджена на пошуку корисних інсайтів та взаємозв’язків між метриками, на основі яких ми через продуктові експерименти (A/B-тести) ростимо цільові метрики компанії — дохід та ретеншн.

Сьогодні я хочу поговорити про те, як неправильне трактування даних і, як наслідок, помилковий фундамент для продуктової гіпотези та A/B-тесту, можуть коштувати доходу компанії. І чому, помітивши цікаву залежність у даних, важливо впевнитись, що причину цієї залежності ви визначили правильно.

Далі в статті я розгляну, що таке кореляція та каузація і чим вони відрізняються. А також поділюся прикладами наших експериментів, де ми сплутали ці поняття і що із цього вийшло.

Чим кореляція відрізняється від каузації

Під час аналізу даних ми часто бачимо, що дві метрики змінюються одночасно — зростають або зменшуються разом, або рухаються в протилежних напрямках. Такий зв’язок між даними називається кореляцією.

Якщо ж одна із метрик є причиною зміни іншої, то між ними існує також каузальний, або причинно-наслідковий зв’язок. Однак, кореляція не завжди супроводжується каузальною залежністю.

Наведу приклад: влітку росте споживання морозива й одночасно збільшується кількість помічених біля узбережжя акул, — у цьому випадку ми маємо кореляцію. Однак, якщо випустити в море більше акул, то наслідком однозначно не стане ріст споживання морозива, адже причинами обох змін є тепла погода і збільшення кількості туристів.

Таким чином, задача аналітики — правильно визначити саме каузальні, а не кореляційні залежності, щоб не марнувати ресурси компанії та не ризикувати втратами доходу. Однак, помилково прийняти кореляцію за каузацію дуже легко.

Поділюсь прикладами наших вдалих і невдалих експериментів у Hily — застосунку для знайомств, який орієнтований на Tier-1 ринки та налічує понад 40 мільйонів користувачів і близько одного мільйону MAU (Monthly Active Users).

Експеримент #1 із підвищення ретеншену жінок (неуспішний)

У наших аналітичних даних чітко прослідковується, що жінки, які самі ініціюють спілкування, мають більше діалогів і краще повертаються в застосунок. А оскільки ретеншн жінок (кількість днів, проведених жінками в застосунку) — це наша продуктово-стратегічна ціль, ми не могли ігнорувати помічену залежність.

Наша гіпотеза полягала в тому, що якщо жінка розпочинає спілкування самостійно, тоді вона більш зацікавлена підтримувати комунікацію. І також ми помітили, що жінки досить креативно підходять до формулювання перших повідомлень чоловікам. Завдяки цьому чоловіки частіше відповідають, розмова між ними виходить глибшою, і жінки повертаються до застосунку частіше.

Тому ми взяли екран, який раніше допомагав чоловікам розпочинати розмову (скриншот нижче), й адаптували його для жінок. Таким чином хотіли, щоби більше жінок писали першими.

Коли в жінки з’являвся новий метч, на екрані показувався короткий цікавий факт про цю людину. Така підказка мала надихнути жінку написати першою, особливо якщо вони з її метчем мають щось спільне.

Завдяки цій механіці нам вдалося збільшити кількість жінок-ініціаторів переписок на +12.3 %. Це вагоме зростання цільової метрики, однак у результаті кількість діалогів залишилась майже без змін (+0.6 %), бо діалоги, які в тестовій групі Б розпочали жінки, у контрольній групі A розпочинали чоловіки. Тобто кількість розпочатих діалогів залишалася майже такою ж, але тепер більшість із них ініціювали жінки.

Не змінилась і глибина діалогів (середня кількість повідомлень). Тобто, ми змінили структуру діалогів з огляду на те, яка сторона їх ініціювала, але не вплинули на загальну кількість чи якість. Відповідно, ретеншн теж залишився майже без змін (-0.8 %), бо не було додано цінності для жінки.

У цьому експерименті ми помилково вважали написання першого повідомлення причиною вищого ретеншна. Насправді ж це була кореляція, а не причинно-наслідковий зв’язок. Натомість, готовність інвестувати більше зусиль та часу в пошук своєї пари — ось що мотивує жінок як писати першими, так і частіше повертатись у застосунок. Ми знаходили підтвердження цьому також у наших користувацьких дослідженнях.

Експеримент #2 зі збільшення ARPU (неуспішний)

Схожу помилку ми зробили плануючи експеримент, спрямований на підвищення ARPU. У нашому застосунку користувачі відправляють один одному лайки, а наявність взаємної симпатії (метчу) дає їм можливість розпочати спілкування одне з одним. Саме можливість створити метч і розпочати діалог — це ключова цінність, яку ми надаємо в продукті.

В основі монетизації нашого застосунку — підписка на лімітований преміум функціонал, що в порівнянні з широким безплатним базовим функціоналом, пришвидшує отримання цінності користувачами. Це, до прикладу, можливість побачити, хто тебе вподобав, чи написати повідомлення, не чекаючи взаємної симпатії.

Аналізуючи дані, ми помітили, що кількість взаємних лайків, які отримують підписники у відповідь, позитивно корелює з їхнім середнім доходом (ARPU). На основі цього в нас з’явилася гіпотеза — якщо ми забезпечимо підписникам ще більшу кількість вхідних взаємних лайків, то зможемо підняти й дохід компанії.

У цьому експерименті ми в першу чергу показували користувачам профілі тих підписників, які не отримували взаємного лайку протягом останніх 24 годин. У результаті наша цільова метрика — кількість вхідних взаємних симпатій для підписників — виросла на +5 %.

Збільшилась також кількість підписників, у яких є хоч одна взаємна симпатія, на +4 %. Однак, на противагу нашим очікуванням, ARPU при цьому знизився на −3.3 %.

Чому так сталось? Річ у тім, що наявність чи кількість вхідних взаємних симпатій насправді не виступають факторами, що спричиняють ріст ARPU, — між ними немає причинно-наслідкового зв’язку. Справжня причина і вищого ARPU, і більшої кількості взаємних симпатій — це висока мотивація користувачів знайти пару та їхня готовність інвестувати в це час і гроші.

Експеримент #3 з підвищення ретеншену жінок (успішний)

Кілька наших успішних експериментів ґрунтувалися на тому, що ймовірність відправки лайку, утворення пари та переходу до глибокого діалогу вища в користувачів, у яких збігаються інтереси.

Нюанси, які ми виявили в процесі користувацьких досліджень та аналітиці результатів попередніх тестів:

1. важливо, щоби збігалися рідкісні інтереси (наприклад, ’скелелазіння’) або понад два інтереси (будь-яких);
2. спільні інтереси впливають на рішення про відправку лайку жінками, але не чоловіками. Для чоловіків більший вплив має візуальна частина профілю.

Ми провели ряд успішних експериментів із використанням цієї залежності. Почали з найпростішого: додали заповнення інтересів як крок при реєстрації для нових користувачів і підвищили пріоритет показу профілів, у яких збігаються інтереси. Чим більше інтересів збігається — тим швидше ми показуємо користувачів один одному.

У результаті ми отримали вагомий приріст ретеншна жінок: +3 % до кількості днів, проведених у застосунку, завдяки росту кількості відправлених ними лайків (+1.8 %) та глибоких діалогів (+2.7 %).

Висновки

Підсумовуючи, у Hily ми багато експериментуємо: кожного дня в нас понад 30 активних А/Б-тестів, кожен другий із них — успішний. Високий рівень успішності значною мірою ми досягаємо коштом глибокого аналізу та використання неочевидних взаємозв’язків між даними.

В обох неуспішних прикладах вище, не провівши експерименту на наших користувачах, ми не змогли б перевірити вірогідність наших гіпотез. Окрім того, навіть невдалий експеримент для нас — це завжди цінне джерело інсайтів, яке допомагає формувати наступні кроки.

Тому не бійтесь експериментувати та помилятись, але ґрунтовно підходьте до планування А/Б-тестів: подивіться на дані під різними кутами, перегляньте результати попередніх експериментів та користувацьких досліджень, оцініть потенційні результати та зважте, чи вартують вони необхідних ресурсів.