Топ непопулярних льорнінгів на основі 100+ A/B тестів

💡 Усі статті, обговорення, новини про продукти — в одному місці. Приєднуйтесь до Product спільноти!

За 2 роки роботи в Mate academy, наша Acquisition команда провела більше 100 A/B тестів для покращення конверсії воронки залучення користувачів. На основі цього хочу поділітися ТОПОМ НЕПОПУЛЯРНИХ ВИСНОВКІВ. Чи дійсно так соромно підглядати результати або тестувати декілька змін одночасно? Трошки соромно, але так можна робити.

Пікінг — це нормально

Якщо ви не підглядаєте — значить у вас немає серця!!! 💔 Це ж ваша рідненька гіпотеза, звичайно, ви хочете знати, як вона працює.. щогодини. Просто не потрібно робити висновки на основі цього. Але перевіряти, чи дані відправляються, чи немає дивних перекосів у результатах після запуску тесту — це ок.

Програний А/Б тест завжди краще, ніж не запущений тест

Тестування — це про пошук напрямку, це протоптування доріжки в невідомість, де ніхто не знає, як краще. Тільки цифри покажуть. Відповідальність продакта на цьому етапі — мінімізувати вартість тесту = запускатися швидко, мати беклог наступних гіпотез, щоб швидко до них перейти, якщо цей тест програє.
І, звичайно, проаналізувати, чому тест програв.

Якщо гіпотеза програла — це не кінець

Цей пункт витікає з попереднього: якщо гіпотеза програла, це не означає, що не можна робити 2-гу ітерацію, де ви взяли до уваги льорнінги з програного тесту.

Можна тестувати декілька змін одночасно

Якщо вам неважливо знати, яка зміна працює, а яка ні, то можна тестувати декілька змін одночасно. Інколи питання таке (гіпотеза): ми рухаємось з цим набором змін чи ні? Чи цей набір змін краще за базовий варіант? Особливо стосується продуктів, у яких не великий трафік на експерименти.

Якщо гіпотеза не підтвердилась зараз, це не значить, що вона провальна.

Це значить, що вона не спрацювала на цій аудиторії в цей момент часу з цим трафіком. Буває так, що те, що не працює в одному гео, може працювати на інших ринках.

Якщо гіпотеза не статистично значима — це не означає, що з нею не потрібно продовжувати.

Наприклад, редизайн, який не дав покращення в конверсії, може класно лягати в загальний новий стиль продукту, може допомогти краще доносити меседжі і бути більш адаптивним і приємним. Або гіпотеза виграла в одному гео і не статистично значима в іншому. Щоб підтримувати лише 1 версію на різних гео, можна викатити цю зміну там, де вона не є статистично значимою.