Як ми підвищили базу активних підписників на 16%, інтегрувавши 1 невелику зміну в продукт — Experiments Hub

💡 Усі статті, обговорення, новини про продукти — в одному місці. Приєднуйтесь до Product спільноти!

Дисклеймер: Цей допис є частиною добірки продуктових експериментів — Experiments Hub. Проводили A/B тести або якесь інше продуктове дослідження? Заповнюйте форму і діліться своїм досвідом та інсайтами!

Коротко про компанію та продукт

Основа бізнесу Jooble — агрегатор вакансій. Ми залучаємо користувачів на вакансії різного роду та категорій та монетизуємо перехід через CPC (cost per click) моделі.

Коли юзери потрапляють на сайт, вони бачать як платний контент, так і безплатний.

Безплатний контент ми не монетизуємо, але це хороший source для розширення бази retention каналу — у нас це Email.

На такого роду вакансіях користувачі можуть підписатись через поп-апи, які з’являються при відкритті вакансії або спробі перейти по ній. От якраз про тест на цих поп-ап і буде далі йти мова.

Контекст кейсу

Шлях користувача в продукті Jooble можна поділити на кілька умовних етапів

• Залучення на сайт (acquisition).
• Перегляд вакансій та відгук (engagement).
• Підписка на дайджест вакансій (activation).

Після підписки користувач потрапляє в email-канал, який є важливим для нас, тому цьому етапу ми приділяємо багато уваги. Одним з основних сорсів підписок є саме безплатні вакансії (job description page). В нашому продукті такі jobs — це окремі сторінки з описом та всіма деталями вакансії. Користувач також може зробити apply на таких сторінках, але лише після підписки, адже ми ніяк не монетизуємо такий перехід.

Створити підписку на таких вакансіях можна:

• при першому відкритті сторінки — показуємо спливаючий поп-ап;
• при спробі відгукнутись на вакансію — показуємо юзеру поп-ап із закликом підписатись. Такий поп-ап містить також інші рекомендовані вакансії;
• у кінці сторінки після інших рекомендованих вакансій.

Ми шукали шляхи покращення користувацького флоу саме з точки зору підписки на дайджест вакансій. Змінювати повністю флоу або створювати нові фічі було недоцільно, адже рішення, які працюють, були створені зовсім нещодавно. Тому ми вирішили зосередитись на пошуку точок зростання в поточній системі.

Цікаво, що в одному із подкастів Lenny Rachitsky була фраза: «Rather than pursuing big changes right away, focus on making things „one click better.“ Identify the most significant constraints in your strategy and work on refining those elements. Over time, these small adjustments can lead to substantial improvements in outcomes».

Ми почали шукати точки покращення по цьому ж принципу.

Гіпотеза

З думкою про «one click better» почали переглядати поточний фанел підписки та досліджувати, де користувачі найчастіше стикаються з проблемою. Перш за все, перевірили як користувачі взаємодіють з поп-апами підписки (як та коли закривають їх, якщо підписка не успішна), тож гіпотеза виникла сама собою: якщо ми полегшимо реєстрацію користувачу через додавання One click registration solutions, то можемо позитивно вплинути на subscription rate та збільшити кількість новостворених акаунтів.

Дизайн експерименту

Ми підготували дві тестові групи, де в рамках:

• 1-ї групи зміни стосувались лише інтеграції кнопки «Subscribe via Google»;
• 2-ї групи змінили формат взаємодії із закриттям першого поп-апу (забрали кнопку Skip та залишили можливість закрити поп-ап через хрестик).

Контрольна група (pop-up при відкритті сторінки)	Тестова група № 1: додали можливість підписатись через Google + забрали кнопку Skip	Тестова група № 2: додали можливість підписатись через Google

Контрольна група (pop-up при спробі відгукнутись на вакансію)	Тестова група № 1: додали можливість підписатись через Google	Тестова група № 2: в цій групі змін не проводилось для цього поп-апу

При запуску тесту припускали, що кнопка «Subscribe via Google» покращить usage поп-апів, та збільшить кількість новостворених акаунтів. Закладали збільшення кількості зареєстрованих користувачів на 3% overall, але в результаті тесту побачили, що цей ріст вищий, також значно зріс usage поп-апів (менше користувачів почало закривати їх без цільової дії). Особливо суттєво, на 40% в середньому, підріс usage сае першого поп-апу, який користувач бачить при відкритті сторінки

Результати тесту та висновки

Коротко про результати тесту

• Загальний ріст нових акаунтів — +5.72%
• Загальний ріст нових верифікованих акаунтів — +5.02%
• Прогнозований ріст Revenue з ретеншн каналу — +4.5%

*Прогнозований прибуток з Email-каналу ми розраховували як LTV користувачів за 6 місяців

Варто зауважити, що ми оцінюємо та аналізуємо результати тестів окремо по країнах. В рамках цього тесту, на окремих країнах, ми отримали зростання новостворених верифікованих акаунтів в межах +16%, що перевищував початково закладений естімейт на цих країнах майже на 150%. Усі ці країни пов’язані однією особливістю — мовою. Користувачам було важче вводити свою пошту, а можливість зареєструватись через один клік прибрав цей біль.

Також, ми помітили, що тестова група № 2, зі зміною першого поп-апу, виявилась найбільш успішною. Саме зростання юседжу цього поп-апу на ~40% вплинуло на загальне зростання нових верифікованих акаунтів. Так, зміни були досить явні, забрати кнопку «Закрити поп-ап» це елементарно, але ми дали можливість користувачеві досить швидко та безболісно для нього пройти цей етап і переглядати контент за яким він прийшов.

Кілька (не) очевидних висновків, які ми винесли в рамках цього тесту:

1. Маленькі зміни можуть принести великі результати: 5% нових верифікованих акаунтів на всьому продукті — це досить суттєве досягення на наших об’ємах. Також ми не помітили дропу у цій метриці навіть через деякий час після прийняття тесту, що спонукає нас вважати, що ми дійсно полегшили ета підписки для користувачів.
2. Починайте шукати зміни в існуючий системі, не боячись пропонувати очевидні рішення, які можуть зробити вашого користувача трішки щасливішим.
3. Дивіться на мовні та локальні особливості кожної країни де представлений ваш продукт, інколи проблеми користувачів можуть бути пов’язані саме з цим.