Як ми збільшили кількість підписників на дайджест вакансій в Jooble

Ядро бізнесу Jooble — це агрегація вакансій. Якщо дуже спрощено, ми монетизуємось за СРС (cost per click) моделлю.

Кожного разу, коли пошукач роботи заходить на Jooble, знаходить цікаву для себе вакансію і вирішує на неї податись, він переходить на сайт, де опублікована ця вакансія. Ось із цього кліку ми й заробляємо гроші: все дуже просто — на перший погляд 🙂

Видача вакансій Jooble складається не тільки з вакансій, на яких ми заробляємо: у нас є безкоштовні вакансії.

Про що цей кейс

Якщо розкласти воронку користувача в Jooble, можна поверхово поділити її на три частини:

• залучення на Jooble і перегляд вакансій;
• відгук на вакансію (click);
• підписка на дайджест цікавих для користувачів вакансій.

Цей кейс націлений якраз на третю частину життєвого циклу пошукача роботи — підписки на дайджести зацікавлених вакансій.

Одним з вагомих каналів монетизації Jooble є email-канал. Користувачі, які підписуються на дайджести із цікавими для них вакансіями, отримують їх в електронних листах на регулярній основі.

У нашій воронці є листи під різні сегменти користувачів і під різну поведінку. Відразу хочеться сказати, що email-канал — це, умовно, «безкоштовний» канал генерації net revenue для компанії, оскільки ми не витрачаємо додаткових грошей на маркетингові кампанії (acquisition) а працюємо безпосередньо з користувачами, які повертаються (retention).

Різні команди працюють над різними етапами воронки користувача в цьому каналі. Найбільше зусиль ми приділяли саме утриманню користувачів і підтримки їх активності за взаємодії з листами у всій воронці.

Яка основна гіпотеза

Достатньо довгий період часу email-база мала відносно стабільний ріст, без змін, крім сезонних коливань. Ми вирішили подивитись в бік росту бази користувачів, які отримують наші вакансій, і оцінити, що ми можемо отримати як бізнес, якщо інвестуємо певний час продуктової команди на збільшення кількості підписок на дайджест вакансій.

Отже, оцінивши потенціал в revenue, який ми можемо отримати від збільшення бази підписок, ми вирішили інвестувати час команди в розробку. Поставили собі за мету збільшити базу підписників в Jooble на 20% в десяти країнах, без прямих витрат на acquisition, без втрат в загальному revenue і без різкого unsubscribe rate наявної бази. Враховуючи обʼєми нашого трафіку й базу, це звучало як дуже амбітна ціль.

Як health-метрику ми використали відсоток саме верифікованих акаунтів — це свідчило про якість користувачів, яких ми залучаємо за допомогою наших експериментів, і про дохід з одного підпискника.

Фокус наших тестів був направлений винятково на безкоштовні вакансії, де ми не мали прямих витрат на залучення користувачів (acquisition).

Якщо казати про всі sources з підпискок на Jooble, безкоштовні вакансії займали незначну долю. Найбільше підписників ми отримували з нашого основного продукту — видачі вакансій (Jooble SERP).

Як відбувалась підписка на сторінці безкоштовної вакансії

У нас було дві точки контакту з пошукачем роботи:

• в тілі сторінки безкоштовної вакансії — стандартний компонент з полем для введення пошти;
• pop-up підписки з формою підписки, яка зʼявлялася під час кліку на кнопку Apply.

Для наочності: скорочений шлях (user flow) пошукача роботи, в якому він успішно підписується на дайджест вакансій, який містив зокрема безкоштовні вакансії.

На базі візуалізованого сценарію ми почали формувати гіпотези щодо того, як можна спонукати нових користувачів сайту підписуватись на дайджест.

Вирішили, перш за все, працювати саме з subscription pop-up, оскільки, спершись на історичні дані нашого продукту, побачили, що для нас це працює краще та немає просідання ні в якості отриманих користувачів (verification rate), ні в відписках (unsubscribe rate).

Усі зміни в продукті ми проводимо через тести. Тому далі я буду розповідати про наші висновки саме на основі прозорих результатів продуктових експериментів

Перша ітерація (легка модифікація наявного flow підписки)

У першому тесті ми достатньо обережно підійшли до дизайну експерименту, щоб зрозуміти, як взагалі користувачі будуть реагувати на наші зміни:

• базова група: показуємо pop-up підписки під час кліку на кнопку Apply;
• друга група: показувати pop-up підписки під час входу користувача на сторінку вакансії і прибрати його появу під час кліку на кнопку Apply;
• третя група: показувати pop-up підписки під час входу користувача на сторінку вакансії та залишити появу pop-up під час кліку на кнопку Apply.

Базова група: показуємо pop-up підписки під час кліку на кнопку Apply.

Друга група: показувати pop-up підписки під час входу користувача на сторінку вакансії і прибрати його появу під час кліку на кнопку Apply.

Третя група: показувати pop-up підписки під час входу користувача на сторінку вакансії та залишити появу pop-up під час кліку на кнопку Apply.

Як думаєте, яка група показала спрацювала краще? Завдяки тому, що ми додали ще один pop-up в шлях (user flow) користувача, ми отримали дуже гарні результати в рамках третьої групи. Коротко про результати:

• ріст в нових підписках +10.6%;
• ріст в верифікованих акаунтах +14.5%;
• ми взагалі не отримали падіння в загальному revenue, навіть отримали незначний, але ріст;
• Unsubscribe rate бази залишився на тому ж рівні, врховуючи сезонні коливання (так, знаю, що треба рахувати unsubscribe rate в довгострокову, але ми це також порахували й наші підрахунки зійшлись з реальністю).

Крім гарних результатів перша ітерація дала інсайти щодо наступних ітерацій. До цілі ще далеко, тому ми продовжили заплановані тести.

Друга ітерація (high risk — high reward)

З огляду на ті ринки, на яких ми запускали тест, ми вирішили піти більш агресивним шляхом з концепцією high risk — high reward. За результатами роботи команди ми зробили дизайн нового тесту, також з двома групами.

Щодо дизайну нового тесту:

• базова група: показуємо pop-up підписки під час входу користувача на сторінку вакансії і викликаємо pop-up підписки під час кліку на кнопку Apply;
• друга група: ми прибрали можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії (видалили хрестик з pop-up);
• третя група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії і прибрали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply (видалили хрестик з pop-up)

Базова група: показуємо pop-up підписки під час входу користувача на сторінку вакансії і викликаємо pop-up підписки під час кліку на кнопку Apply.

Друга група: ми прибрали можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії (видалили хрестик з pop-up).

Третя група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії і прибрали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply (видалили хрестик з pop-up).

Коротко про результати груп:

Результати другої тестової групи:

• ріст у кількості нових підписників на 120%;
• ріст у верифікованих акаунтах на 5%;
• незначне підвищення unsubscribe rate;
• найголовніше: вона знижувала наше total revenue на −2%. В абсолютних числах це дуже значне падіння, деталі, на жаль, під NDA.

Результати третьої тестової групи:

• ріст у кількості нових підписників на 61% (що теж непогано, погодьтесь);
• ріст у верифікованих акаунтах на 7%;
• стабільний unsubscribe rate;
• зниження загального total revenue на −0,5%.

Обидва тести показували статистично значиме падіння в total revenue (дохід від СРС моделі), яке не давало нам можливості прийняти тест в тому вигляді, як він є.

З огляду на те, що revenue від нових підписників — це гроші в довгу, ми вирішили порахували retention revenue (взяли період в 6-9 місяців). Для чого? Ми хотіли зрозуміти, чи можемо ми без редизайну тесту, прийнявши більш безпечну третю групу, перекривши втрати від падіння total revenue в довгострокову.

Треба зазначити важливий момент що ми зазвичай запускаємо тести на групу країн, а не на всі з пулу (сумарно Jooble представлений у 67 країнах). Усі тести, згадані в статті, були запущені на 10 країн. Результати й усі цифри належать саме до них.

З допомогою команди аналітиків ми зробили прогноз з retention revenue для кожної країни, яку брали в тест. Чесно, ми сподівались на гірші результати, але ділимось тим, як було (результати не відрізнялись значимо за групами, тому вони зведені):

• сім з десяти країн з першого місяця після застосування тесту виходили «в плюс» за рахунок retention revenue;
• у двох країнах ми виходили «в плюс» на другий місяць — нам це також підійшло, оскільки в абсолютних числах саме на цих двох країнах падіння в total revenue за цей період було в тих межах, на які ми готові були піти;
• одна країна з пула, яка приносить найбільше revenue, виходила «в плюс» тільки на восьмий місяць — це колосальні втрати в total revenue.

Зважаючи на результати з retention revenue, ми вирішили прийняти тест на дев’яти країнах і продовжувати ітерувати ріст підписників окремо з країною, де не перекривали падіння в revenue (назвемо її країною Х).

Зрештою ми застосували третю групу (це група, в якій ми не давали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку «відгукнутись») на дев’яти країн з пулу, отримавши наступні результати:

• ми отримали середній ріст з нових підписників на +61% в середньому з дев’яти країн;
• ми отриманили більший ріст верифікованих акаунтів, на +7%;
• ми перекривали падіння в total revenue протягом максимум двох місяців і далі виходили в значний плюс з абсолютних цифер.

Третя ітерація (розборки з країною Х)

Ми не зупинились і почали копати в дані, щоб зрозуміти, чому тест на країні X не показав такі ж результати, як на попередньому пулі. Ми зрозуміли, чому так відбувається. На те було дві причини:

• у країні Х CPC було найбільшим, тому для його перекриття знадобилось би значно більше часу;
• у країні Х було значно менше безкоштовних вакансій. Тобто банально на інших крїнах ми виїхали за рахунок обʼєму зокрема.

Буквально через тиждень після застосування тесту high risk high reward, колеги з Customer Support поділились відгуком з Trustpilot, де явно читалось обурення користувачів з приводу нашого «покращення» в розрізі отримання нових акаунтів від пошукачів роботи. Так, там було про неможливість закрити pop-up після кліку на кнопку Apply.

Ми вирішили спробувати вийти з більш чіткою комунікацією, чому ми не даємо можливості закрити pop-up з підпискою після того, як користувач натискає на кнопку «відгукнутись».

Знаючи, що ми сильно просідали в revenue країні Х, ми вирішили, крім підписки, дати можливість пошукачам роботи подивитись інші вакансії, які доступні до перегляду без підписки.

Врахувавши досвід попередніх ітерацій, ми зробили дизайн нового тесту з двома групами:

• базова група: у користувача є можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії і немає можливості закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply;
• друга група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії, також залишили можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply, змінили копірайт в заголовку pop-up і додали рекомендовані вакансії;
• третя група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії, забрали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply, змінили копірайт в заголовку pop-up і додали рекомендовані вакансії.

Базова група: у користувача є можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії і немає можливості закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply.

Друга група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії, також залишили можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply, змінили копірайт в заголовку pop-up і додали рекомендовані вакансії.

Третя група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії, забрали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply, змінили копірайт в заголовку pop-up і додали рекомендовані вакансії.

Отже ми запустили тест і побачили приблизно таку саму динаміку в результатах груп, як і в попередніх ітераціях. Тобто група, у якій ми не даємо можливість закривати pop-up після кліку на «відгукнутись» (третя група) показувала значно кращі результати.

Нагадаю, в цій ітерації для нас основна метрика — це вирівняти total revenue. І що сказати: вийшло.

Зрештою ми застосували третю групу, у якій просідання total revenue було всього −0,3%. Порахувавши retention revenue, ми побачили, що завдяки ньому ми з першого місяця без втрат перекриваємо падіння.

Підсумуємо результати з тестової групі, яку вирішили застосували в країні Хі:

• отримали ріст в нових підписках +34,9%;
• отримали ріст верифікованих акаунтів на 10%;
• ну і головне: ми перекривали падіння в total revenue в перший місяць після застосування тесту, і далі виходили в значний плюс з абсолютних цифр.

Четверта ітерація (факапи і нова ітерація)

Про факапи

Ну що ж, виглядає так, що ціль досягнуто, і можна святкувати, навіть перевиконано. Ми, звичайно, з командою пораділи, похвалили себе, але після ретроспективи зрозуміли дві речі (краще пізно, ніж ніколи):

• в нас є два різні UI для тестів, які мають фактично однакову логіку за флоу. Тобто одна країна з одним UI, і дев’ять країн з іншим UI. Виглядає наче все ок, просто підтримувати версіонування і уважно запускати наступні ітерації. Але ми вирішили спробувати зробити консистентний флоу для всіх країн, тим паче зусиль на це треба було мінімум. Зробити переклади для дев’яти країн й увімкнути на них тест, який дизайнили винятково під країну Х;
• ми зрозуміли, що своїми тестами ми не покриваємо organic traffic source. І це якраз та річ, яка, по-перше, зіграла подальшу роль в стратегії запуску тестів, по-друге, врятувала нас від сильного факапу в довгостроковій перспективі.

Розкриємо, чому пункт з organic traffic source зняв наші рожеві окуляри та змінив стратегію за подальшими тестами в рамках ініціативи збільшення кількості акаунтів. Для когось ці пункти можуть бути очевидними, але ми ж тут з вами про real life, тому кажемо, як є, і з яким факапом ми стикнулись.

Отже нижче пунктами особливості, які треба враховувати, плануючи growth-тести з organic traffic source:

• якщо користувач переходить з органіки на сторінки сайту та має відразу вікно, що спливає, цей сайт може потрамити під санкції. Вікна, що спливають (pop-up), можуть відображатись користувачу винятково після цільової дії, тобто кліку;
• якщо користувач переходить з органіки на сторінку сайту, робить цільову дію, отримує pop-up вікно, в нього має бути можливість це вікно закрити. Якщо таку можливість не давати, Google вважає подібні сайти такими, що вимагають персональні дані.

Крім історії з organic traffic source ми вирішили нівелювати майбутні ризики, які можуть негативно вплинути на нашу репутацію як агрегатора. Що це за ризики? Це якраз неможливість відгукнутись на вакансію, не залишивши свої персональні дані в Jooble.

За ці три місяці ми отримали тільки один негативний відгук від пошукачів роботи, але порадившись з різними командами, ми вирішили задизайнити ще один тест, який враховував попередні напрацювання і мав під собою врахувати такі пункти:

• застрахувати нас від репутаційних ризиків;
• врахувати особливості organic traffic source;
• врахувати версіонування під різні країни.

Ітерація, яка виправляє наші факапи

Тепер про дизайн тесту, який (як ми думали повністю знищить увесь ріст, що ми отримали попередніми ітераціями) враховує всі нюанси, озвучені вище.

Ми відкатили всі зміни, над якими працювали до першої ітерації, де не було агресивних email walls, а зʼявилась додаткова точка контакту під час кліку на кнопку Apply. Так ми чітко можемо зрозуміти, що отримаємо та що втратимо порівняно з попередніми, більш агресивними ітераціями.

Додатково: ми свідомо тестували в одному тесті так багато змін, оскільки до цього мали багато успішних тестів і розуміли вже що як працює.

Дизайн тесту з однією тестовою групою:

• базова група: показуємо pop-up підпискипід час входу користувача на сторінку вакансії і викликаємо pop-up підписки під час кліку на кнопку Apply. Даємо можливість закривати будь-який pop-up;
• другаа група: ми залишили можливість закривати pop-up з підпискою від час входу користувача на сторінку вакансії, дали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply, змінили копірайт в заголовку pop-up, додали рекомендовані вакансії та додали елемент Apply without subscription.

Базова група: показуємо pop-up підпискипід час входу користувача на сторінку вакансії і викликаємо pop-up підписки під час кліку на кнопку Apply. Даємо можливість закривати будь-який pop-up.

Друга група: ми залишили можливість закривати pop-up з підпискою під час входу користувача на сторінку вакансії, дали можливість закрити pop-up з підпискою після того, як користувач натискає на кнопку Apply, змінили копірайт в заголовку pop-up, додали рекомендовані вакансії та додали елемент Apply without subscription.

Нагадаю результати нашої першої ітерації, яку ми взяли як базову тестову групу для нового тесту:

• ріст у нових підписках +10,6%;
• ріст у верифікованих акаунтах +14,5%;
• ми взагалі не отримали падіння в загальному revenue, навіть отримали незначний, але ріст;
• Unsubscribe rate-бази залишився на тому ж рівні, враховуючи сезонні коливання.

Результати нового тесту, який враховує попередньо описані пункти:

• ріст у нових підписках +24,9%;
• ріст у верифікованих акаунтах +18,6%;
• ми взагалі не отримали падіння в загальному revenue, тобто у всіх країнах ми відразу виходимо в плюс за рахунок додавання рекомендованих вакансій у pop-up підписки;
• Unsubscribe rate бази впав на 1%, що дуже добре.

Щодо втрат. Порівнюючи з нашими попередніми, більш агресивними ітераціями на збільшення нашої бази, ми в середньому втрачаємо:

• від 20% до 30% в нових акаунтів залежно від ітерацій;
• ми нічого не втрачаємо в верифікованих акаунтах, навіть маємо кращі результати;
• через обʼєм втрачених акаунів відповідно є втрати в retention revenue, але в абсолютних значеннях і зважаючи на ризики, які ми покрили, — не так вже й боляче 😁

Фінальні результати ініціативи

Нагадаю, яку ціль ми перед собою ставили:

Ми з командою поставили собі мету збільшити базу підписників на 20% у десяти країнах, без прямих витрат на acquisition, без втрат в загальному revenue і без різкого unsubscribe rate наявної бази. Враховуючи обʼєми нашого трафіку і базу, це звучало як дуже амбітна ціль.

Як health-метрику ми дивились на відсоток саме верифікованих акаунтів — це б свідчило про якість користувачів, яких ми залучаємо за допомогою наших експериментів:

• ми перевиконали ціль на 5%, що виглядає як гарний результат;
• ми сильно виросли у відсотках верифікованих акаунтів, а саме на 18,6%;
• вдалось покращити unsubscribe rate на 1%;
• ну і найголовніше: ми не впали в total revenue, а заробили в retention revenue.

Висновки і поради, про які ніхто не питав

Дякую всім, хто дочитав аж сюди. Якщо ви забили та проскролили в кінце з надією, що хоч щось цінне можна винести з цього лонгріду, то ось воно. Поділюсь тим, які уроки ми винесли на майбутнє:

• під час планування будь-яких експериментів завжди враховувати особливість traffic sources, надто якщо ви оперуєте мільйонним трафіком у вашому продукті;
• якщо ви робите growth-тести на email-канал, завжди рахуйте retention revenue у період від 6 до 12 місяців. Це дасть більше інформації щодо того, чи є сенс застосовувати зміни. Часто результати вас будуть тішити;
• якщо ваш продукт представлений у багатьох країнах, заздалегідь думайте про те, наскілько важко буде підтримувати версіонування (це якщо ваші експерименти сильно відрізняються в логіці і в дизайні в різних країнах);
• враховуйте репутаційні ризики, які можуть повпливати на інші департаменти, наприклад на Business Development і Customer Support.