Як зміна відправника у розсилках підняла rev від +6.2% до +15.5% — Experiments Hub

💡 Усі статті, обговорення, новини про продукти — в одному місці. Приєднуйтесь до Product спільноти!

Дисклеймер: Цей допис є частиною добірки продуктових експериментів — Experiments Hub. Проводили A/B тести або якесь інше продуктове дослідження? Заповнюйте форму і діліться своїм досвідом та інсайтами!

Коротко про компанію та продукт

Привіт! Мене звати Ксенія Сорока, я Area Product Manager у Jooble. Це міжнародний сайт з пошуку роботи, яким щодня користуються мільйони людей у 67 країнах світу.

Основа бізнесу Jooble — агрегатор вакансій. Ми залучаємо користувачів на вакансії різного роду та категорій та монетизуємо перехід через CPC (cost per click) моделі або СPA (cost per action, де action, наприклад, може бути Apply).

Контекст кейсу

На початку 2024 року ми активно працювали з email-каналом як основним retention-каналом продукту.

В той момент ми розуміли що наші листи мають НЕ консистентний дизайн (листів декілька типів, вони по різному виглядають, деякі типи просто дублюють один і той самий контент, мають багато статичного контенту (тайтл / pre-header / вміст).

Нюансів на покращення бачили дуже багато. Обрали одразу рухатись по 2 напрямкам:

• Збільшувати Open Rate.
• Збільшувати Away Rate листів.

Чому паралельно, бо мали можливість паралельно тримати тести на різних типах листів.

В цій статті мова про один із перших тестів — а саме націлений на ріст Open Rate емейл листів -> як результат очікували ріст Email Rev.

Гіпотеза

Вирішили змінити ім’я відправника на «людське» ім’я колеги з Jooble, щоб підписники могли кожен день отримувати лист персонально від CPO Jooble Aggregator (нашого СРО звати Макс і саме його ім’я взяли для першого тесту :)

Ми віримо, що якщо змінимо ім’я відправника на людське, ми звернемо більше уваги на лист серед інших, і це зацікавить пошукача відкрити лист. Очікували ріст Open Rate +5% і як результат Email Rev +4.41%.

Метод тестування

A/B, тестування спеціально проводили тільки на 1 типі листа, щоб швидше отримати результат і льорнінги.

До зміни — відправник Jooble:

Тестували 2 варіанти — жіноче і чоловіче імена.

• Max, Jooble — тестова група 2.
• Lily, Jooble — тестова група 3.

Примітка: в контрольній і тестовій групі тайтли листів не змінювали — на скріні приклад отриманих листів в різних роках, тому тайтли можуть відрізнятися.

Самарі

Застосували тест на країнах DE, UK, US, CH 🎉 Тестували на ТОП-10 країн, першу версію прийняли тільки для чотирьох. А вже другу ітерацію розкатали на ще +7 країн.

Метрики, на основі яких ухвалювали рішення:

• email revenue;
• хелс-метрика: відписки від листів по кожній країні окремо, щоб не вплинути негативно (приклад ситуації: користувач почав відкривати листи -> бачить контент -> йде відписуватись).

Виграшні тестові групи і їхні результати:

• DE: Group 2 unsub ~0%, rev +6.2%
• UK: Group 3 unsub ~0%, rev +8.8%
• US: Group 3 unsub +2%, rev +15.5% (significant growth в rev)
• CH: Group 2 unsub +3% (little number of the data), rev +11.7%

Будь-яке олюднення комунікації дає кращий результат, ніж бездушна комунікація.

Для того, щоб закріпити успіх, ми масштабували цей тест на всі типи листів, що маємо, і затестили унікальні імена під кожну окрему країну, обрані на основі найпопулярніших. Для всіх країн були знайдені свої оптимальні імена, що в результаті принесло ріст email rev — від +2.3% в Іспанії до +10% на Бельгії.

Одним з варіантів продовження експерименту було — використати людські обличчя в підписах до листів, але для нашого бізнесу це не було корисним, оскільки ми все ж не даємо порад, а надсилаємо вакансії. А от для B2B-продуктів можна було б розглядати такий тест.

Після цього ми вирішили протестувати використання імені підписника для персоналізації тайтлів листів, і з цього вийшов окремий позитивний експеримент у 2024-му.

І наостанок! Ніколи не відкладайте далеко ідеї, які дууууже легко потестити. Якщо у вас є хоча б середня віра в результат — легше перевірити на тесті, ніж сперечатись в команді.