Навіщо публічному сектору потрібен NPS? Кейс Prozorro.Продажі

Привіт, я Олександр Акуленко, СРО Prozorro.Продажі. Трохи більше як три місяці тому ми з продуктовою командою відкрили публічний доступ до результатів вимірювання NPS (Net Promoter Score або Індекс лояльності) державної електронної торгової системи Prozorro.Продажі.

До того, як ми почали проводити заміри NPS, в нас було обмежене уявлення про лояльність та задоволеність учасників системи від досвіду участі в державних онлайн-аукціонах. А зараз ми отримуємо і від переможців торгів, і від тих, хто програв, високі бали за «чесність проходження онлайн-аукціону», «просте, зрозуміле користування сервісом, навіть для новачка», «зручність та прозорість проведення торгів».

У цьому тексті я розповім про те, навіщо ми вимірюємо індекс лояльності користувачів, які, наприклад, прийшли змагатися за державний завод, що може бути проданий за законом лише на Prozorro.Продажі? Що дає вимірювання NPS публічному сектору? Як ми використовуємо дані NPS у роботі з державними онлайн-аукціонами та як найдоцільніше вимірювати індекс лояльності?

Навіщо знати свій NPS

На відміну від комерційного, у публічному секторі часто відсутня повноцінна конкуренція. Наприклад, ви не зможете поїхати в інше місто іншим залізничним перевізником, крім Укрзалізниці. Вам складно буде оформити певні документи не у ЦНАПі.

А якщо ви захочете позмагатися за унікальні активи на кшталт спиртзаводів чи держпідприємств, купити комунальну землю чи отримати спецдозвіл на промисловий вилов риби, видобуток надр або навіть орендувати лиман для вирощування креветок, то це можна зробити тільки на Prozorro.Продажі.

З монетизацією ситуація схожа. У більшості випадків, незалежно від якості сервісу, ви скористаєтеся певними державними сервісами, бо тільки вони можуть дати вам необхідні послуги. Крім того, якщо це не комерційний сектор і немає цілі отримувати прибутки, монетизація буде некоректною метрикою.

Для того, щоб зрозуміти, чи справді вас люблять та цінують клієнти, чи працюють з вами, бо альтернатива відсутня, потрібна метрика на кшталт NPS. Після того, як державна Укрпошта почала системно працювати над покращенням якості послуг, рівень її NPS почав змінюватись: від −20,5% у 2017 році до +14% у 2018 році. А у 2022 році склав вже 51%.

Ще один приклад — Укрзалізниця, у якої за період повномасштабної війни було одне із найбільших зростань показника споживчої лояльності. Про це свідчать дані компанії Revisior. На початку року NPS напряму «Далеке сполучення» становив −20%, а 1 грудня — +78%. За напрямом «Інтерсіті +» він зріс із +22% до +87%.

Коли опитуємо користувачів

Архітектура електронної системи, яку ми адмініструємо, передбачає кілька рівнів взаємодії учасника з нею: на першому рівні перебувають майданчики, на другому — центральна база даних (для спрощення, звісно, там далеко не одна база даних і не тільки база).

Користувачу не важливо, хто і який етап роботи забезпечує, і чия відповідальність, якщо щось пішло не так. Його цікавить цілісний клієнтський досвід. І для того, щоб зрозуміти, наскільки учасник був задоволений нашим сервісом та продуктом, ми вимірюємо NPS. Аби побачити максимально об’єктивну картину ми ретельно обирали момент для заміру та зробили процес фіксації простим та зрозумілим для користувачів.

Ми почали автоматично вимірювати індекс лояльності лише на п’ятий рік роботи державної системи Prozorro.Продажі, адже спочатку невелика кількість ринків дозволяла оперативно отримувати зворотний зв’язок від користувачів, а перша версія системи не передбачала можливості робити належний замір.

У 2020-2021 роках, коли ми запустили нову версію системи, змогли інтегрувати замір NPS саме у той етап взаємодії учасника з електронними торгами, коли ймовірність отримати відповідь найвища. У нашому випадку це — момент завершення аукціону, адже лише тоді інформація про учасників розкривається.

До цього етапу в нас як адміністратора системи немає доступу до користувачів, і вони ще не отримали достатній досвід взаємодії з системою, аби дати повноцінний відгук.

Після перемоги в аукціоні користувач зайнятий оформленням права власності і не завжди готовий виділяти час для зворотного зв’язку. А інші учасники, які не перемогли, тим більше не захочуть витрачати додаткові зусилля навіть на коротке опитування. Тому конверсія при використанні стандартних розсилок була дуже низькою.

Для того, щоб залучити до опитування найбільше учасників, ми інтегрували форму NPS безпосередньо в аукціон. Одразу після завершення торгів всі бачать форму із запитанням про готовність рекомендувати державну систему.

Переваги такого рішення:

1. Для учасників це виглядає, як ще один етап аукціону.
2. Учасникам, які не перемогли, не потрібно згадувати про досвід взаємодії з нами. Достатньо зафіксувати поточні враження від системи.
3. Ми одразу маємо прив’язку результатів опитування до конкретних аукціонів. Та можемо аналізувати їх у різних розрізах:
   • різниця в оцінках між переможцями та іншими учасниками;
   • залежність оцінок від майданчиків-партнерів, з якими працювали користувачі;
   • динаміка оцінок для різних ринків тощо.

Команда бачить відповіді у внутрішньому адміністративному інтерфейсі:

Усі охочі можуть подивитись на зведені результати опитування в окремому розділі нашого публічного модуля аналітики, де відображається все, крім конфіденційних даних та відповідей на відкрите запитання, які можуть містити чутливу інформацію.

У 2023 році NPS склав 83%, що вважається дуже хорошим показником. Крім стандартної роботи з критиками та нейтралами, ми регулярно аналізуємо відповіді в різних розрізах (ринки, партнери, тип аукціону) для того, щоб розуміти наявність відхилень у відношенні користувачів. Та мати можливість на це оперативно реагувати.

У майбутньому будемо додавати ще один замір NPS вже після завершення угоди, аби переконатись, що всі сторони процесу забезпечують високий рівень якості.

Як найдоцільніше вимірювати індекс лояльності

1. Проводьте заміри в доречний час та в потрібному місці на шляху користувача. Не бійтесь експериментувати та змінювати підхід до вимірювання, щоб отримати результат, на який зможете орієнтуватись. Шукайте також оптимальний канал розповсюдження або комбінуйте кілька (e-mail, sms, онлайн-взаємодія з продуктом або взаємодія з додатком, в окремих випадках — офлайн).
2. Не порівнюйте напряму власні показники з результатами інших. Особливо якщо йдеться про заміри в інших країнах. Це непоганий орієнтир, проте важливіше спостерігати за власною динамікою.
3. Пам’ятайте про важливість роботи не тільки з критиками, а й з нейтралами. Вони можуть змінити свою думку на негативну або навпаки стати лояльними користувачами та прихильниками вашого продукту.
4. Чітко визначте мету. Зрозумійте, чого ви хочете досягти саме за допомогою опитування NPS. Виміряти загальну лояльність клієнтів та наявність прихильників, визначити сфери для покращення або відстежувати ефективність з плином часу?
   Пам’ятайте, що високий рівень NPS не завжди свідчить про високий рівень утримання користувачів та їхнього задоволення від взаємодії. Охоплюйте максимум доступних користувачів. Інколи в опитуванні не можуть взяти користувачі, які не дійшли до певної стадії взаємодії. І тоді результат може викривитись.
   У нашому випадку, якби ми проводили опитування вже на етапі підписання договору, ми б нічого не дізнались про ставлення більшості користувачів, які не стали переможцями на аукціоні і просто не дійшли до цього етапу.
5. Не турбуйте користувачів надмірними опитуваннями, робіть їх короткими і простими. Ви можете додати максимум одне — два додаткових опціональних запитання для уточнення.
6. Забезпечте конфіденційність. Запевніть респондентів, що їхні відгуки є анонімними і будуть використані конструктивно. Це заохочує відкритість і збільшує кількість відповідей.
7. Аналізуйте та сегментуйте відповіді. Важливо зберігати максимум доступної інформації під час збору зворотного зв’язку. Це дозволить не просто спостерігати за динамікою оцінок у часі, а й глибше розуміти причини, які стоять за ними, мати можливість виділити пріоритетні напрями для вдосконалення.
8. І головне. Не забувайте використовувати отриману інформацію для ухвалення обґрунтованих рішень. Спілкуйтесь та розвʼязуйте проблеми тих, хто залишив негативний відгук. Демонструйте, що їхній час та внесок цінується та інформуйте про кроки, зроблені на основі негативних відгуків.
   Турбуйтесь про нейтральних користувачів, поки вони не стали критиками, та заохочуйте промоутерів рекомендувати вас іншим. Одним з непрямих підтверджень того, наскільки об’єктивними є ваші результати, буде частка нових користувачів, залучених прихильниками.