Hypothesis First: чому ШІ прискорив випуск фіч, але не знання про їхній ефект
Коли я був програмістом, я продумував архітектуру наперед, всі звʼязки, класи та структуру БД... А вже потім наступала «нудна» частина: писати багато-багато коду. Тепер же це більше схоже на управління «персональним джуном» (або навіть кількома), який пише код замість тебе, а ти, як диригент, тільки дивишся, як все гарно функціонує. Разом з тим відповідальність за фічу залишилась у мене, адже саме диригент відповідає за звучання оркестру. Архітектурні рішення ухвалюються швидше або не ухвалюються зовсім (вайбкодинг). Дедалі частіше менеджмент вимагає фічу на продакшні уже завтра, а іноді вже сьогодні.
Де тоді проблема?
Вона виникає пізніше. Є ідея фічі, програміст швидко її реалізує, тестувальник з автотестами швидко тестує, і ми в продакшні. А чи принесла вона той ефект, який очікує бізнес?
Коли ми писали код вручну у місці, де ми програмували обробку натискання кнопки, виникало питання «а чи варто надіслати подію натискання в Google Analytics?». Ця думка переростала у питання «А яка воронка в шляху користувача?», «А чи не конфліктують такі події з обмеженнями на кшталт GDPR чи CCPA?», «А як взагалі аналітики будуть вимірювати цю фічу?»...
А тепер ми копіюємо опис задачі в ШІ-агента і чекаємо на результат, і шанс подумати про аналітику стрімко наближається до нуля.
Як це вирішити?
Я називаю цей підхід Hypothesis First (спершу гіпотеза).
Спробуйте заповнити просту табличку перед виконанням задачі (або перед постановкою, якщо ви менеджер). Лише 6 пунктів.
|
№ |
Поле |
На яке питання відповідає |
|
1 |
Фіча |
Що робимо? |
|
2 |
Гіпотеза |
Яка поведінка користувачів має змінитися і чому? |
|
3 |
Метрика |
Чим це міряємо (одна головна)? Чи потрібен додатковий збір даних? |
|
4 |
Поріг успіху |
На скільки має змінитися, щоб сказати «спрацювало»? |
|
5 |
Що вважаємо провалом |
Що означатиме «не спрацювало», включно з побічними ефектами? |
|
6 |
Рішення заздалегідь |
Що робимо за кожного результату? |
Hypothesis First виросла з двох джерел:
- HDD — Hypothesis-Driven Development (розробка на основі гіпотез). Базова ідея: формулювати фічу як гіпотезу.
- Наукова практика попередньої реєстрації. Базова ідея: гіпотезу, метод та план аналізу гіпотези фіксують до збору даних, щоб не «підганяти» висновки під бажаний результат.
Поля «Фіча», «Гіпотеза», «Метрика» та «Поріг успіху» — це класичний HDD, а ідея фіксувати план до результату з наукової практики дала два нові поля: «Що вважаємо провалом» та «Рішення заздалегідь». Для мене це схоже на контракт API: про нього домовляються до реалізації, і переписувати його після того, як побачили результат, не можна.
Основна різниця в тому, що HDD питає «як ми дізнаємось про успіх?», тоді як Hypothesis First додає до цього питання «що ми будемо робити у разі успіху чи провалу?» І відповідає на нього до першого рядка коду.
Схожі практики вже є в інструментах для експериментів (Eppo, GrowthBook, Spotify Confidence), але там їх застосовують перед запуском A/B-тесту. Я пропоную зробити цей крок раніше — ще до розробки.
Простий (вигаданий) приклад з e-commerce
|
№ |
Поле |
Приклад (вигаданий, e-commerce) |
|
1 |
Фіча |
Кнопка «Купити в один клік» на сторінці товару |
|
2 |
Гіпотеза |
Частина покупців кидає оформлення через довгу форму, тож коротший шлях збільшить кількість замовлень |
|
3 |
Метрика |
Конверсія з перегляду товару в оплачене замовлення. Рахуємо на основі Google Analytics. Потрібно реалізувати відстежування додаткової події: натискання кнопки «Купити в один клік» |
|
4 |
Поріг успіху |
Зростання щонайменше на 10% за 4 тижні порівняно з контрольною групою |
|
5 |
Що вважаємо провалом |
Конверсія зросла менше ніж на 10%, або кількість скасованих замовлень і повернень зросла на 5% і більше, навіть якщо конверсія зросла |
|
6 |
Рішення заздалегідь |
Спрацювало (конверсія +10% і більше, скасування й повернення зросли менше ніж на 5%) → розгортаємо для всіх користувачів. Не спрацювало (будь-яка умова з поля 5) → прибираємо, щоб не підтримувати зайвий код |
Числа у прикладі умовні. Реальні числа залежать від специфіки конкретного проєкту, кількості трафіку, тривалості ефекту фічі тощо.
Що далі?
Важливим етапом впровадження підходу Hypothesis First є залучення замовників фічі (менеджерів або стекхолдерів) до нового процесу. Команда розробки починає тісніше працювати з замовниками фічі і "вимагати«від них заповнити всі поля. З часом це входить у звичку, і розробники зможуть заповнити цю таблицю самі. У своїй команді я називаю це принципом «ми міряємо все».
Як наслідок, розробники стали більш залученими до аналітики та метрик. Вони самі стежать за результатами своїх фіч, радіють успіхам і обговорюють це на зустрічах. Ну а в разі провалу самі ініціюють прибирання зайвого коду.
Завдяки Hypothesis First відповідальність за ефект фічі закріплюється за розробником. Це та річ, яку не можна делегувати ШІ.
Спробуйте на наступній фічі: перед тим як скопіювати задачу в ШІ-агента, витратьте 15 хвилин і заповніть шість полів. Шаблон таблиці можна завантажити тут: hryhoryshyn.com/hypothesis-first. А в календарі поставте нагадування на дату, коли маєте подивитись на результат. Якщо в цей день ви відкриєте таблицю і рішення вже буде записане — ви на правильному шляху.
P.S. Цю статтю я писав сам, а ШІ використовував як редактора: він шукав джерела, перевіряв факти, ставив незручні питання і підказував, де текст кульгає. Деякі формулювання ми шліфували разом, але кожне рішення, що лишити, а що прибрати, ухвалював я. Як і з фічами: ШІ прискорює роботу, відповідальність за результат залишається мені.
5 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівДумаю це наближає інженерів до бізнес задач (покращує розуміння між ними і менджерами, маркетологами) і змінює їх скоуп, який треба підтримувати.
Цікава думка, я завжди за те щоб перше думати, ніж в сліпу робити
Актуальна та важлива тема сьогодні
Як десь писали в інтернетах
“People are now using Al to do the wrong thing, efficiently.”
Дуже впізнавана проблема. Про вимірювання «провалу» та «рішення зазделегідь» — топ. Дійсно ліпше продумати наперед, ніж потім підганяти метрики під результат і до того ж терміново.