Hypothesis First: чому ШІ прискорив випуск фіч, але не знання про їхній ефект

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Коли я був програмістом, я продумував архітектуру наперед, всі звʼязки, класи та структуру БД... А вже потім наступала «нудна» частина: писати багато-багато коду. Тепер же це більше схоже на управління «персональним джуном» (або навіть кількома), який пише код замість тебе, а ти, як диригент, тільки дивишся, як все гарно функціонує. Разом з тим відповідальність за фічу залишилась у мене, адже саме диригент відповідає за звучання оркестру. Архітектурні рішення ухвалюються швидше або не ухвалюються зовсім (вайбкодинг). Дедалі частіше менеджмент вимагає фічу на продакшні уже завтра, а іноді вже сьогодні.

Де тоді проблема?

Вона виникає пізніше. Є ідея фічі, програміст швидко її реалізує, тестувальник з автотестами швидко тестує, і ми в продакшні. А чи принесла вона той ефект, який очікує бізнес?

Коли ми писали код вручну у місці, де ми програмували обробку натискання кнопки, виникало питання «а чи варто надіслати подію натискання в Google Analytics?». Ця думка переростала у питання «А яка воронка в шляху користувача?», «А чи не конфліктують такі події з обмеженнями на кшталт GDPR чи CCPA?», «А як взагалі аналітики будуть вимірювати цю фічу?»...

А тепер ми копіюємо опис задачі в ШІ-агента і чекаємо на результат, і шанс подумати про аналітику стрімко наближається до нуля.

Як це вирішити?

Я називаю цей підхід Hypothesis First (спершу гіпотеза).

Спробуйте заповнити просту табличку перед виконанням задачі (або перед постановкою, якщо ви менеджер). Лише 6 пунктів.

№

Поле

На яке питання відповідає

1

Фіча

Що робимо?

2

Гіпотеза

Яка поведінка користувачів має змінитися і чому?

3

Метрика

Чим це міряємо (одна головна)? Чи потрібен додатковий збір даних?

4

Поріг успіху

На скільки має змінитися, щоб сказати «спрацювало»?

5

Що вважаємо провалом

Що означатиме «не спрацювало», включно з побічними ефектами?

6

Рішення заздалегідь

Що робимо за кожного результату?

Hypothesis First виросла з двох джерел:

  1. HDD — Hypothesis-Driven Development (розробка на основі гіпотез). Базова ідея: формулювати фічу як гіпотезу.
  2. Наукова практика попередньої реєстрації. Базова ідея: гіпотезу, метод та план аналізу гіпотези фіксують до збору даних, щоб не «підганяти» висновки під бажаний результат.

Поля «Фіча», «Гіпотеза», «Метрика» та «Поріг успіху» — це класичний HDD, а ідея фіксувати план до результату з наукової практики дала два нові поля: «Що вважаємо провалом» та «Рішення заздалегідь». Для мене це схоже на контракт API: про нього домовляються до реалізації, і переписувати його після того, як побачили результат, не можна.

Основна різниця в тому, що HDD питає «як ми дізнаємось про успіх?», тоді як Hypothesis First додає до цього питання «що ми будемо робити у разі успіху чи провалу?» І відповідає на нього до першого рядка коду.

Схожі практики вже є в інструментах для експериментів (Eppo, GrowthBook, Spotify Confidence), але там їх застосовують перед запуском A/B-тесту. Я пропоную зробити цей крок раніше — ще до розробки.

Простий (вигаданий) приклад з e-commerce

№

Поле

Приклад (вигаданий, e-commerce)

1

Фіча

Кнопка «Купити в один клік» на сторінці товару

2

Гіпотеза

Частина покупців кидає оформлення через довгу форму, тож коротший шлях збільшить кількість замовлень

3

Метрика

Конверсія з перегляду товару в оплачене замовлення. Рахуємо на основі Google Analytics. Потрібно реалізувати відстежування додаткової події: натискання кнопки «Купити в один клік»

4

Поріг успіху

Зростання щонайменше на 10% за 4 тижні порівняно з контрольною групою

5

Що вважаємо провалом

Конверсія зросла менше ніж на 10%, або кількість скасованих замовлень і повернень зросла на 5% і більше, навіть якщо конверсія зросла

6

Рішення заздалегідь

Спрацювало (конверсія +10% і більше, скасування й повернення зросли менше ніж на 5%) → розгортаємо для всіх користувачів. Не спрацювало (будь-яка умова з поля 5) → прибираємо, щоб не підтримувати зайвий код

Числа у прикладі умовні. Реальні числа залежать від специфіки конкретного проєкту, кількості трафіку, тривалості ефекту фічі тощо.

Що далі?

Важливим етапом впровадження підходу Hypothesis First є залучення замовників фічі (менеджерів або стекхолдерів) до нового процесу. Команда розробки починає тісніше працювати з замовниками фічі і "вимагати«від них заповнити всі поля. З часом це входить у звичку, і розробники зможуть заповнити цю таблицю самі. У своїй команді я називаю це принципом «ми міряємо все».

Як наслідок, розробники стали більш залученими до аналітики та метрик. Вони самі стежать за результатами своїх фіч, радіють успіхам і обговорюють це на зустрічах. Ну а в разі провалу самі ініціюють прибирання зайвого коду.

Завдяки Hypothesis First відповідальність за ефект фічі закріплюється за розробником. Це та річ, яку не можна делегувати ШІ.

Спробуйте на наступній фічі: перед тим як скопіювати задачу в ШІ-агента, витратьте 15 хвилин і заповніть шість полів. Шаблон таблиці можна завантажити тут: hryhoryshyn.com/hypothesis-first. А в календарі поставте нагадування на дату, коли маєте подивитись на результат. Якщо в цей день ви відкриєте таблицю і рішення вже буде записане — ви на правильному шляху.

P.S. Цю статтю я писав сам, а ШІ використовував як редактора: він шукав джерела, перевіряв факти, ставив незручні питання і підказував, де текст кульгає. Деякі формулювання ми шліфували разом, але кожне рішення, що лишити, а що прибрати, ухвалював я. Як і з фічами: ШІ прискорює роботу, відповідальність за результат залишається мені.

👍ПодобаєтьсяСподобалось20
До обраногоВ обраному6
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Думаю це наближає інженерів до бізнес задач (покращує розуміння між ними і менджерами, маркетологами) і змінює їх скоуп, який треба підтримувати.

Цікава думка, я завжди за те щоб перше думати, ніж в сліпу робити

Актуальна та важлива тема сьогодні

Як десь писали в інтернетах
“People are now using Al to do the wrong thing, efficiently.”

Дуже впізнавана проблема. Про вимірювання «провалу» та «рішення зазделегідь» — топ. Дійсно ліпше продумати наперед, ніж потім підганяти метрики під результат і до того ж терміново.