Аналіз бізнес-результатів: чи готові ми довірити його ШІ?

Побудова прогнозної моделі

Моделювання — одна з основних задач в щоденній роботі Data-аналітика. Воно потрібне для оцінки майбутньої динаміки бізнес-KPI, планування інвестицій та перевірки what-if сценаріїв ще до того, як вони реалізуються в реальності.

У цьому питанні я свідомо не просила ШІ писати код. По-перше, з першої спроби він майже ніколи не буває повністю коректним і готовим до використання. По-друге, для повторюваних запитів вже є напрацьовані скрипти, які потребують лише точкових модифікацій під конкретний кейс. Тому в цьому блоці мене цікавила не конкретна реалізація, а логіка побудови моделі, вибір підходу та принципи перевірки її адекватності. Але, спойлер — тут відповіді ШІ мене дещо розчарували.

Порівняно з аналізом причин падіння продажів, у цьому питанні розбіжності між підходами різних ШІ стали помітнішими. Частина моделей одразу пішла в складні архітектури, частина — у базову регресійну логіку.

Усі ШІ-інструменти сходяться в кількох базових припущеннях:

— модель будується на тижневих даних;
— цільова змінна — продажі в упаковках або грошах (часто з рекомендацією працювати саме з упаковками);
— період спостережень має бути не менше 2 років, оптимально 3+ (хоча насправді цілком реально побудувати хорошу модель на меншому історичному періоді);
— медіа-активність має враховуватись із лагами (найчастіше 1-8 тижнів);
— модель має дозволяти what-if сценарії на основі майбутнього медіа-плану;
— результатом є розкладання продажів на baseline та інкрементальний ефект медіа.

ChatGPT фактично пропонує двошарову конструкцію. Для оцінки медіа-ефекту він використовує Bayesian Marketing Mix Model або класичну MMM, а для прогнозу KPI — SARIMAX, Bayesian Structural Time Series (BSTS) або градієнтний бустинг (XGBoost / LightGBM). Такий підхід виглядає методологічно коректним, але на практиці є не надто зручним, бо по суті, пропонується будувати дві різні моделі — одну для декомпозиції, іншу для прогнозу, хоча в реальних кейсах одну й ту саму модель можна і потрібно використовувати і для розкладання продажів на бейзлайн та медіа-ефект, і для прогнозування.

Grok одразу фіксується на Bayesian MMM, як основний інструмент й прямо називає реалізації Robyn (Meta), LightweightMMM або Orbit. Як не дивно він не згадує Google Meridian, який є більш новим байєсівським фреймворком MMM, і має ширший функціонал для роботи з апріорними розподілами ROI та менш жорсткі вимоги до історичних даних.

Gemini обирає значно простішу і, водночас, дуже практичну логіку. Основні моделі — множинна лінійна регресія або Bayesian Structural Time Series, де медіа виступають зовнішніми регресорами. Це, по суті, найбільш ефективний базовий підхід для багатьох бізнес-задач. Важливо, що Gemini єдиний з усіх інструментів, хто прямо пропонує перевіряти адекватність моделі через ROI, а не лише через статистичні метрики. Перевірка якості обмежується MAPE на holdout-періоді та перевіркою знаків коефіцієнтів.

DeepSeek працює в межах класичної MMM, але робить акцент на статистичній коректності. Окрім байєсівських і регуляризованих регресій, він прямо пропонує аналізувати статистичну значущість коефіцієнтів (p-values).

Claude не прив’язується до одного підходу і пропонує вибір моделей залежно від задачі: Multiple Linear Regression, Ridge/Lasso, SARIMAX, а у виняткових випадках — Random Forest або XGBoost для короткострокового прогнозу. Така гнучкість — це безумовний плюс. Водночас використання Random Forest та XGBoost у бізнес-контексті виглядає сумнівним: це по суті «чорні ящики», які складно інтерпретувати інтуїтивно і пояснювати стейкхолдерам, особливо коли йдеться про медіа-ефекти та планування інвестицій.

Пошук точки насичення медіа інвестицій

Тепер переходимо до останнього блоку — визначення моменту, коли зростання медіа-інвестицій перестає давати додатковий ефект.

ChatGPT виходить із заданого бізнес-порогу окупності, будує response curve через MMM або Bayesian MMM та оцінює маржинальний ROAS як похідну кривої. Основний критерій — момент, коли mROAS падає нижче заданого порогу.

Grok також фокусується на Bayesian MMM і працює з response curves через Hill-функцію. Його критерії — marginal ROI нижче 1, падіння еластичності та досягнення 70–80% максимального ефекту.

Gemini формально визнає необхідність моделі, але на практиці робить акцент на метриках рекламних кампаній: частоті, CPA, зростанні CPM, зупинці приросту reach. Це може бути корисним додатковим кроком, але без повноцінної моделі складно зрозуміти, що буде далі з кривою і як поводитись із бюджетом у сценаріях.

DeepSeek найбільш послідовно вибудовує підхід саме від моделі: будуємо модель, потім на її основі response curve, потім маржинальний ефект, і вже після цього — перевірка через польові метрики.

Claude дає дуже деталізовану відповідь і намагається охопити одразу всі можливі підходи — від простих регресій до складних нелінійних моделей із трансформаціями GRP. Логіка загалом коректна, але рівень деталізації надмірний для прикладного завдання, він ускладнює аналіз і зсуває акцент з управління бюджетом на сам процес моделювання.