Як я аналізую витрати на AI у своїй команді

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Історія про те, як я зібрав власний дашборд обліку Copilot AI Credits — бо стандартних інструментів мені не вистачало.

Я вирішив зробити так, як мені зручно

Моя роль — технічний delivery-менеджер у компанії EPAM. На проєкті я активно адвокатую AI-практики: допомагаю команді вбудовувати їх у щоденну роботу й сам шукаю, де вони дають реальну користь.

Ми використовуємо Microsoft Copilot. І, як ви, мабуть, знаєте, з 1 червня суттєво змінилися умови надання сервісу: фактично ми перейшли на модель тарифікації за API-токенами. А це зовсім інші гроші порівняно з преміум-реквестами, як було раніше.

Очевидно, що бюджети на AI не безмежні. До того ж IT-індустрія загалом ще не адаптувалася під AI-витрати, і не завжди вони лягають на плечі замовників.

Тому постало актуальне питання: контролювати й аналізувати, на що команда витрачає AI-токени — і що ми зрештою отримуємо як value.

От тільки мої штатні можливості для такого аналізу дуже обмежені. У кращому разі я можу раз на місяць отримати вивантаження з GitHub у вигляді сирих даних — і то для цього доводиться писати листи та просити, щоб надіслали файли.

Це не мій шлях: так незручно, і цього замало. Тому для команди я розробив і впровадив власний AI tracker на рівні AI coding agent.

Як я зробив AI tracker для Copilot

Принцип простий. На початку роботи розробник однією командою — /aicredit <ID задачі> — прив’язує поточну сесію Copilot CLI до конкретного work item. Коли сесія завершується, хук автоматично підраховує, скільки AI-одиниць (AIU) вона спалила, і дописує цю суму до відповідної задачі разом із коментарем — яка модель і скільки витратила. Жодного ручного обліку: кожна витрата токенів сама «приземляється» на потрібний таск.

Щоб прив’язку не можна було забути, я зробив її обов’язковою. На екрані нижче видно: без указаного номера задачі Copilot не виконуватиме інструкції користувача — спершу він попросить виконати /aicredit <ID>.

Поки сесію не прив’язано до задачі, агент відмовляється працювати й просить виконати /aicredit <ID>.

Як issue tracker на проєкті ми використовуємо Azure DevOps. Витрата Copilot AI Credits за кожну сесію інженера автоматично заноситься в поля відповідного Azure Work Item — тож історія витрат живе там само, де й самі задачі.

Така прив’язка дуже допомагає в подальшому аналізі: видно не лише скільки AI-кредитів витратила людина, а й на яку саме задачу. Причому це стосується абсолютно всіх членів команди — аналітиків, розробників, тестувальників.

І ще одна перевага: аналітику я роблю near real time — більше не треба щоразу випрошувати зовнішні файли зі статистикою й чекати на них тижнями.

Аналітичний дашборд споживання AI Credits

Зібрати статистику — це лише половина справи. Щоб цифри почали працювати, їх треба побачити. Так і з’явився аналітичний дашборд.

Загальний вигляд дашборда: денна динаміка витрат і активних задач, розподіл AI Credits по людях, моделях, User Story, ролях команди та окремих work items.

Що цікавого на дашборді

По-перше, я маю повний контроль над візуалізацією, бо оновлюю функціональність через vibe-coding. Будь-які метрики чи drill-down’и, що спадають на думку, з’являються за пару хвилин.

По-друге, дашборд показує зведену вартість розробки User Story. Над однією сторі працюють аналітики, розробники й тестувальники — і я нарешті бачу, у яку підсумкову суму AI Credits вона зрештою обійшлася. Це дає змогу порівнювати стори між собою та планувати бюджет на решту задач у беклозі.

По-третє, я отримую аргументовані витрати на AI. Тепер я можу обговорювати з керівництвом виділення AI-бюджету, маючи на руках конкретні цифри, які відображають отриману value — завершені User Stories.

Як працює оновлення дашборда під капотом

Насправді все тримається на простому конвеєрі з трьох кроків. Спершу скрипт-збирач обходить Azure DevOps, вичитує з work items ті самі aicredit:-коментарі й складає їх у локальну базу даних SQLite. Далі другий скрипт агрегує ці цифри за поточний місяць і вивантажує готовий зріз у звичайний JS-файл. А сам дашборд — це статична HTML-сторінка, що відкривається просто з файлу, без жодного сервера, і малює всі графіки власноруч.

Висновки

Підіб’ємо підсумки. Я розробив і впровадив інструмент аналізу споживання AI Credits — у тих метриках, які важливі саме для мене й дають змогу репортувати керівництву, як команда використовує AI-бюджет, і «вибивати» для неї потрібні суми.

По суті, це near real time дашборд: ви бачите споживання токенів командою в реальному часі — а отже, маєте більше підстав робити аналітику й ухвалювати рішення вчасно.

Ви повністю контролюєте метрики й візуалізацію і можете будувати ще складніші та потрібніші для ваших команд аналітичні інструменти.

А головне — зроблені так, як зручно саме вам.