Один AQA, ШІ-агент і пів року автотестів: що спрацювало, а що ні

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Мене звати Арсен Власов, я AQA з 6 роками досвіду. Будую автоматизацію з нуля, а з травня 2026 щодня працюю з ШІ-агентами в тестуванні.

Ця стаття буде корисна AQA і QA Lead, які пробують агентів в автотестах і бачать, що «зелене» від агента не завжди означає «працює». А також CTO невеликих команд, які думають, чи наймати ще одного автоматизатора, чи підсилити того, хто вже є.

Я один веду автотести на продукті. Це освітня платформа: кабінет студента, адмінка, API. По-справжньому автоматизація стартувала в січні, і за пів року я покрив увесь потрібний функціонал: близько 300 складних e2e-тестів на Playwright і TypeScript. Один такий тест раніше займав у мене до робочого дня, від вивчення фічі до мержу в GitLab. Зараз максимум 2 години.

Частину цієї швидкості дав ШІ-агент. Але більшу частину часу з ним я витратив на систему, завдяки якій агенту можна не вірити на слово. Промптів у статті майже не буде. Нижче про те, як я до неї дійшов, як вона влаштована, де агент усе одно помилявся і що не спрацювало.

Звідки я починав

Перший коміт у репозиторії датований кінцем листопада 2025 року. У грудні з’явилися page objects для базових сторінок, фікстури для оточень, тестових користувачів і авторизації, CI і перший наскрізний сценарій. З січня пішли тести на реальні фічі.

Стек простий: Playwright і TypeScript, UI- і API-тести, звіти в Allure, три оточення (dev, stage, prod). На prod тести не запускаються ніколи: такий запуск блокує хук.

ШІ я пробував і раніше. Рік-два тому це були ChatGPT і DeepSeek у чаті: допомагали місцями, і то не завжди. Тести я писав руками, і за git це добре видно. З грудня по квітень у диффах з’являлося від 7 до 22 нових тестів на місяць.

Перший місяць із Cursor

У травні я почав працювати в Cursor, і рутина пішла значно швидше. Написати методи, створити page object, внести зміну, яка зачіпає величезну кількість файлів: тут агент економив мені і час, і нерви. У диффах травня вже 61 новий тест.

Не спрацювало інше. Той самий агент писав тест і сам же його перевіряв. Агент казав, що тест проходить, я запускав, а тест падав. Таких випадків було багато. Тоді я зрозумів, що міняти треба роботу навколо моделі. Я почав розбиратися в agentic engineering: як працювати з контекстом, як будувати харнес, як відділяти того, хто робить, від того, хто перевіряє.

З липня я перейшов на Claude Code, зараз користуюся тільки ним. У липні в диффах 171 новий тест, у серпні 158. У вересні я зібрав усе, що назбиралося за ці місяці, в одну систему.

Як виглядає процес зараз

Типове завдання: є тест-кейс у системі керування тестами, треба автотест. Ось повний цикл, від тест-кейсу до нічного прогону.

  1. Агент читає тест-кейс. Змінювати його він не може: для агента це тільки читання.
  2. За скілом для UI-тестів агент планує spec: стиль тесту, статичний чи свіжий користувач, теги, фікстури. Скіл це покрокова інструкція в репозиторії.
  3. Агент пише page objects, тестові дані і сам spec. Після кожної правки файлу спрацьовує хук: лінтер правил і ESLint перевіряють саме цей файл і одразу повертають помилки агенту.
  4. Повна перевірка проєкту має бути зеленою. Вона триває близько 35 секунд і працює офлайн: типи, лінтер, компіляція всіх spec без запуску, перевірка правил.
  5. Новий тест один раз проходить на stage.
  6. Мутація: агент ламає одне очікуване значення, і тест має впасти саме на цій перевірці. Потім усе повертається назад. Тест, який лишається зеленим, нічого не перевіряє.
  7. Агент-рецензент будує власну матрицю покриття з тест-кейсу і дає вердикт: прийняти, доробити або відхилити. «Доробити» і «відхилити» повертають агента до кроку 3.
  8. Я переглядаю диф, роблю коміт і відкриваю merge request.

Після мержу в main Jenkins щоночі проганяє тести, і цикл продовжується:

  • окремий скіл читає збірку і каже PASS, FAIL або NOT-EARNED (збірка зелена, але тести в ній не запускались);
  • якщо щось упало, агент розбирає падіння: перезапускає тест і вирішує, що це. Баг продукту стає чернеткою в репозиторії, а в Jira його заводить людина. Баг тесту повертає агента до кроку 3. Flaky-тест іде в цикл стабілізації, або я лагоджу його руками.

Більшість кроків агент проходить сам. До мене доходить результат кожного кроку разом із виводом команд.

Де агент помилявся

Ось п’ять випадків з останнього місяця. Усі записані в журналі проєкту, бо одне з правил там звучить так: журнал, де агент ніколи не помилявся, нічого не показує.

Паузи на 2 хвилини. У правилах прямо написано: жодних фіксованих пауз. Агент усе одно ставив очікування по 2 хвилини, а одного разу написав toPass, який кожні 15 секунд протягом 5 хвилин перевіряв одне й те саме. Правило він читав. Виконував не завжди.

13 зелених тестів для системи, якої не існує. Я попросив інструмент, що читає збірку в Jenkins і каже PASS, FAIL або NOT-EARNED. Агент зробив усе за підручником: специфікація, червоні тести, код. 13 тестів із 13 зелені за 0,1 секунди. Перший запуск на справжньому Jenkins показав, що JUnit-звіту в наших джобах немає взагалі, тільки Allure. Тести перевіряли уявлення агента про Jenkins на фікстурах, які він сам вигадав.

0 = 0. Тест перевіряв статистику менеджерів за минулий місяць. Менеджерів створили того ж дня, тож з обох боків були нулі, і тест був зелений. Агент, який його писав, цього не помітив. Помітив рецензент.

Коміт після червоної перевірки. Агент склеїв перевірку і коміт через ; замість &&. Перевірка впала, коміт усе одно пройшов. Агент сам побачив червоний рядок у виводі і виправив це через 38 секунд. Відтоді тільки &&.

Фікс за 2,96 долара, який зламав 5 тестів. Для flaky-тестів я зробив цикл: агент шукає причину, править код і проганяє тест 5 разів поспіль. Ліміти: 3 спроби, 20 хвилин, 3 долари. Щоб вкластися в час, агент сам звузив прогін до двох тестів, знайшов правдоподібну причину і додав очікування у спільний хелпер. Обидва тести позеленіли за 16,7 хвилини. Рецензент знайшов 9 викликів цього хелпера, для яких нове очікування падає через 30 секунд. Прогін усіх 7 spec на stage підтвердив: упало 5 тестів, які були зелені в трьох останніх збірках.

Жоден із цих випадків не був «злим ШІ». Агент робив рівно те, що я міряв, або те, що міг пояснити як правильне. Дослідники з METR ще в червні 2025 показали, що моделі підганяють результат під перевірку, і навіть прохання «Please do not cheat» на одному із завдань залишило шахрайство у 80% запусків. Тому я перестав покладатися на прохання.

Харнес: що стоїть між агентом і main

Для себе я розклав це як драбину від прохання до механізму. Спочатку текст, потім судження моделі, потім код, потім інший контекст. Кожен наступний рівень надійніший за попередній. У мене це виглядає так.

Текст. AGENTS.md на сотню рядків працює як карта: команди, definition of done, межі, куди дивитися. Поруч 21 файл правил, які підвантажуються за шляхом файлу: окремо для spec, для page objects, для API. І 7 скілів, покрокових процедур: написати UI-тест із тест-кейсу, покрити API-ендпоінт, розібрати падіння, перевірити збірку Jenkins.

Текст агент читає, але виконує не завжди. Тому все, що можна перевірити скриптом, я переношу в код. У шапці лінтера правил це записано так: правило, яке може перевірити скрипт, має бути перевіркою. Воно не займає контекст, спрацьовує щоразу, і агент не може його переговорити.

Код. Дев’ять правил перевіряє лінтер: заборона waitForTimeout, ліміт 30 секунд на одне очікування, жодних expect у spec, жодних номерів тест-кейсів у назвах тестів і так далі. Лінтер запускається хуком після кожної правки, тож агент дізнається про порушення одразу.

Старі порушення записані в baseline, і вони не валять перевірку. Нове порушення валить. Pre-commit не дає baseline рости, тож сховати проблему в «тимчасовий виняток» не вийде. Той самий pre-commit не пропускає файли зі змінними оточення, а окремий хук-охоронець блокує запуск на prod.

Інший контекст. Рецензент це окремий агент на іншій моделі, тільки з правом читання. Він не бачив, як писався код, і в його інструкції прямо написано: «ти не писав цей код і нічого йому не винен». Спершу він виписує очікування з тест-кейсу, кожен крок і кожен очікуваний результат, і тільки потім відкриває код. На виході матриця «крок тест-кейсу → рядок із перевіркою» і вердикт: прийняти, доробити або відхилити.

Щоб перевірити самого рецензента, агент підкинув йому копію spec з чотирма навмисними дефектами: номер тест-кейсу в назві, expect у spec, waitForTimeout на 3 секунди і видалений крок. Рецензент знайшов усі чотири, а заодно перевірку, яка проходила б і тоді, коли фільтр не працює.

Людина. Моє рев’ю, мерж і рішення там, де документи суперечать один одному. Одного разу тест-кейс дав три різні відповіді на одне питання: user story казала одне, крок 8 інше, кроки 22-24 третє. Агент зупинився і показав мені всі три тексти. Я попросив спершу подивитися, як поводиться stage. Stage робив так, як написано в story, помилка була в тест-кейсі.

Що для мене означає «готово»

Борис Черні, автор Claude Code, у січні писав, що найважливіше для доброго результату це дати агенту спосіб перевірити свою роботу. Я з цим згоден, але додам: перевірку теж треба перевіряти. Тому «готово» для агента в мене означає чотири речі.

  1. Перевірка проєкту зелена, і агент показує вивід. Заява «все проходить» без виводу гірша, ніж відсутність заяви.
  2. Нуль не дорівнює зеленому. 0 запущених тестів або порівняння нулів із нулями дає NOT-EARNED чи skip, а не pass.
  3. Новий тест один раз навмисно ламаємо і бачимо, що він падає саме там, де треба.
  4. Новий тест один раз проходить на stage.

І три питання, які я тепер ставлю до будь-якої перевірки. На чому саме вона падає? Чи бачив я хоч раз, як вона падає? Що вона друкує, коли перевіряти нічого?

Що не спрацювало

Один агент на все. Перший місяць у Cursor я вже описав: агент писав тест, сам його «перевіряв» і рапортував, що все зелене. Без окремого рецензента і без обов’язкового виводу команд це не працює.

Автономний цикл для flaky-тестів. Історію з 5 зламаними тестами ви вже читали. Перевірка «чи не послабив агент тест» мовчала, бо агент нічого не послабив: він зробив суворішою умову в спільному хелпері. Цикл лишився в репозиторії разом зі звітами, але для цих тестів я його вимкнув, і за розкладом він не запускається.

Правила тільки текстом. Про паузи на 2 хвилини вже було. Доки правило живе тільки в markdown, воно працює як побажання.

Гадати втретє. В одному завданні агент чотири прогони поспіль перевіряв гіпотези про те, чому в нового студента немає прогресу курсу. Дві виявилися хибними. Щойно він додав діагностику і подивився на дані, фікс зайняв один крок. Тепер це правило: після двох хибних гіпотез міряй, а не вгадуй.

Цифри до і після

  • Один складний e2e-тест, від вивчення фічі до мержу: було до одного робочого дня, стало максимум 2 години. Це мій повний цикл: вимоги, page objects, перевірки, рев’ю.
  • Регрес: було 2 дні ручного регресу, стало 2 години автотестів. Це заслуга автотестів і паралельних воркерів, ШІ тут ні до чого.
  • Нових тестів на місяць: було 7-22 у грудні-квітні, стало 45-171 у травні-серпні. Рахував рядки з новими тестами в диффах git, без урахування видалень.
  • Тести, прийняті з першого рев’ю: за останній місяць усі. Раніше я це не рахував.
  • Flaky-тести: їх стало мінімум. Точної метрики немає, це моє спостереження.
  • Перевірка перед комітом: раніше її не було, зараз вона триває близько 35 секунд і працює офлайн.

Окремо про гроші: підписку оплачує компанія, тому порахувати вартість одного тесту я тут не можу. Для орієнтиру: одна спроба агента полагодити flaky-тест у циклі коштувала близько 1,5 долара.

І чесно про рев’ю і flaky-тести. Те, що всі тести останнього місяця пройшли рев’ю з першого разу, не означає, що харнес ідеальний. Ідеальних не буває. Але поки він справляється добре.

Висновок

Агент справді пише тести швидше за мене. Але швидкість без перевірок дає те, що я бачив у перший місяць: тести, які агент назвав зеленими, а вони падали, або тести, які перевіряли вигадані фікстури і нулі. Тести тепер здебільшого пише агент. Мій час іде на те, щоб він не міг сказати «готово» без доказу.

Мені цікаво, як це влаштовано у вас:

  • Що у вас стоїть між агентом і main-гілкою, крім рев’ю людиною?
  • Ви ловили агента на тестах, які не можуть упасти? Як?
👍ПодобаєтьсяСподобалось9
До обраногоВ обраному4
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Дякую за статтю, цікаво було почитати!

Хотілося б уточнити, на якому саме рівні реалізований хук, що блокує запуск тестів на prod? Це Claude Code hook, перевірка в Playwright config чи обмеження на рівні Jenkins/CI? Бо якщо захист лише на рівні Claude Code, його можна обійти прямим запуском тестів. Якщо можна, зашерте невеликий фрагмент реалізації 🙏

І трохи подушню 😁 Ви пишете про близько 300 e2e-тестів, але тільки за травень, липень і серпень додали 61 + 171 + 158 = 390. Це враховує видалені або переписані тести, чи я щось неправильно зрозумів у методиці підрахунку?

Привіт, Вадиме) Дякую за коментар та дуже радий, що стаття вас зацікавила😊 Якщо коротко — то обидва ваші питання дійсно по ділу:

1. Зараз prod блокується тільки на рівні Claude Code: PreToolUse-хук перед кожною Bash-командою агента перевіряє її текст регулярними виразами і скасовує виклик, якщо там prod-оточення. У самому конфігу prod доступний, тож людина чи скрипт поза агентом тести на prod запустити можуть. Ви праві: це захист від помилки агента, а не бар’єр для всіх. У Jenkins джоби запускаються тільки на dev і stage«. Перевірку в конфігу додам, дякую за підказку 🫶

Логіка хука, спрощено:

// .claude/hooks/block-prod.mjs (PreToolUse, matcher: "Bash")
let raw = '';
for await (const chunk of process.stdin) raw += chunk;
const cmd = JSON.parse(raw).tool_input?.command ?? '';

const PROD = [/\bENV\s*=\s*['"]?prod\b/i, /--project[= ]prod\b/i];
if (PROD.some((re) => re.test(cmd))) {
  console.error('Blocked: this command would run tests against prod.');
  process.exit(2); // код 2: Claude Code скасовує виклик і показує причину агенту
}
А бар’єр, який не обійти прямим запуском, має стояти в конфігу:
// playwright.config.ts
if (process.env.ENV === 'prod' && process.env.ALLOW_PROD !== '1') {
  throw new Error('Tests on prod are disabled');
}
2. 61, 171 і 158 це рядки з test(, додані в диффах, а не чистий приріст тестів. Будь-яка правка такого рядка (перейменування, новий тег, перенос в інший файл) рахується як доданий рядок. Якщо відняти видалені (у травні 31, у серпні 87), чистий приріст за ці три місяці близько 275. За регресом: наприкінці квітня було 50 UI-тестів, наприкінці липня 276, наприкінці серпня 351. «Близько 300» це стан на пів року роботи, на середину жовтня їх 435. Методику варто було прописати в статті явно, тут зауваження справедливе:)

Ну, вже можна складати іспити від Антропіка)

загалом тут на схемі окрім агента та людини не показані скриптові, кодові перевірки, які є детерміністичними. і тоді вже складеться вся картинка як книжка пише)

Дякую за коментар!) Здається, ви дивилися тільки на картинку 🙂

Детерміністичні перевірки в статті є: лінтер, pre-commit, мутаційна перевірка, хуки, агент-рецензент. Власне, половина статті про те, чому без них агенту не можна довіряти, тож читайте уважніше.

А іспити хай складає той, кому потрібен сертифікат. Мені вистачає зелених тестів, які справді падають, коли мають падати)

Ам...я прочитав уважно, дякую. Тому мій комент і стосувався лише схеми) В статті то описано, так. Просто складалось враження, що текст мав розкривати схему, щоб воно не було відірвано. Але суть зрозуміла

Що у вас стоїть між агентом і main-гілкою, крім рев’ю людиною?

А что туда можно поставить кроме человека?

Дякую за питання!)

Людина в мене теж лишається, і мерж роблю тільки я) Але тест доходить до мене вже після кількох фільтрів, і вони ловлять більшість того, що раніше ловив я сам. Саме про це мається на увазі та про це я говорю у розділі Харнес: що стоїть між агентом і main