Один AQA, ШІ-агент і пів року автотестів: що спрацювало, а що ні
Мене звати Арсен Власов, я AQA з 6 роками досвіду. Будую автоматизацію з нуля, а з травня 2026 щодня працюю з ШІ-агентами в тестуванні.
Ця стаття буде корисна AQA і QA Lead, які пробують агентів в автотестах і бачать, що «зелене» від агента не завжди означає «працює». А також CTO невеликих команд, які думають, чи наймати ще одного автоматизатора, чи підсилити того, хто вже є.
Я один веду автотести на продукті. Це освітня платформа: кабінет студента, адмінка, API. По-справжньому автоматизація стартувала в січні, і за пів року я покрив увесь потрібний функціонал: близько 300 складних e2e-тестів на Playwright і TypeScript. Один такий тест раніше займав у мене до робочого дня, від вивчення фічі до мержу в GitLab. Зараз максимум 2 години.
Частину цієї швидкості дав ШІ-агент. Але більшу частину часу з ним я витратив на систему, завдяки якій агенту можна не вірити на слово. Промптів у статті майже не буде. Нижче про те, як я до неї дійшов, як вона влаштована, де агент усе одно помилявся і що не спрацювало.
Звідки я починав
Перший коміт у репозиторії датований кінцем листопада 2025 року. У грудні з’явилися page objects для базових сторінок, фікстури для оточень, тестових користувачів і авторизації, CI і перший наскрізний сценарій. З січня пішли тести на реальні фічі.
Стек простий: Playwright і TypeScript, UI- і API-тести, звіти в Allure, три оточення (dev, stage, prod). На prod тести не запускаються ніколи: такий запуск блокує хук.
ШІ я пробував і раніше. Рік-два тому це були ChatGPT і DeepSeek у чаті: допомагали місцями, і то не завжди. Тести я писав руками, і за git це добре видно. З грудня по квітень у диффах з’являлося від 7 до 22 нових тестів на місяць.
Перший місяць із Cursor
У травні я почав працювати в Cursor, і рутина пішла значно швидше. Написати методи, створити page object, внести зміну, яка зачіпає величезну кількість файлів: тут агент економив мені і час, і нерви. У диффах травня вже 61 новий тест.
Не спрацювало інше. Той самий агент писав тест і сам же його перевіряв. Агент казав, що тест проходить, я запускав, а тест падав. Таких випадків було багато. Тоді я зрозумів, що міняти треба роботу навколо моделі. Я почав розбиратися в agentic engineering: як працювати з контекстом, як будувати харнес, як відділяти того, хто робить, від того, хто перевіряє.
З липня я перейшов на Claude Code, зараз користуюся тільки ним. У липні в диффах 171 новий тест, у серпні 158. У вересні я зібрав усе, що назбиралося за ці місяці, в одну систему.
Як виглядає процес зараз
Типове завдання: є тест-кейс у системі керування тестами, треба автотест. Ось повний цикл, від тест-кейсу до нічного прогону.

- Агент читає тест-кейс. Змінювати його він не може: для агента це тільки читання.
- За скілом для UI-тестів агент планує spec: стиль тесту, статичний чи свіжий користувач, теги, фікстури. Скіл це покрокова інструкція в репозиторії.
- Агент пише page objects, тестові дані і сам spec. Після кожної правки файлу спрацьовує хук: лінтер правил і ESLint перевіряють саме цей файл і одразу повертають помилки агенту.
- Повна перевірка проєкту має бути зеленою. Вона триває близько 35 секунд і працює офлайн: типи, лінтер, компіляція всіх spec без запуску, перевірка правил.
- Новий тест один раз проходить на stage.
- Мутація: агент ламає одне очікуване значення, і тест має впасти саме на цій перевірці. Потім усе повертається назад. Тест, який лишається зеленим, нічого не перевіряє.
- Агент-рецензент будує власну матрицю покриття з тест-кейсу і дає вердикт: прийняти, доробити або відхилити. «Доробити» і «відхилити» повертають агента до кроку 3.
- Я переглядаю диф, роблю коміт і відкриваю merge request.
Після мержу в main Jenkins щоночі проганяє тести, і цикл продовжується:
- окремий скіл читає збірку і каже PASS, FAIL або NOT-EARNED (збірка зелена, але тести в ній не запускались);
- якщо щось упало, агент розбирає падіння: перезапускає тест і вирішує, що це. Баг продукту стає чернеткою в репозиторії, а в Jira його заводить людина. Баг тесту повертає агента до кроку 3. Flaky-тест іде в цикл стабілізації, або я лагоджу його руками.
Більшість кроків агент проходить сам. До мене доходить результат кожного кроку разом із виводом команд.
Де агент помилявся
Ось п’ять випадків з останнього місяця. Усі записані в журналі проєкту, бо одне з правил там звучить так: журнал, де агент ніколи не помилявся, нічого не показує.
Паузи на 2 хвилини. У правилах прямо написано: жодних фіксованих пауз. Агент усе одно ставив очікування по 2 хвилини, а одного разу написав toPass, який кожні 15 секунд протягом 5 хвилин перевіряв одне й те саме. Правило він читав. Виконував не завжди.
13 зелених тестів для системи, якої не існує. Я попросив інструмент, що читає збірку в Jenkins і каже PASS, FAIL або NOT-EARNED. Агент зробив усе за підручником: специфікація, червоні тести, код. 13 тестів із 13 зелені за 0,1 секунди. Перший запуск на справжньому Jenkins показав, що JUnit-звіту в наших джобах немає взагалі, тільки Allure. Тести перевіряли уявлення агента про Jenkins на фікстурах, які він сам вигадав.
0 = 0. Тест перевіряв статистику менеджерів за минулий місяць. Менеджерів створили того ж дня, тож з обох боків були нулі, і тест був зелений. Агент, який його писав, цього не помітив. Помітив рецензент.
Коміт після червоної перевірки. Агент склеїв перевірку і коміт через ; замість &&. Перевірка впала, коміт усе одно пройшов. Агент сам побачив червоний рядок у виводі і виправив це через 38 секунд. Відтоді тільки &&.
Фікс за 2,96 долара, який зламав 5 тестів. Для flaky-тестів я зробив цикл: агент шукає причину, править код і проганяє тест 5 разів поспіль. Ліміти: 3 спроби, 20 хвилин, 3 долари. Щоб вкластися в час, агент сам звузив прогін до двох тестів, знайшов правдоподібну причину і додав очікування у спільний хелпер. Обидва тести позеленіли за 16,7 хвилини. Рецензент знайшов 9 викликів цього хелпера, для яких нове очікування падає через 30 секунд. Прогін усіх 7 spec на stage підтвердив: упало 5 тестів, які були зелені в трьох останніх збірках.
Жоден із цих випадків не був «злим ШІ». Агент робив рівно те, що я міряв, або те, що міг пояснити як правильне. Дослідники з METR ще в червні 2025 показали, що моделі підганяють результат під перевірку, і навіть прохання «Please do not cheat» на одному із завдань залишило шахрайство у 80% запусків. Тому я перестав покладатися на прохання.
Харнес: що стоїть між агентом і main
Для себе я розклав це як драбину від прохання до механізму. Спочатку текст, потім судження моделі, потім код, потім інший контекст. Кожен наступний рівень надійніший за попередній. У мене це виглядає так.
Текст. AGENTS.md на сотню рядків працює як карта: команди, definition of done, межі, куди дивитися. Поруч 21 файл правил, які підвантажуються за шляхом файлу: окремо для spec, для page objects, для API. І 7 скілів, покрокових процедур: написати UI-тест із тест-кейсу, покрити API-ендпоінт, розібрати падіння, перевірити збірку Jenkins.
Текст агент читає, але виконує не завжди. Тому все, що можна перевірити скриптом, я переношу в код. У шапці лінтера правил це записано так: правило, яке може перевірити скрипт, має бути перевіркою. Воно не займає контекст, спрацьовує щоразу, і агент не може його переговорити.
Код. Дев’ять правил перевіряє лінтер: заборона waitForTimeout, ліміт 30 секунд на одне очікування, жодних expect у spec, жодних номерів тест-кейсів у назвах тестів і так далі. Лінтер запускається хуком після кожної правки, тож агент дізнається про порушення одразу.
Старі порушення записані в baseline, і вони не валять перевірку. Нове порушення валить. Pre-commit не дає baseline рости, тож сховати проблему в «тимчасовий виняток» не вийде. Той самий pre-commit не пропускає файли зі змінними оточення, а окремий хук-охоронець блокує запуск на prod.
Інший контекст. Рецензент це окремий агент на іншій моделі, тільки з правом читання. Він не бачив, як писався код, і в його інструкції прямо написано: «ти не писав цей код і нічого йому не винен». Спершу він виписує очікування з тест-кейсу, кожен крок і кожен очікуваний результат, і тільки потім відкриває код. На виході матриця «крок тест-кейсу → рядок із перевіркою» і вердикт: прийняти, доробити або відхилити.
Щоб перевірити самого рецензента, агент підкинув йому копію spec з чотирма навмисними дефектами: номер тест-кейсу в назві, expect у spec, waitForTimeout на 3 секунди і видалений крок. Рецензент знайшов усі чотири, а заодно перевірку, яка проходила б і тоді, коли фільтр не працює.
Людина. Моє рев’ю, мерж і рішення там, де документи суперечать один одному. Одного разу тест-кейс дав три різні відповіді на одне питання: user story казала одне, крок 8 інше, кроки
Що для мене означає «готово»
Борис Черні, автор Claude Code, у січні писав, що найважливіше для доброго результату це дати агенту спосіб перевірити свою роботу. Я з цим згоден, але додам: перевірку теж треба перевіряти. Тому «готово» для агента в мене означає чотири речі.
- Перевірка проєкту зелена, і агент показує вивід. Заява «все проходить» без виводу гірша, ніж відсутність заяви.
- Нуль не дорівнює зеленому. 0 запущених тестів або порівняння нулів із нулями дає NOT-EARNED чи skip, а не pass.
- Новий тест один раз навмисно ламаємо і бачимо, що він падає саме там, де треба.
- Новий тест один раз проходить на stage.
І три питання, які я тепер ставлю до будь-якої перевірки. На чому саме вона падає? Чи бачив я хоч раз, як вона падає? Що вона друкує, коли перевіряти нічого?
Що не спрацювало
Один агент на все. Перший місяць у Cursor я вже описав: агент писав тест, сам його «перевіряв» і рапортував, що все зелене. Без окремого рецензента і без обов’язкового виводу команд це не працює.
Автономний цикл для flaky-тестів. Історію з 5 зламаними тестами ви вже читали. Перевірка «чи не послабив агент тест» мовчала, бо агент нічого не послабив: він зробив суворішою умову в спільному хелпері. Цикл лишився в репозиторії разом зі звітами, але для цих тестів я його вимкнув, і за розкладом він не запускається.
Правила тільки текстом. Про паузи на 2 хвилини вже було. Доки правило живе тільки в markdown, воно працює як побажання.
Гадати втретє. В одному завданні агент чотири прогони поспіль перевіряв гіпотези про те, чому в нового студента немає прогресу курсу. Дві виявилися хибними. Щойно він додав діагностику і подивився на дані, фікс зайняв один крок. Тепер це правило: після двох хибних гіпотез міряй, а не вгадуй.
Цифри до і після
- Один складний e2e-тест, від вивчення фічі до мержу: було до одного робочого дня, стало максимум 2 години. Це мій повний цикл: вимоги, page objects, перевірки, рев’ю.
- Регрес: було 2 дні ручного регресу, стало 2 години автотестів. Це заслуга автотестів і паралельних воркерів, ШІ тут ні до чого.
- Нових тестів на місяць: було
7-22 у грудні-квітні, стало45-171 у травні-серпні. Рахував рядки з новими тестами в диффах git, без урахування видалень. - Тести, прийняті з першого рев’ю: за останній місяць усі. Раніше я це не рахував.
- Flaky-тести: їх стало мінімум. Точної метрики немає, це моє спостереження.
- Перевірка перед комітом: раніше її не було, зараз вона триває близько 35 секунд і працює офлайн.
Окремо про гроші: підписку оплачує компанія, тому порахувати вартість одного тесту я тут не можу. Для орієнтиру: одна спроба агента полагодити flaky-тест у циклі коштувала близько 1,5 долара.
І чесно про рев’ю і flaky-тести. Те, що всі тести останнього місяця пройшли рев’ю з першого разу, не означає, що харнес ідеальний. Ідеальних не буває. Але поки він справляється добре.
Висновок
Агент справді пише тести швидше за мене. Але швидкість без перевірок дає те, що я бачив у перший місяць: тести, які агент назвав зеленими, а вони падали, або тести, які перевіряли вигадані фікстури і нулі. Тести тепер здебільшого пише агент. Мій час іде на те, щоб він не міг сказати «готово» без доказу.
Мені цікаво, як це влаштовано у вас:
- Що у вас стоїть між агентом і main-гілкою, крім рев’ю людиною?
- Ви ловили агента на тестах, які не можуть упасти? Як?
7 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівДякую за статтю, цікаво було почитати!
Хотілося б уточнити, на якому саме рівні реалізований хук, що блокує запуск тестів на prod? Це Claude Code hook, перевірка в Playwright config чи обмеження на рівні Jenkins/CI? Бо якщо захист лише на рівні Claude Code, його можна обійти прямим запуском тестів. Якщо можна, зашерте невеликий фрагмент реалізації 🙏
І трохи подушню 😁 Ви пишете про близько 300 e2e-тестів, але тільки за травень, липень і серпень додали 61 + 171 + 158 = 390. Це враховує видалені або переписані тести, чи я щось неправильно зрозумів у методиці підрахунку?
Привіт, Вадиме) Дякую за коментар та дуже радий, що стаття вас зацікавила😊 Якщо коротко — то обидва ваші питання дійсно по ділу:
1. Зараз prod блокується тільки на рівні Claude Code: PreToolUse-хук перед кожною Bash-командою агента перевіряє її текст регулярними виразами і скасовує виклик, якщо там prod-оточення. У самому конфігу prod доступний, тож людина чи скрипт поза агентом тести на prod запустити можуть. Ви праві: це захист від помилки агента, а не бар’єр для всіх. У Jenkins джоби запускаються тільки на dev і stage«. Перевірку в конфігу додам, дякую за підказку 🫶
Логіка хука, спрощено:
// .claude/hooks/block-prod.mjs (PreToolUse, matcher: "Bash") let raw = ''; for await (const chunk of process.stdin) raw += chunk; const cmd = JSON.parse(raw).tool_input?.command ?? ''; const PROD = [/\bENV\s*=\s*['"]?prod\b/i, /--project[= ]prod\b/i]; if (PROD.some((re) => re.test(cmd))) { console.error('Blocked: this command would run tests against prod.'); process.exit(2); // код 2: Claude Code скасовує виклик і показує причину агенту }А бар’єр, який не обійти прямим запуском, має стояти в конфігу:// playwright.config.ts if (process.env.ENV === 'prod' && process.env.ALLOW_PROD !== '1') { throw new Error('Tests on prod are disabled'); }2. 61, 171 і 158 це рядки зtest(, додані в диффах, а не чистий приріст тестів. Будь-яка правка такого рядка (перейменування, новий тег, перенос в інший файл) рахується як доданий рядок. Якщо відняти видалені (у травні 31, у серпні 87), чистий приріст за ці три місяці близько 275. За регресом: наприкінці квітня було 50 UI-тестів, наприкінці липня 276, наприкінці серпня 351. «Близько 300» це стан на пів року роботи, на середину жовтня їх 435. Методику варто було прописати в статті явно, тут зауваження справедливе:)Ну, вже можна складати іспити від Антропіка)
загалом тут на схемі окрім агента та людини не показані скриптові, кодові перевірки, які є детерміністичними. і тоді вже складеться вся картинка як книжка пише)
Дякую за коментар!) Здається, ви дивилися тільки на картинку 🙂
Детерміністичні перевірки в статті є: лінтер, pre-commit, мутаційна перевірка, хуки, агент-рецензент. Власне, половина статті про те, чому без них агенту не можна довіряти, тож читайте уважніше.
А іспити хай складає той, кому потрібен сертифікат. Мені вистачає зелених тестів, які справді падають, коли мають падати)
Ам...я прочитав уважно, дякую. Тому мій комент і стосувався лише схеми) В статті то описано, так. Просто складалось враження, що текст мав розкривати схему, щоб воно не було відірвано. Але суть зрозуміла
А что туда можно поставить кроме человека?
Дякую за питання!)
Людина в мене теж лишається, і мерж роблю тільки я) Але тест доходить до мене вже після кількох фільтрів, і вони ловлять більшість того, що раніше ловив я сам. Саме про це мається на увазі та про це я говорю у розділі Харнес: що стоїть між агентом і main