«Автовідновлювальні тести — це red flag у розробці» 🚩

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Побачив у каналі automation-remarks.com статтю від добре відомого в спільноті Cypress інженера Глеба Бахмутова. У своєму дописі він ділиться досить жорсткою позицією щодо автовідновлювальних тестів і прямо називає їх червоним прапорцем у розробці.

Суть його позиції проста. Автoвідновлення маскує реальні зміни в поведінці застосунку. Якщо тест полагодився сам, це не означає, що продукт працює правильно. Це означає, що ми перестали помічати проблеми. Він звертає увагу, що Cypress як компанія активно рухається в бік AI-prompt тестів і автoвідновлення (через cy.prompt), але водночас це створює ілюзію стабільності там, де її може не бути.

Ключова претензія у відсутності людської перевірки. Зелені тести майже ніхто не читає. CI-логи дивляться лише коли все впало. Якщо ШІ переприв’язався до іншої кнопки, поля чи селектора, то це майже гарантовано ніхто не перевірить, чи це справді той самий user-flow. Тест перетворюється на чорну скриньку, яка просто каже вам «ок», а ви йдете далі.

Загальний меседж автора такий:

• Не оновлювати очікування при зміні фронтенд-коду — це червоний прапорець.
• Не переглядати зміни в тестах — це червоний прапорець.
• Не запускати end-to-end тести локально при оновленні коду — це червоний прапорець.
• Не мати явних, чітких тестів — це червоний прапорець.

Автовідновлення тут не лікує процес, а лише приховує симптоми.

«Автовідновлення тестів — це як лікар, який радить пацієнтам лікуватися самостійно за допомогою ChatGPT», — каже Глеб.

Що думаєте з приводу його думки? Погоджуєтеся чи ні?