ChatGPT та Manual QA — розбір можливостей, що допомагають у повсякденних задачах

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Привіт, мене звати Артур і я працюю на позиції QA у компанії Playtech, а у вільний час також викладаю тестування та маю більше ніж 500 студентів-випускників. Стаття бере своє коріння з кейсів, коли ми зі студентами розглядали виконані домашні завдання та поставало досить логічне з точки зори людської ліні питання: «Чи зможе чат зробити за мене домашнє завдання?». Спойлер — так, але є нюанси 🙂

На цьому фоні поставимо декілька питань про можливості AI-алгоритму:

• Чи впорається чат з низкою робочих задач Manual QA?
• Написати чекліст із гарно побудованими сценаріями?
• Як щодо аналізу вимог і трансформації у тестові сценарії для подальшого тестування?
• Поради щодо оцінки та врахування ризиків у знайдених дефектах?
• Покращення процесів QA? Чи під силу такі задачі чату?

Стаття буде корисною саме мануальним тестувальникам, які бажають винести частину інформації на обробку ChatGPT або покращити свої навички та підходи до виконання операційних задач.

Зауважу, що матеріал не покриває такі окремі області, як API, автоматизація чи SQL-ін’єкції, але може бути корисним тим, хто до цього використовував чат періодично та без системної прив’язки до потреб проєкту. Сподіваюсь, що на розглянутих прикладах ви зможете провести паралелі з своїми робочими задачами та розширити область використання АІ-помічника для себе.

Що можна віддати ChatGPT з роботи тестувальника

Виділимо основні напрямки роботи будь-якого тестувальника на середньостатистичному проєкті. Зони відповідальності можна умовно поділити на такі пункти:

• Безпосередньо проведення тестування.
• Написання тестової документації та її оновлення.
• Звітність про проведене тестування.
• Покращення процесів QA.

Нагадую, що тестування API, написання запитів до бази даних або код сніпетів для автоматизації як частина задач не потрапила у цей огляд, тому що можливості ChatGPT в цьому напрямі об’ємні і заслуговують ще на одну окрему статтю.

Також поза зоною уваги залишаються наступні супутні процеси:

• Мітинги та комунікація.
• Планування та оцінка часу виконання задач.
• Ретроспектива.

На початку нашого огляду згадаймо часи, коли в універсальному наборі тестувальника Web-проєкту були і досі є корисні розширення для браузеру для полегшення різних видів тестування на зразок Font Ninja, BugMagnet, CheckMyLinks тощо. Такі помічники можна вважати першим етапом винесення рутинних задач назовні.

З появою ChatGPT стало зрозуміло, що його можливості варто використовувати і робити це можна з користю, звільняючи більше часу на задачі, які потребують саме людської сконцентрованої уваги.

Пройдімося по розділах, які ми виділили як основні серед задач Manual QA і опишемо потенційні результати, які вдалося отримати після спілкування з чатом.

Безпосередньо проведення тестування

На початку такої активності тестувальнику варто ознайомитись зі специфікацією або use-кейсами для визначення значень та критеріїв, які повинні бути виконані. Тому за основу візьмемо відкритий приклад вимог, що містить опис поведінки системи при роботі із формою реєстрації.

Розділ «Register User» містить всі необхідні деталі. Починаючи спілкування з ChatGPT, ми сформували запит на визначення тестових значень та умов. Після того, як поділилися шматком документації — тестові сценарії було сформовано. Історію чату повність можна перечитати за посиланням.

Тепер пройдемось по зауваженнях: ChatGPT пропустив тестування рівнів доступу, але після підказки видав своє бачення того, як можливо покрити тестами цю умову. Також після подібного спілкування можемо зробити висновок, що на результативність можуть суттєво вплинути наступні чинники:

• Чи описані повністю умови та важливі деталі?
• Чи не були присутні граматичні/ орфографічні помилки під час запиту?
• Чи надавались додаткові деталі у повному обсязі, якщо ChatGPT ставив питання від себе?

Загалом оцінити результативність можемо на 8 з 10 балів, тому що частина так званих «edge» кейсів залишається поза зоною уваги ChatGPT і з цим все одно доведеться працювати самостійно, але як непоганий обробник великих масивів вимог він вже себе зарекомендував.

Тому додатково приділити час аналізу результатів на врахуванню недоліків все ж доведеться.

Переходимо до тестової документації

Якщо на вашому проєкті організовано сценарний підхід до тестування, то в наступних абзацах ми розглянемо, чи добре ChatGPT впорається із написанням чеклістів і тест-кейсів.

Тренуватися будемо на прикладі сайту, що надає прогнози погоди.

ChatGPT після уточнень видав чималий чекліст, що дозволить зробити досить повноцінну перевірку дієздатності сайту. Тим більше, що ми можемо довше часу приділити безпосередньо виконанню тестів, адже аналітична робота вже проведена.

Історію чату можна подивитись тут.

Як кінцевий результат маємо гарно сформований чекліст для тестування. Ось його частина:

Декілька зауважень: ChatGPT продублював той самий набір сценаріїв, коли було сформовано запит саме на функціональні тести. Після точнішого запиту щодо саме тестових значень він надає конкретні міста та умови, щоправда, трактує Kyiv та Kiev як similar names.

І наостанок. Якщо ми попросимо чат написати деталізований тест-кейс, то з такою задачею він дуже добре впорається, а це означає, що у перспективі ви можете знизити загальний рівень монотонної праці та «paperwork». Як наслідок — сконцентруватися на чомусь важливішому. Приклад створеного тест кейсу наведений нижче:

Деталізація повноцінна і всеохоплююча, тому такий результат можна сміливо забирати до тестової документації з мінімальним редагуванням.

Звітність про проведене тестування

Після проведення тестування варто проаналізувати та узагальнити результати, щоб легше було звітувати менеджменту чи зовнішнім командам, які очікують результатів. Також деякі компанії мають практику звітування за узгодженою формою і на постійній основі.

Погляньмо на те, як ChatGPT допоможе нам з цим. Наш запит виглядає наступним чином:

«Hello. I was testing a website and found 26 defects in total. How can I evaluate them and maybe categorize to report about the results?»

Дотримуючись настанов, будь-якому тестувальнику буде легше обробити результати, а також звітувати у майбутньому буде легшою задачею.

Корисні зауваження: звісно, чат не зможе врахувати специфіки дефектів, які освітлюються у звіті чи консолідованій таблиці. Але будь-яка людина, яка працює на проєкті тривалий час, здатна взяти до уваги контекст та проблематику для точнішого опису.

Додатково попросимо чат сгенерувати нам шаблон звіту про проведене тестування (Test Summary Report).

Як результат маємо досить змістовний шаблон, що розкладений на розділи, які ми вже за потреби можемо підбирати під специфіку звітування та проєкту загалом.

На цей раз чат нам навіть додатково повідомляє, що наданий шаблон — орієнтовний, і ми можемо змінювати кількість розділів.

Не менш важливою є порада щодо повноти деталей, підкріплення звіту доказами та рекомендаціями. Лінк на листування із чатом тут.

Покращення процесів QA

Уявімо, що вся операційна робота зроблена і знайшлася хвилинка, щоб подумати над тим, чи дійсно ми як Quality Assurance намагаємось думати превентивно та не допускати появи дефектів у майбутньому.

Для цього варто оцінити ризики та їх вплив на кількість і серйозність дефектів, що вже знайдені.

Тема ризиків — окреме велике питання, але якщо ставити цільові питання чату, ви отримаєте відповіді про методики розрахунків потенційного впливу ризиків та їх оцінки, щоб ближче познайомити з ними менеджмент або сторону замовника.

Такі дії підвищують пізнаваність тестування як процесу та роблять його прозорішим для тих, хто детально хоче зазирнути у роботу команди.

Висновок

Підсумуємо. Ми розглянули можливості ChatGPT у полі повсякденного життя мануального тестувальника та можемо точно сказати: використовувати такий інструмент як допоміжний варто, але завжди враховуючи контекст застосування.

Сподіваюсь моя стаття стане у пригоді тим, хто хоче зосередитись на серйозніших задачах, а легші віддати чат-помічнику.

Але варто зазначити «для протоколу», що деякі великі компанії та корпорації на юридичному рівні вже заборонили користуватись чатом для виконання робочих задач, тому, звісно, врахувати політику компанії також необхідно.