Як ефективно використовувати AI у тестуванні та де цьому навчитись

Усі статті, обговорення, новини про тестування — в одному місці. Підписуйтеся на DOU | QA!

Мене звати Галина Захарова, і я працюю Middle QA Engineer в ІТ-компанії Customertimes. Ви вже могли читати мої статті на DOU про те, як я шукала роботу в ІТ, як пройшов мій перший рік в ІТ, як мануальному тестувальнику уникнути рутинності та зберегти ефективність в роботі, а також про техніки тест-дизайну для «чайників».

У цій статті поговоримо про АІ не тільки у розробці, а й в тестуванні. А саме:

— На які нейронні мережі варто звернути увагу.

— Як розвивається ринок ІТ через штучний інтелект.

— Де навчитись використовувати його на свою користь.

Практики використання AI у тестуванні

Автоматизація тестів. ШІ використовується для автоматизації рутинних завдань тестування, таких як генерування тест-кейсів, виконання тестів, аналіз результатів. Це звільняє час для складніших завдань.

Аналіз тестових даних. AI може аналізувати великі обсяги тестових даних для виявлення закономірностей, аномалій та потенційних проблем. Це допомагає передбачати помилки та покращити загальну якість програмного забезпечення.

Віртуальні помічники для тестування. AI-помічники можуть надавати інформацію та підтримку в режимі реального часу, допомагаючи швидше та ефективніше виконувати свою роботу.

Я була на конференції Salesforce, де презентували такого помічника. Він здатен, зокрема, робити таку роботу: підтягнути необхідні документи, надати вижимку інформації, створити документ на підписання, нагадати про зустріч тощо. Все залежить від того, як його налаштувати.

Фото з конференції Salesforce

Інтелектуальне генерування тестів. AI-алгоритми можуть генерувати тести на основі розуміння коду, історії помилок та інших даних. Це допомагає охопити ширший спектр сценаріїв тестування. Я використовувала AI для написання тестів у Postman. Просила розібрати за частинами те чи інше значення. Адже тоді я тільки вчилась і логіка не була зрозуміла до кінця.

Можна також просити AI написати, які тестові сценарії можливі. Відібрати найбільш відповідні й за ними вже самостійно розписати деталі. Це економить час.

На скриншотах можна побачити деякі з моїх запитів. ChatGPT надає настільки розгорнуті відповіді, що все на них не влізло :)

Тестування локалізації. AI може допомогти з автоматизацією тестування локалізованого програмного забезпечення, щоб переконатися, що його правильно перекладено та адаптовано для різних культур.

Створення документації. Автоматичне створення документації з програмного забезпечення — ще одна перевага AI, що заощаджує час та ресурси розробників і тестувальників. Важливо пам’ятати: що більше вхідної інформації ви дасте, то кращий результат отримаєте.

На початку використання AI я давала не надто точні вказівки. Відповідно, результат був не дуже. Але зараз пишу максимально детальну інструкцію та отримую саме те, що мені потрібно, з невеликими правками (ще не досягла рівня, коли ми тотально на одній хвилі :).

Тестування доступності. AI допомагає з автоматизацією тестування програмного забезпечення на предмет доступності, щоб переконатися, що люди з обмеженими можливостями можуть ним користуватися.

Це не всі приклади, але їх достатньо, щоб зрозуміти, як AI може полегшити життя тестувальникам вже зараз. Але він дуже стрімко розвивається, тому функцій, які можна буде частково делегувати, ставатиме все більше.

Які нейронки можна використовувати

Це все — безплатні мовні моделі, які допоможуть вам у роботі.

Mistral

— Спеціально розроблена для тестування програмного забезпечення.

— Автоматично генерує тести, виконує їх та аналізує результати.

— Може використовуватися для різних типів тестування, включно з регресійним тестуванням, тестуванням на проникнення та тестуванням продуктивності.

ChatGPT

— Легка у використанні, має зрозумілий інтерфейс.

— Здатна перекладати мови, писати різні види творчого контенту та відповідати на запитання.

— Може генерувати багато варіантів тексту на одну тему.

— Використовується для чат-ботів, створення контенту, досліджень та освіти.

Gemini

— Генерує текст, перекладає мови, створює творчий контент та відповідає на запитання.

— Підходить для автоматизації завдань: аналізу тексту чи його узагальнення.

— Швидша та точніша за ChatGPT.

Claude 3

— Також перекладає мови, генерує текст та різні види творчого контенту, відповідає на запитання.

— Може генерувати вірші, код, сценарії, музичні твори, електронні листи тощо.

— Може змістовно відповідати на питання, навіть якщо вони відверті, складні або дивні.

Тестуємо однакове завдання на чотирьох AI

Порівняймо нейронки на простому прикладі — написання тест-кейсу. Я дам однакове завдання Claude 3, Gemini, ChatGPT та Mistral.

Задача виглядає так:
«Привіт. Мені потрібно написати тест-кейс по наступному функціоналу:
— реєстрація на сайті Розетка.
— Вхід на сайт Розетка.
Сайт: rozetka.com.ua/ua»

Gemini:

ChatGPT:

Claud3:

Mistral:

Подивимось, яка нейронна мережа продемонструвала кращий результат.

Gemini.Впоралася добре, запропонувала не тільки задані тест-кейси, але й тест-кейси з негативним сценарієм. Всього вийшло чотири тест-кейси. Також надала ідеї для додаткових перевірок, список інструментів для тестування, нагадала про звіт тестування. Браво!

ChatGPT. Впоралася добре. Як і Gemini, надала чотири варіанти тест-кейсів — два позитивних та два негативних сценарії.

Claud3. Мені не сподобалось, що ця нейронка писала в тест-кейсах «Ті самі кроки, що й в попередньому тест-кейсі». Тест-кейси так не пишуться. Тобто ми маємо ще самостійно додати кроки, щоб тест-кейс виглядав коректно. А це вже додатковий час, не вийде просто скопіювати та вставити.

Mistral. Впоралась добре, але не вийшла за рамки заданої задачі, не запропонувала інші варіанти. Потрібна була підказка, що мають бути два різні тест-кейси. А ця нейронка зліпила реєстрацію та вхід в один великий тест-кейс, не дотрималась структури тест-кейсу з самого початку (назва, передумова, кроки, очікуваний результат).

Не дивлячись на те, що Mistral позиціонується як нейронка для ІТ, її конкуренти ChatGPT та Gemini не відстають. Якщо дивитися за повнотою відповіді, рейтинг буде наступний:

1. Gemini
2. ChatGPT
3. Mistral
4. Claud3

Згодні з цим? Напишіть у коментарях :)

Куди йде AI та чого очікувати у майбутньому

Обсяг світового ринку тестування з використанням AI у 2022 році оцінювався в 414,7 мільйона доларів США. Очікується, що сукупний річний темп зростання складе 18,4% з 2023 по 2030 рік.

Великі гравці пропонують рішення для тестування з використанням AI. Наприклад, Deep Test від Google — інструмент тестування на базі AI, який використовує машинне навчання (ML) для створення тестових прикладів та їх автоматичного виконання у вебзастосунках. Він спрямований на покращення покриття тестами та зменшення зусиль, необхідних для створення тестових прикладів.

Малі та середні підприємства часто використовують послуги тестування AI для оцінки ефективності програм. Для них послуги AI з тестування мають безліч переваг: нижчі витрати, більша ефективність та покращення користувальницького досвіду.

Використання рішень для автоматизації на основі штучного інтелекту допомагає їхній бізнесовій діяльності на всіх етапах її реалізації, що дає змогу не починати щоразу з нуля.

Очікується, що зростання ринку тестування з використанням AI буде стимулюватися низкою факторів, включно зі зростальною потребою в автоматизації тестування програмного забезпечення та збільшенням інвестицій у розробку інструментів тестування на основі AI.

Погляньмо на аналітику використання AI. Це узагальнена картина й хибно думати, що в Україні цього ще немає — штучний інтелект набирає оберти і вже є у нас. Через те, що багато ІТ-компаній працюють із закордонними партнерами, нам варто поспішити опанувати AI у своїй роботі, щоб не випасти з ринку.

Що робити з AI тестувальникам

AI допомагає стати більш потрібним. Попит на тестувальників, які володіють навичками роботи з AI, зростає. Я вже проходжу курси з вивчення роботи штучного інтелекту, щоб виконувати свою роботу ефективніше та швидше.

AI допомагає вчитись. Зазвичай ми все гуглимо, але вести бесіду з AI простіше. Він одразу дає потрібну інформацію (ну ок, може не одразу, але якщо правильно ставити питання — з першого разу). Це значно економить час, повірте мені.

Ви могли бачити, як я використовувала AI для задач у Postman — впорався на відмінно. Також я використовую штучний інтелект, коли не хочу досліджувати декілька ресурсів для повноти інформації. Наприклад, коли я готувалась до грейдування на роботі, треба було повторити багато теорії та деяку практику, а щось довчити. Щоб зекономити час, я написала AI план навчання і попросила надати розгорнуті відповіді щодо кожної теми.

AI допомагає менторити ефективніше. А саме — навчати та наставляти нових тестувальників. Можна попросити нейронку скласти програму навчання, підібрати ресурси, розрахувати кількість часу, яка знадобиться для вивчення всього і так далі.

У підсумку хочу сказати — варто не опускати руки та розуміти, що AI не замінить людину. Бо ніхто не скасовував людський досвід, судження, навички розв’язання проблем.

Тестувальники все ще будуть потрібні, щоб керувати процесами тестування, приймати рішення щодо того, які тести проводити, та аналізувати результати. Проте ми бачимо у статистиці, що попит на інструменти AI зростатиме, тому варто не зволікати та вже зараз вчитись використовувати його у своїй роботі.

А де цьому навчитись? Я підібрала декілька курсів, які вам у цьому допоможуть. Всі вони безплатні та доступні українською й англійською. Я пройшла їх особисто, тож поділюсь розгорнутим фідбеком.

Де навчатись використання AI для своєї роботи

Курс Основи AI від Google. Для новачків у темі та підприємців. Наприкінці кожного модулю є підсумковий тест. Щоб отримати сертифікат, потрібно відповісти на 70% питань правильно та продивитись 90% курсу (прискорити відео неможливо). Уроки без води та дуже інформативні.

Також є воркбук на 53 сторінки А4, в якому зібрана досить детальна вижимка з уроків. Можна робити власні помітки та виконувати завдання для закріплення матеріалу.

Після завершення курсу сертифікат не видається автоматично. Потрібно заповнити форму, де є питання про враження від пройденого матеріалу. Після цього заявку обробляють і мають надіслати сертифікат (я поки чекаю на нього).

Цей курс — мій особистий фаворит, адже в ньому зібрані лекції за різними сферами (ресторанний бізнес, навчання, агрокультура тощо). Автори розказали про машинне навчання, як правильно до нього підходити й чи взагалі потрібно це бізнесу. Лекції ведуть різні спеціалісти, кожен — профі у своїй сфері.

Курс Початок роботи з ChatGPT. Досить обʼємний курс для новачків, багато теорії. Після уроків є практичні завдання, щоб її закріпити:

Майже після кожного уроку є додаткові матеріали на тему:

Наприкінці курсу за результатами проходження тестів видається сертифікат, треба набрати 60 балів.

Курс ChatGPT для підвищення власної ефективності. Для новачків. Містить короткі навчальні відео без зайвої води. Під час перегляду можна робити нотатки:

Після кожного уроку є коротенькі тести для закріплення знань:

Наприкінці курсу на вас чекатиме фінальне тестування з 10 питань, які ви вже проходили у попередніх уроках. Після успішного складання іспиту отримаєте сертифікат:

Корисні матеріали

• Stanford CS224N: NLP with Deep Learning
• Beginner: Introduction to Generative AI Learning Path
• AI Fundamentals
• Introduction to Artificial Intelligence in Software Testing
• ChatGPT for Everyone
• Мій YouTube