Вибір застосунків для тест-менеджменту в 2023 році. Порівнюємо 5 варіантів

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Всім привіт! Мене звати Сергій Ващенко. Я QA Practice Lead у Svitla Systems. За роки роботи мені довелось працювати з багатьма застосунками для тест-менеджменту і, звісно, за цей час в мене з’явились свої фаворити. Однак, я все одно цікавлюсь новинками, які б в перспективі дозволили працювати ефективніше. Сьогодні хочу поділитись з вами своїми останніми знахідками.

Вибір кандидатів

Зараз на ринку десятки різних застосунків для тест-менеджменту. Це як самостійні сервіси, так і застосунки-плагіни для відомих систем з проджект-менеджменту, таких як Jira чи Assembla.

В якості шорт-листу я обрав TestRails, X-Ray, Zephyr Scale, AIO Tests та QADeputy, шукав я їх для мого проєкту. На початку це була вибірка із 10 найпопулярніших тест-менеджмент застосунків.

Більшість з них на ринку давно, тож цілком ймовірно, що ви вже працювали хоча б з двома з них. Однак, у них різна філософія, набір можливостей та ціна. Тому особисто мені було цікаво порівняти їх на одному й тому ж проєкті.

Критерії оцінки та вимоги до застосунку

Перед тим як обрати новий застосунок, я склав перелік загальних критеріїв та додаткових вимог, обумовлених специфікою проєкту та команди. За допомогою цього списку можна буде оцінити та згодом порівняти застосунки.

До загальних вимог я відніс наступні:

1. Зручність використання (UX). Основною задачею застосунку є пришвидшити й оптимізувати роботу з тестами, тест-сетами й тест-ранами. Я очікую, що за мінімальну кількість кроків (кліків) можна буде зробити рутинні задачі й не витрачати час на пошук та читання документації й форумів, щоб щось налаштувати чи запустити.
2. Організація тестових даних. Якщо ви, як і я, звикли групувати тести у папках та підпапках, то відсутність такої можливості може створити додаткові незручності. Як виявилось, далеко не всі застосунки пропонують таку можливість.
3. Моніторинг процесів. Зручна дошка зі статистикою для відстежування поточного стану чи то кількості створених тестів, чи тестових прогонів економить багато часу в процесі роботи.
4. Звіти та тайм трекінг. Статистика та естімейти є необхідними для контролю тестування та коригування подальших дій в процесі розробки. А звіти, які мають корисні дані та ще й візуально мають гарний вигляд, — з моєї практики, виглядають переконливіше в очах замовників та керівників проєкту.
5. Робота з вимогами. Щоб не гадати, що вже покрито тестами, а що ще ні, гарно було б мати можливість відстежувати, які вимоги вже покриті тестами.
6. Швидкодія. Користуючись деякими тест-менеджмент застосунками (здебільшого, безкоштовними) я помічав, що сторінки створення тестів завантажуються по 5-7 секунд. В умовах, коли часу на все й так катма, це дуже дратує).
7. Автоматизація. Завжди треба враховувати інтеграцію з CI/CD. Для автоматизації тестів надалі нам потрібно мати добре описаний API.
8. Документація. Гарно описана документація значно знижує «вхідний поріг» і збільшує ймовірність успішного використання застосунку як такого.
9. Імпорт / Експорт. В умовах невідомості завжди краще перестрахуватись і мати можливість перенести тестову базу з одного застосунку в інший.
10. Ціна. Застосунок має бути відносно недорогим, оскільки часто на етапі стартапу бюджет досить обмежений. Однак, слід памʼятати, що команда може швидко вирости й, відповідно, — звертати увагу на зростання вартості при збільшенні кількості людей.

Додатковими, але не обов’язковими в моєму випадку вимогами є:

11. Jira addon. Можливість працювати з тестами безпосередньо в Jira вважатиметься великим плюсом.

12. BDD формат тестів. Оскільки в планах розглядається BDD формат для автоматизованих тестів, підтримка власне Gherkin синтаксису була б хорошим бонусом.

13. Free trial. З власного досвіду можу сказати, що можливість безкоштовно поклацати застосунок хоча б декілька днів дає змогу зрозуміти значно більше, ніж перегляд сотні відгуків та демонстрацій.

Тест-драйв застосунків

Мій «тест-драйв» включав наступні пункти:

1. Встановлення та налаштування застосунку.
2. Створення тест-сету.
3. Створення тест-cайклів.
4. Прилінковування вимог до тестів.
5. Виконання тестів.
6. Створення звітів.

Кожним я користувався не менше ніж тиждень. Нижче я коротко опишу тільки те, що запам’яталось по кожному з них, не згадуючи речі, які були спільними чи звичними для всіх.

Додатково наголошую, що це лише мій суб’єктивний досвід, тож не сприймайте плюси та мінуси, згадані нижче, як істину в останній інстанції.

TestRail

Домашня сторінка: TestRail

Версія, що тестувалась: 7.5.6

TestRail — це окремий застосунок. Тут немає можливості створювати і зберігати тести безпосередньо в Jira. Однак можна отримати розширені можливості, якщо встановити Jira застосунок з Atlassian Marketplace. Він дозволяє прив’язувати тести до тікетів Jira, а також відстежувати статус тестів безпосередньо у Jira. Також, можна заводити Jira-баги безпосередньо з TestRail.

Від початку реєстрації, створення проєкту, налаштування інтеграції з Jira — і до написання першого тесту я витратив 10 хвилин. Тобто процес встановлення справді простий та швидкий.

Налаштувань в TestRail більш ніж достатньо. Можна додати кастомні шаблони для тест-кейсів, додати логотип компанії для тестових звітів і багато іншого. TestRail API можна використовувати з усіма популярними фреймворками для автоматизації тестування.

Щодо унікальних фіч TestRail, мені запам’ятались UI scripts. По суті, це можливість запускати ваш javascript-код на вказаних вами сторінках. Наприклад, на сторінках з тестами можна підсвічувати Given, When, Then, And для кращої читабельності BDD-тестів або показувати якісь нагадувалки у вигляді попапів чи алертів.

🟢Переваги:

1. Надійний, стабільний і швидкий.
2. Інтуїтивно зрозумілий інтерфейс для тестів, виконання тестів та керування тестуванням в цілому.
3. Простий і зрозумілий спосіб моніторингу статусу тестування.
4. Відстеження часу для кожного тесту, а також для запуска тесту/ плану тестування.
5. Кастомні поля для тестів і шаблонів тестів.
6. Користувацькі змінні для автоматизації тестування.
7. Гарні звіти.
8. Багато можливостей для інтеграції різних інструментів та автоматизації тестування.
9. 50 ГБ безкоштовного хмарного сховища для тестових даних (скріншотів, скриптів, відео, тестових даних тощо).

Примітка: ви можете отримати більше місця в сховищі, але кожні наступні 25 ГБ оплачуватимуться додатково до вашої звичайної підписки.

🔴 Недоліки:

1. Відносно висока вартість ($37 за користувача щомісяця або $34 за користувача щомісяця, якщо ви платите за рік).
2. У версії 7.5.6, яку я тестував, BDD-формат тест-кейсів був недоступний. Після спілкування зі службою підтримки я дізнався, що ця фіча активно розробляється і вже відкрита для користувачів з раннім доступом. Тим часом решта користувачів можуть використовувати формат «free text» для BDD-тестів.

Zephyr Scale

Домашня сторінка: Zephyr Scale — Test Management for Jira

Версія, що тестувалась: 9.10.0 (Jira Cloud version)

Zephyr напевно є одним з найпопулярніших застосунків для тест-менеджменту, оскільки він має як і stand-alone версію, так і нативну Jira-версію, яку можна поставити як застосунок з Atlassian Marketplace. Zephyr пропонує 3 різних версії застосунку: Squad, Scale та Entreprise.

Різниця між версіями могла б бути повноцінною темою для окремої статті. У двох словах: найзбалансованішим рішенням є власне Scale. Squad занадто лімітована версія, яка аж ніяк не може змагатись з рештою конкурентів в цьому тест-драйві. Тоді ж як Enterprise є сенс розглядати, якщо у вас багато проєктів.

Далі мова піде про Jira-app версію Zephyr Scale. Як і для решти Jira-app застосунків, для встановлення та налаштування потрібні будуть права адміністратора. Сам процес встановлення дуже швидкий та відбувається у 2 кроки:

1. Знайти застосунок в Atlassian Marketplace та клацнути на кнопку встановлення.
2. В Jira відкрити Налаштування Проєкту та увімкнути Zephyr.

Ось і все. Це навіть швидше, ніж з TestRail. Зі стандартними налаштуваннями можна сміливо починати писати тести. Все працює, так би мовити, з коробки. Дизайн мінімалістичний та простий. В мінімальну кількість кліків можна створювати, запускати та керувати тестами.

Є одна річ, яка мені таки не сподобалась. Коли працюєш з тест-сетами, якщо в тебе є підпапки, то клацнувши на батьківську папку, відображаються всі тести з усіх підпапок. Самі ж підпапки відсутні.

Це, з однієї сторони, — фіча, а з другої — я не знайшов опції, як зробити так, щоб все ж таки підпапки відображалися поруч з тестами, які є в батьківській папці. Врахуйте це і не зберігайте тести безпосередньо в батьківській папці, якщо плануються підпапки.

Щодо інтеграції з CI/CD та тестовими фреймворками, то тут також підтримуються всі популярні на ринку рішення.

Останнім пунктом розглянемо ціну. Zephyr Scale для Jira Cloud на час написання статті є безкоштовним, якщо на вашому Jira instance зареєстровано до 10 користувачів. Якщо ж у вас 11+ користувачів, тоді ціна становить $4,78 за користувача на місяць. Це значно дешевше за TestRail.

🟢 Переваги:

1. Немає потреби встановлювати додаткові плагіни для інтеграції з Jira; все необхідне працює «з коробки».
2. UX цього застосунку суб’єктивно є одним з найкращих на ринку.
3. Тести в Jira проєкті мають суфікси, наприклад (XXX-T1, XXX-T2), і за замовчуванням відображаються лише у Zephyr-дотичних сторінках.
4. Просте відстежування покриття вимог. Вкладка «Traceability» всередині кожного тесту дозволяє швидко додати посилання на будь-який Jira тікет (наприклад, Epic, User Story, Task або Bug).
5. Є функція відстеження часу для окремих тестів, а також для тестових прогонів.
6. Гарний набір звітів за замовчуванням і можливість створювати власні звіти за допомогою JQL (advanced Jira queries).
7. Безкоштовно для команд до 10 осіб.

🔴 Недоліки:

1. Менше речей можна налаштувати, порівняно з іншими конкурентами.
2. Не всі ключові слова підтримуються для тестів у форматі BDD.
3. Тестові дані займатимуть хмарне сховище Jira. Це може збільшити вартість використання застосунку. Але зазначу, що те саме буде справедливим для всіх інших Jira застосунків.

XRAY for Jira

Домашня сторінка: XRAY — Native Test Management for Jira

Версія, що тестувалась: 6.3.2

XRAY досить часто розглядають як дуже гнучку альтернативу Zephyr. Цей застосунок також встановлюється як Jira app. Однак, тут процес налаштування займає дещо більше часу в порівнянні з Zephyr Scale.

XRAY пропонує створити окремі типи Jira тікетів для тестів, тест-планів, тест-прогонів. Своєю чергою, це дозволяє керувати тестовими задачами так само як і рештою стандартних Jira тікетів.

XRAY має багацько різних опцій та налаштувань. Це дещо збільшує час для освоєння застосунку та початку роботи з ним. Мені знадобилось прочитати багато документації та переглянути декілька демо, щоб налаштувати застосунок. Та зрештою, з XRAY можна налаштувати все під будь-які можливі процеси розробки і тестування.

З того, що мені не сподобалось: кількість кліків для роботи з тестами, тест-сетами та прогонами в середньому більша ніж у решти конкурентів. Окрім того, в мене була проблема з самими тестами. Вони вантажилися дуже повільно. Схоже, це були проблеми з кешуванням, бо все налагодилось, як тільки я перезавантажив роутер.

З жодним іншим застосунком при використанні того ж роутера проблем не було. Сподіваюсь XRAY отримала мій фідбек і проблеми кешування запитів у новіших версіях вже не буде.

Ціна. XRAY коштує $10 на місяць, якщо у вас на Jira instance до 10 користувачів включно, та $4,25 за кожного користувача на місяць, якщо 11+ користувачів.

🟢 Переваги:

1. В XRAY буквально будь-що можна змінити, додати або перемістити.
2. Підтримуються різні типи форматів тестів, включно з data-driven та повноцінною підтримкою BDD-тестів.
3. Розширені можливості для моніторингу покриття вимог (requirements traceability).
4. Окремий редактор документів. Ви можете створити будь-який тип тестового звіту в будь-якому форматі, який вам треба.

🔴 Недоліки:

1. Тест-рани здалися мені незвичними.
2. З коробки немає можливості відстеження (вимірювання) часу виконання тестів. Однак це можна зробити за допомогою стороннього плагіна.
3. Окремі тест-типи Jira-тікетів створюють великий спам в проєкті, швидко збільшуючи загальну кількість тікетів в беклозі. Тож тут або з правами суперадміністратор Jira змінювати Backlog і Board queries, щоб приховати щойно створені типи тестів, або створити окремий проєкт QA/QC і зберігати тести там. Можливість лінкувати тести до задач в іншому проєкті зберігається.

AIO Tests

Домашня сторінка: All-In-One Test Management App for Jira

Версія, що тестувалась: 3.1.6

Це ще один Jira-native застосунок, в якого досить велика кількість встановлень та позитивних відгуків на Atlassian Marketplace. Процес встановлення та налаштування такий же простий, як і Zephyr Scale.

Зі стандартними налаштуваннями можна сміло починати писати тести. Інтерфейс мінімалістичний, але мені він насправді сподобався. Все у ньому лаконічно і логічно.

Щодо підтримки тест-кейс форматів, то їх тут два: класичний (крок- очікуваний результат) та BDD. UX для BDD-тестів — найкращий серед усіх кандидатів, яких я тестував. Тести, як і в Zephyr Scale, створюються з тест-суфіксами. Тобто, за замовчуванням тести не відображаються у беклозі чи на борді, а це означає, що не треба витрачати час на додаткові налаштування.

З того, що можна було б покращити, то це організацію тест-сайклів. Тут можна перезапускати тести в середині тест-сайклу, але не весь тест-сайкл одразу. Як варіант, робити спочатку копію тест-сайклу і на ньому вже новий прогін.

Як на мене, дивно, що треба це робити треба в 2 етапи. Настільки дивно, що в мене досі враження, що я просто не знайшов опцію перезапуску тест-сайклу, а я її шукав досить наполегливо).

З цікавого: AIO Tests не дозволяє додати тест-кейси до тест-сетів чи тест-сайклів, якщо тести попередньо не прорев’ювані і не апрувнуті. Тож, так «ненав’язливо» нас підштовхують робити рев’ю тестів).

Ще однією цікавою, я б навіть сказав, унікальною фічею є можливість робити тест-рани в офлайн-режимі. Це зроблено через експорт тестів у ексель-формат з подальшим імпортом цієї екселіни назад у AIO Tests для внесення результатів прогону.

Окремо хочу згадати документацію. Вона тут справді гарно описана, з великою кількістю прикладів. Мені дуже сподобався розділ з тим, як зробити гарний борд з віджетами від AIO Tests для повноцінного моніторингу тест-процесу.

Ну, і щодо ціни: застосунок є безкоштовним для 10 користувачів включно, однак коштуватиме $350 на рік, якщо у вас команда 11 — 50 чоловік.

🟢 Переваги:

1. Дуже простий та водночас дуже ефективний застосунок.
2. Супер зручний для тестів у BDD-форматі.
3. Безкоштовний для команди з кількістю до 10 користувачів.
4. Дешевший за конкурентів, якщо в Jira зареєстровано від 11 до 50 чоловік ($350 на рік, тобто по $29.17$ в перерахунку на щомісячну оплату).

🔴 Недоліки:

1. Не зрозуміло, як працювати з тест-сайклами.
2. Інтеграція з іншими тулзами порівняно з конкурентами дещо менша. Проте, більшість популярних тулзів все ж таки підтримуються.

QADeputy

Домашня сторінка: QADeputy.

Версія, що тестувалась: невідомо (не зміг знайти інформацію в застосунку).

В тест-менеджмент рейтингах на різних сайтах я декілька разів бачив в рекомендаціях QADeputy. Що ж, я спробував. Але одразу ж скажу, що мій перший досвід був, відверто кажучи, так собі.

QADeputy — це самостійний застосунок, в якого є часткова інтеграція з Jira. Говорячи про те, чому «часткову», то все, що можна робити з Jira, — бачити загальний статус по тест-ранах. Більше ніяких додаткових налаштувань чи можливостей для Jira я не знайшов.

Так виглядає, що компанія ще не закінчила Atlassian security self-assessment програму і тому можливості настільки обмежені. Вже на цьому етапі я зрозумів, що цей застосунок навряд чи зможе конкурувати з рештою застосунків, які я тестував. Та я продовжив тест-драйв. Можливо у QADeputy є якісь унікальні фічі, які змінять мою загальну думку про застосунок.

Чуда не трапилось. UI для мене був досить незручним. Коли я пробував створити новий тест чи тест-сет, постійно стикався з тим, що якісь поля, які в інших застосунках є опційними, тут чомусь були обов’язковими. BDD-формат для тестів тут ще не підтримується, тільки free-text та step-based. Щодо тест-звітів, то з коробки тут всього декілька базових шаблонів.

Ну, і ціна. Застосунок є безкоштовним для 1 користувача та коштуватиме $20 за кожного користувача щомісяця ($18 якщо обрати річну підписку) якщо у вас 2+ людей.

На мою думку, щоб вийти на один рівень з рештою кандидатів QADeputy має пропонувати значно більше ніж те, що я побачив під час тест-драйву. Станом на зараз цей застосунок не відповідає більшості моїх очікувань, тому наразі я не розписуватиму переваги і недоліки для цього застосунку. Можливо, через рік чи два я спробую QADeputy ще раз і все буде інакше).

Підсумки

TestRail, Zephyr Scale, XRAY та AOI Tests є чудовими застосунками для тест-менеджменту. У кожного з них є свої переваги та недоліки, але в цілому вони відповідають критеріям та вимогам, які я склав перед початком тест-драйву.

Всі мають більш ніж достатньо фіч для тест-менеджменту. У них хороша підтримка популярних проджект-менеджмент застосунків та фреймворків для автоматизованого тестування, гарні звіти, імпорт та експорт тест-кейсів...та багато інших прикладних фіч, які допоможуть у роботі.

Якщо ж говорити про мої особисті враження після тест-драйву, то все ж TestRail в 2023 році досі виглядає як безпечний варіант, який можна радити і яким можна користуватись без вагань. Можливо, для когось UI цього застосунку може виглядати вже не таким сучасним, як у решти, але на колір та смак...)

Якщо ви точно знаєте, що ваші тести будуть у BDD-форматі, я б порадив спробувати AIO Tests. Zephyr Scale є також доброю альтернативою. Він робить все те саме, що й TestRail та AIO Tests, але дещо по-іншому.

Із загальних плюсів для всіх Jira застосунків (Zephyr Scale, XRAY, AIO Tests) я б згадав можливість використовувати вбудовані фічі Jira. Тобто тут можна використовувати JQL для репортів, лейбли і .т.д.

Ще однією вагомою перевагою є те, що розробники перед чи в процесі розробки можуть переглядати одразу ж в Jira-тести, які запланували QA-інженери, і таким чином врахувати більше нюансів під час розробки.

Говорячи про XRAY, я б його радив, якщо:

1. у вас якийсь специфічний процес розробки;
2. необхідна повноцінна підтримка BDD-формату для тестів;
3. ви готові приділити трохи більше часу для тонкого налаштування застосунку.

QADeputy застосунок наразі не може скласти конкуренцію решті. Якщо у вас є час і натхнення, раджу спробувати самому, можливо, власне вам він сподобається).

Сподіваюсь, цей короткий огляд допоможе комусь із читачів обрати новий застосунок для тест-менеджменту і...

Хай прибуде з Вами Якість !)