ISTQB Expert Level: чому це не про сертифікат, а про мислення QA-лідера

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Якщо ви хоча б раз ловили себе на думці: «ISTQB Expert Level — це занадто складно і точно не для мене», — ви не одні. Я теж так думала. Причому довго.

І справа була не в складності матеріалу. Я вже працювала з процесами, робила аудити, впроваджувала зміни. Але кожного разу, коли доходило до Expert Level, в голові з’являвся один і той самий стоп-сигнал: есе, суб’єктивність, «це тільки для обраних».

Це той момент, коли ти вже достатньо досвідчений, щоб розуміти цінність, але ще достатньо обережний, щоб не ризикувати. І чесно — я відкладала це роками. Поки одного дня не побачила, що правила гри змінились.

Я — Рамелла Басенко, QA Lead, офіційна амбасадорка iSQI в Україні та власниця численних сертифікатів ISTQB, в числі яких і Full Expert Level Improving the Test Process, а також членкиня національної борди USQB. І цей шлях — не про «здала і забула». Це історія про зміну мислення.

Новий формат: момент, коли стало «можна»

Раніше Expert Level виглядав як марафон із двома частинами: multiple choice + есе. І саме есе було тим самим бар’єром, через який більшість навіть не стартували.

Я пам’ятаю, як дивилась на це і думала: «Навіть якщо я знаю відповідь — чи зможу я довести це так, як хоче екзаменатор?» Це не про знання. Це про вгадування очікувань.

Варто зазначити, що під час пандемії COVID-19 формат іспиту зазнав суттєвих змін. З’явилася можливість здавати іспит кількома частинами у форматі multiple choice у форматі Flex (віддалено з дому) . Це нововведення стосується обох напрямків: як Expert Level Test Process Improvement, так і Test Management. Коли формат змінився і залишився тільки multiple choice — стало не легше, але стало чесніше. Ти або розумієш — або ні. Момент суб’єктивізму зник і нова можливість здавати найскладніший і найдорожчий іспит з портфоліо ISTQB з дому виглядала досить привабливо. До того ж простіше і швидше було б підготуватися тільки до однієї частини, а не тримати в голові весь матеріал адже він достатньо складний.

І саме тоді я вирішила: час.

**NOTE Доречі, згідно з інформацією на сайті ISTQB змога здавати за старою схемою є, то ж есе не зникло зовсім, просто іспит отримав іншу опцію для здачі

Підготовка: коли теорія раптом стає про тебе

Перші розділи здаються сухими: моделі, підходи, метрики але разом з тим достатньо нового матеріалу і навіть з точки зору покращення своєї технічної англійської читання книги для підготовки очевидно йде на користь. І ось читаєш, намагаєшся запам’ятати, виконуєш практичні приклади тестів і здається , що нічого не допомагає і іспит все одно страшно складний, а вірогідність здачі виглядає дуже низькою...

А потім ловиш себе на думці: «Так це ж мій проєкт» або «Десь таке у мене уже було»

— TMMi і TPI Next — це не про «десь там», це про те, чому процеси у твоїй команді буксують;
— causal analysis — це про ті самі баги, які «ніби випадково» повторюються;
— метрики — це про те, чому цифри є, а рішень немає.

І десь між рядками приходить головне усвідомлення: ти перестаєш дивитися на тестування як на набір задач. Ти починаєш бачити систему.

А що там по темам і чому новому можна навчитися , поки готуєшся

Напрямок ISTQB^® Improving the Test Process на сьогодні не є монолітним — він логічно розділений на два модулі, кожен з яких фокусується на різних аспектах трансформації:

Assessing Test Processes (CTEL-ITP-ATP) — зосереджений на методах оцінки поточного стану, аудиті та ідентифікації розривів між реальністю та кращими практиками.
Implementing Test Process Improvement (CTEL-ITP-ITPI) — фокусується на впровадженні змін, управлінні опором, створенні стратегії покращень та вимірюванні їхньої ефективності.

Згідно з бізнес-результатами QA, експерт, що пройшов цей шлях, набуває конкретних навичок, які перетворюють теорію на реальну цінність для бізнесу. Ось що ви зможете робити:

Очолювати програми покращення тест-процесів на рівні організації, ідентифікувати та керувати критичними факторами успіху.
Приймати обґрунтовані бізнес-рішення щодо вибору підходу до покращення процесів.
Оцінювати поточний статус, пропонувати покрокові покращення та демонструвати їхній зв’язок із досягненням бізнес-цілей.
Створювати та впроваджувати стратегічну політику покращення тестування.
Аналізувати специфічні проблеми процесу та пропонувати ефективні рішення.
Розробляти плани покращень, що відповідають цілям бізнесу.
Створювати організаційні концепції (ролі, навички, структура) для підтримки змін.
Встановлювати стандартні процеси впровадження змін в організації.
Керувати впровадженням змін та співпрацювати зі спонсорами покращень.
Розуміти та ефективно вирішувати людські фактори («human issues»), пов’язані з оцінкою та змінами (перша стаття, на яку мене надихнула підготовка до даного іспиту тут).

Аналізуючи інформацію в процесі підготовки, я зрозуміла цікаву річ: багато тем були мені знайомі лише поверхово, а деякі взагалі стали відкриттям. Ретроспективно я намагалася приміряти кожен новий матеріал до свого значного попереднього досвіду, шукаючи відповіді на питання, які роками залишалися відкритими. Це було схоже на складання пазла, де теоретичні моделі нарешті ставали на місця реальних робочих ситуацій. Також дуже хотілося поділитися відкриттями з колегами, і на тему моделі Сатір, окрім пізніше написаної статті, відбувся мій виступ на конференції QADay, який викликав у публіки достатньо багато запитань і послугував прекрасним приводом для подальшої дискусії.

Наскільки це складно — чесна відповідь

Складно. І це нормально. Обсяг матеріалу великий. Моделі — абстрактні. Питання — не про «згадай», а про «подумай».

І так — багато хто не здає з першого разу . Я теж. Тут не буду романтизувати — одну з частин іспиту мені вдалося скласти тільки з третьої спроби.

І це був момент, коли найпростіше було сказати: «не моє». Але саме тут приходить головна трансформація: ти починаєш вчитись не щоб здати, а щоб зрозуміти. Звісно це ще й не мій шлях, бо я після невдалої спроби не звикла здаватися і якщо є можливість зробити другу, третю, ще якусь по рахунку спробу — я обов’язково скористаюсь такою можливістю.

Іспит: коли правильна відповідь — не очевидна

На іспиті немає «простих» питань. Є ситуації. Як я розповідала на своєму вебінарі, питання не всі були сформульовані просто і коротко, частіше треба було прочитати текст описаний в об’ємі сторінки А4 перед тим, як побачимо саме питання і варіанти відповіді на нього. Важко тримати контекст, доводилося перечитувати по кілька разів, щоб сконцентруватися. Але це специфіка даного

Розберемо приклад запитання з ось таких найскладніших, питання для підготовки офіційно доступні для скачування і використання на сайті ISTQB.

Приклад питання рівня K3 (на практичне застосування навичок):

Розглянемо один приклад, типовий для іспитів Expert Level, який вимагає застосування отриманих практичних навичок (K3):

Ситуація: Під час випробувань нового літака сталася надзвичайна ситуація в польоті (in-flight emergency). Була підготовлена стандартна діаграма причинно-наслідкових зв’язків для розслідування таких інцидентів. Аспекти, що стосуються тестування програмного забезпечення, відображені на діаграмі. Початкове розслідування надало наступну інформацію:

Тестові дані оновлено відповідно до конкретних льотних характеристик літака.
Для випробувань використовується виробнича копія апаратного та програмного забезпечення.
Компанія щойно пройшла аудит, який підтвердив відповідність стандартам та повне покриття вимог тестовими випадками.
Результати тестування реєструються інструментом, сертифікованим як такий, що надає точні дані.
Критерії проходження/непроходження (pass/fail criteria), використані в тест-кейсах, базуються на попередніх льотних випробуваннях аналогічних літаків.
Усі тести пройшли (All tests passed).

Питання: На основі цієї інформації, Вас попросили вибрати наступний крок розслідування, ґрунтуючись на початковій оцінці найбільш імовірної причини інциденту. Що з перерахованого нижче Ви оберете?

a) Дослідити точність тестових даних.
b) Дослідити, чи проходять тести, які мали б провалитися.
c) Дослідити процедури, використані для аудитів.
d) Дослідити процедури управління конфігурацією, використані для тестового середовища.

Правильна відповідь: b) Дослідити, чи проходять тести, які мали б провалитися.

Обґрунтування: Ключовим моментом є протиріччя: сталася серйозна надзвичайна ситуація, але при цьому всі тести пройшли. Це свідчить про те, що поточні критерії проходження/непроходження (pass/fail criteria) є неадекватними для нового літака. Якщо критерії базуються лише на аналогічних попередніх моделях, вони можуть не враховувати унікальні або більш суворі вимоги нової моделі. Отже, найімовірнішою причиною є помилково позитивний результат (false positive), і першочерговим завданням QA-лідера є перевірка валідності критеріїв.

Що реально працює (або як підготуватися до іспиту)

Під час вебінарів постійне питання аудиторії — як підготуватися до іспиту самостійно? У випадку іспитів експертного рівня насправді немає інших варіантів, принаймні в Україні. Єдина опція , яку я знайшла через партнерські посилання на сайті ISTQB та ISQI — дводенні тренінги від нідерландського тренінг провайдера вартістю близько 3000 євро разом з іспитом. Для себе я вирішила, що на цю суму я матиму кілька спроб і можливо, я зможу осягнути і вивчити більше, ніж під час дводенного тренінгу, тому почала навчатися самостійно, використовуючи книжку, яку я купила значно раніше.

Що у мене спрацювало при підготовці до даного іспиту (також працювало при підготовці до іспитів рівня Advanced). Розділю підходи на дві категорії.

Не працює:

— тільки прочитати силабус;
— просто читати книгу;
— «пройтись по темах».

Працює:

— learning objectives як карта;
— аналіз власних помилок (про підготовку до перездачі уже проваленого іспиту я маю вебінар, але якщо ця тема комусь цікава, дайте знати, можна висвітлити цей підхід в рамках окремої статті);
— мок-тести;
— повторення через практику.

Ключ не в обсязі. Ключ — у фокусі.

Чи варто йти на Expert Level і чи планую я скласти Expert Level Test Manager

Тож кому варто спробувати скласти ISTQB^® Improving the Test Process? Варто, якщо ви:

— вже приймаєте рішення, а не просто виконуєте;
— працюєте з процесами, а не тільки з тест-кейсами;
— впроваджуєте зміни і бачите опір.

Може бути зарано, якщо:

— ви на старті кар’єри;
— вам цікава лише технічна частина.

Для себе я поки що не обираю другий напрямок рівня Експерт, який стосується тест менеджменту, бо маю інші пріоритети і основну частину досвіду маю якраз менеджерського, але хто знає, можливо пізніше повернуся до цієї теми. Тож підсумовуючи хочу зазначити наступне:

ISTQB Expert Level — це не про сертифікат.

Це момент, коли:

— ви бачите систему, а не хаос;
— шукаєте причину, а не винного;
— працюєте зі змінами, а не боретесь із ними.

І саме тут QA перестає бути «про тестування». QA стає уже про вплив.