×Закрыть

Quality Engineered Software and Testing Conference & Expo

В последние годы в разных странах проводят множество конференций, в частности и по тестированию. Однако про QAI QUEST 2017 действительно хочется рассказать. От других мероприятий, которые я посетил, её отличают две вещи: первая — это высокий уровень организации и докладов, ориентированных на QA специалистов уровня Middle и Senior, а также ряд воркшопов и практических семинаров. На мой взгляд, действительно, эффективный формат.

Тематика конференции охватила основные тренды и подходы: Agile, Leadership, Measurement, Test Design, Open Source, Performance, Test Data, DevOps и т.п. Что меня удивило, помимо Agile, отдельной темой был вынесен и Lean. Также активно обсуждали Automation, который стал традиционным в подобных конференциях. Набирает популярность IoT, в QA среде о ней начали активно говорить еще в прошлом году, и сейчас все чаще встречаются доклады на эту тему.

Более детально я хочу остановиться на двухдневном Manager Solution workshop, который я для себя выбрал. В ходе этого воркшопа были выработаны интересные решения, которые мы начали реализовывать у себя в AMC Bridge, и, полагаю, они могут стать полезными и вам.

Итак, сам воркшоп был организован следующим образом: нас собрали, рассадили, познакомили, и попросили написать с какими проблемами мы сталкиваемся в работе, а также что бы мы хотели обсудить с коллегами из других компаний. Ответы собрали на один лист и проранжировали, выбрав 10 приоритетных тем. Возглавили список Automation и измерение качества, с них и начали.

Нас спросили какими программами мы пользуемся и какой у нас опыт работы. В соответствии с ответами нас сформировали в команды. Всего было человек 50, на протяжении двух дней мы постоянно пересаживались, знакомились, обсуждали эти темы. Когда всплывал вопрос или случай, на который никто не мог ответить, на помощь приходил приглашенный спикер — технический эксперт в данной области — и после проводили общий бреинсторминг.

Такой формат может подойти не каждому. Однако при таком взаимодействии, ты не только слушаешь доклады, но и активно принимаешь участие в решении рассматриваемого случая, узнаешь разные подходы к решению конкретных вопросов, с которыми вы и другие QA Managers сталкиваетесь в работе.

В течении двух дней на Manager Solution workshop рассмотрели практические решения десятков случаев, с которыми приехали компании-участники. Measurement был одной из тем обсуждения, в ходе которой составили список критериев, которыми пользуются QA Managers в разных компаниях. Было интересно узнать, что они используют практически одинаковые параметры.

Общий список получился обширным, и многие параметры отличались только тем, какой термин используется в компании. Если рассматривать параметры с их смысловой нагрузкой, то список можно сократить.

Ниже приведены лишь некоторые из основных критериев для сбора статистики, которая помогает менеджерам анализировать все, что происходит на проекте помимо работы QA.

По категориям:

AUTOMATION

  • % of applications automated and % of automated vs. manual;
  • Ratio of Pass/Fail.

TIME/EFFORT

  • QA effort;
  • Time to execute;
  • Test time and development time;
  • Actual test time vs. estimate (tied to user stories — $ to $);
  • Time spent on project/ no project;
  • Downtime.

DEFECTS

  • Number of defects;
  • Defects by: business process, project, team and cycles, by phase, Roote Cause; by age, severity, priority;
  • Defect Trend Analysis;
  • Issues found post release;
  • Cost per defects;
  • Bugs-slippage(AKA incident reports);
  • SIT Defects;
  • Rate of arrival;
  • Defect density (high, low);
  • Defect ratio;
  • Reopen rate;
  • Type of defect;
  • Defect source.

TESTING

  • Testing results & metrics;
  • Number of test cases created and executed:
  • — Pass— Fail
  • Test coverage:
  • — New feature/ application — Entire application (regression)
  • % of tests completed;
  • Fruits of the labor (size # of features, test cases);
  • Test coverage-making sure work is complete and there’s traceability.

И общие параметры:

COMMON THEMES

  • Think about the purposefulness (What’s the why behind the what);
  • Trends analysis (identify higher risks)
  • Measure occurrence of bugs.

На рисунке изображен условный график для команд, работающих по гибким методологиям. Если в двух словах, то основной смысл заключается в следующем:
1.Чем раньше найден баг, тем дешевле его стоимость
2.Период времени, когда количество багов максимальное, должно сокращаться с каждым спринтом и релизом.

По возвращению к своей работе после посещения конференции, мне сразу же захотелось провести в таком формате team building с QAEs, работающими в разных командах и разных проектах. Уже после первой встречи было видно на сколько полезной была встреча для всех участвовавших, не зависимо от seniority. Все остались довольны, и теперь такие встречи с QAEs проходят в компании AMC Bridge на регулярной основе.

Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Подписаться на комментарии