Гильдия QA. Зачем в Wix создали сообщество Quality Engineers и как это работает

💡 Усі статті, обговорення, новини про тестування — в одному місці. Приєднуйтесь до QA спільноти!

Привет, меня зовут Евгения Гловацкая, я QA Guild Master в Wix. Последние 1,5 года занимаюсь QA-менеджментом крупных проектов с 50+ QA-инженерами, выстраиваю стратегии автоматизации и улучшаю процессы качества с фокусом на velocity. Еще я аккредитованный инструктор ICAgile, в свободное от работы время сертифицирую по Agile Testing и делюсь своими мыслями на конференциях.

QA-инженеров в Wix уже более 150 человек. Мы тестируем продукт для 200 миллионов пользователей по всему миру. Наш продакшн меняется каждые 5 минут. И пришло время рассказать о том, как мы это делаем. Читайте дальше, если хотите узнать, что такое QA-гильдия в Wix, чем живет QA-инженер в гильдии, а еще об интересных ролях и плюшках, конечно же :)

Что такое гильдия

Нужно начать с того, как вообще организован Wix. Мы разбиты на «компании» — каждая занимается своим доменом (например, принятием и обработкой платежей), и в каждой есть свои менеджеры, разработчики, QA и так далее. И главное — большая автономия по принятию решений. В Wix больше 30 таких компаний. В каждой из них есть от 1 до 10 QA-инженеров. Так вот все эти QA-инженеры (ровно как мобильные или бэкенд-разработчики) объединены в виртуальные комьюнити, которые мы называем гильдиями.

Зачем нужна гильдия

Простыми словами, гильдия — это центр «синхронизации», нетворкинга и развития QA. Это способ оставаться на связи, обучаться новым подходам у других команд и даже развивать свой self brand. И, конечно, устраивать fun days, но об этом позже.

Каждый QA в Wix — собственник (owner) своей небольшой (или большой) части платформы. И каждая такая часть тесно интегрирована с десятком других. Например, когда специалист тестирует интернет-магазины Wix Stores, он добавляет приложение через редактор сайта Wix Editor. Для того чтобы принимать платежи в магазине, ему нужен Wix Premium пакет. Ну и чтобы пользователи смогли сделать оплату, ему надо подключить платежную систему — Wix Payments, например. И вот это все могут разрабатывать абсолютно разные команды.

Без гильдии мы бы все работали в своих небольших мирках, тестировали бы как умели, друг с другом бы сильно не пересекались. У нас были бы разные стандарты качества, разные подходы, и нам было бы тяжело деливерить общий продукт для пользователей. Чтобы закрыть все эти вопросы, был придуман концепт гильдии.

Wix как продукт растет очень быстро, и мы должны постоянно адаптироваться к новым масштабам и новым челленджам. Наши пользователи создают все больше сайтов, просят все больше фич и, конечно, иногда жалуются, если что-то не работает. Куда ж без этого :)

Чтобы координировать качество в таких условиях, нужен центр координации (он же гильдия), который будет:

• определять стандарты и лучшие практики, в которых quality и velocity в балансе;
• консультировать и адаптировать подходы для разных команд;
• разрабатывать инструменты, которые делают нас эффективнее;
• смотреть на Wix как на цельный продукт;
• держать руку на пульсе продакшена;
• помогать QA-инженерам в гильдии расти;
• находить «велосипеды» в командах и делиться ими со всеми;
• держать всех QA в курсе событий, ценностей и направления движения компании;
• искать новых сильных QA в гильдию;
• онбордить новых QA;
• предоставлять ресурсы, когда нужна помощь с тестированием в компаниях;
• обмениваться информацией с другими гильдиями.

Жизнь и работа в гильдии

Каждый новый QA в Wix автоматически становится частью гильдии. С этого момента каждый может пользоваться всеми ее плюшками, контрибьютить в нее и помогать другим ребятам.

Онбординг

Каждый новый QA-инженер проходит онбординг, за который отвечает гильдия. Туда входит знакомство с подходами, терминологией, инструментарием компании и куча митингов-знакомств с разными командами. Новые ребята поэтапно вовлекаются в проекты, знакомятся с нашей культурой и ценностями.

Welcome-пакет

Обучение и саморазвитие

Каждый QA может официально тратить до 20% времени на саморазвитие и разные гильд-активности, а гильдия, конечно же, организовывает и фасилитирует эти вещи. Это не всегда 20%, мы стараемся быть гибкими. Иногда QA-инженер полностью сфокусирован на приближающемся релизе, а иногда идет на несколько гильд-дней, участвует в общем баг-ханте и пишет статью. Все зависит от приоритетов компаний и общих приоритетов Wix. Если у QA есть запрос на развитие — у него всегда есть QA-лид или People-менеджер из гильдии, который поможет построить комфортный график или даже привлечь дополнительную помощь из гильдии на период обучения.

В гильдии проходит куча обучающих и развлекательных ивентов. Раз в неделю (иногда чаще) мы проводим гильд-дни, на которых делимся новыми подходами, инструментами или идеями. Таким образом QA развивают новые скилы и приносят классные улучшения в команды. А для гильдии это способ «синхронизировать» подходы в командах, чтобы мы могли масштабироваться, онбордить новых ребят и релизить огромные решения вместе.

Помимо всего этого, у каждого QA есть свой People-менеджер из гильдии, который помогает построить план развития, продвинуть какую-то идею, подкинуть новый челлендж, да и просто выслушает то, что накипело.

Ресурсы из гильдии

QA может запросить себе помощь. Например, когда уходит в отпуск или понимает, что разработчиков стало слишком много и рук не хватает. Для этого в гильдии есть отдельные команды QA, о которых мы расскажем дальше. Еще одна опция — запросить баг-хант для нового экспериментального продукта. В них любой QA может поучаствовать добровольно, а гильдия поможет это все организовать. Ну и последнее — можно попросить себе «интегратора», если новое изменение затрагивает 10+ продуктов, об этом тоже расскажем чуть ниже. И точно последнее — можно попросить поддержки в узких экспертных областях, например Performance, Security или SEO. Эксперт поможет ревьювить чек-лист, адаптировать best practices компании для конкретного проекта и ответит на вопросы в своем домене.

Self brand

Помимо этого, у гильдии можно запросить поездку на QA-конференцию как слушатель или как спикер. Это, кстати, интересная история, в Wix есть отдельная команда, которая помогает развивать self brand: учит писать статьи, классно вести Twitter или выступать на публике. Гильдия, в свою очередь, помогает раскрыть идею статьи с технической стороны, проводит dry run выступлений и всячески мотивирует выступать внутри компании или вне. У нас даже такая тенденция образовалась: сначала выступаешь с воркшопом внутри компании, потом на Wix QA-митапе, а затем подаешься на какую-то конференцию — и все, ты паблик-спикер, тебя не остановить :)

Fun

Раз в пару месяцев мы проводим fun day, на котором делаем что-то кайфовое вместе — от катания на вейкборде до шашлыков на речке.

Благодаря этому наше комьюнити теплое и домашнее. Мы всегда можем написать в общий чат абсолютно любой вопрос, сбросить свою новую статью или пригласить на ивент. То есть, например, если человек не знает, как отключить autosave в эдиторе, просто пишет в qa-all и ему всегда помогут.

QA fun days

Структура гильдии

QA in product

Бо́льшая часть нашей гильдии — это QA-инженеры в компаниях. Их основной фокус — релиз качественного продукта для пользователей.

Компании в Wix бывают разного формата: в некоторых есть несколько QA-инженеров, каждый из которых owner своей части продукта, в некоторых есть QA-команда с QA-лидом, а в некоторых командах может вообще не быть dedicated QA.

Формат зависит от размера команды разработки и от специфики продукта. В тех случаях, когда у команды много небольших продуктов, не очень связанных друг с другом, чаще будет несколько QA. Когда же компания разрабатывает что-то комплексное, например Payments by Wix, у нее есть много подкоманд, то возникает необходимость в человеке, который будет объединять все кусочки вместе. Тогда в команде появляется QA Lead.

Главная задача QA-лида, конечно, «быть» для своих людей. Он проводит 1:1 с QA, дает качественный фидбэк, помогает строить план развития и немного является «адвокатом» для своих членов команды.

С технической стороны QA-лид следит за тем, чтобы продукт работал end-to-end, выстраивает процессы и интерфейсы между командами, планирует ресурсы и задачи, коммуницирует с другими командами для интеграции и многое другое.

Мы всегда ищем сильных и проактивных ребят, которые готовы челленджить наш продукт и процессы, не боятся предлагать идеи и умеют эффективно работать в команде. Наши QA всегда прислушиваются к user voice, откуда мы очень быстро получаем фидбэк, и адаптируют тестирование на основе данных. И, конечно, развиваются как эксперты в своих доменах и немного вширь в разработке, UI/UX и других частях.

Еще мнение QA-инженера в Wix играет большую роль для принятия бизнес-решений. QA принимает участие в обсуждении критериев готовности продукта и рисков, стараясь дать максимальную прозрачность продакт-менеджеру для принятия решений. Для нас важно быть гибкими в отношении уровня качества и четко понимать, как адаптировать подход для каждого продукта. Мы часто слышим от других гильдий, что QA saved the day, поэтому у тестировщиков здесь солидная репутация.

Кстати, совсем скоро в отдельной статье мы расскажем о том, как тестируем с технической стороны, какими инструментами пользуемся и какие челленджи встречаем на пути, так что stay tuned.

QA Guild Core

Для того чтобы менеджить такое большое комьюнити, у нас существует команда QA Guild Core. Основной фокус этой команды — помогать гильдии «работать». Звучит абстрактно, согласны, потому сейчас будут подробности.

Внутри Guild Core есть разные виртуальные и физические команды и так называемые individual contributors, которые занимаются разными задачами, важными на текущий момент.

Automation group

В эту группу входят две команды, которые отвечают за стратегии автоматизации, фреймворки (у нас их несколько), обучение и помощь командам. Они особенно тесно работают с dev-гильдиями, поскольку у нас разработчики и QA пишут тесты вместе.

По большей мере эти команды стараются создать инструменты и лучшие практики для покрытия продуктов компании. Но иногда даже предоставляют помощь в тех случаях, когда нужно быстро поднять coverage с колен.

Production

Guild Core команда должна всегда держать руку на пульсе продакшена. Когда у тебя 200+ миллионов пользователей, которые строят свои бизнесы на Wix, малейший даунтайм может сказаться на репутации компании. Поэтому мы ежедневно анализируем, какие инциденты происходят на продакшене, и убеждаемся в том, что в следующий раз мы обнаружим их раньше пользователей.

Boosters

Это виртуальная группа внутри Guild Core, которая может прийти в команду и сделать так, чтобы было классно. Эти ребята заходят по запросу в любую команду, оценивают процессы QA (и не только) со стороны, сравнивая с лучшими практиками гильдии, и предлагают, как их улучшить. Ну и, естественно, могут сопровождать эти изменения.

Еще бустеры могут засетапить процесс QA в совершенно новой команде, которой только недавно дали QA и они еще не знают, как им «пользоваться».

То есть бустер должен быть крутым change-менеджером, не бояться давать честную оценку, ну и мотивировать людей на изменения.

Integrators

Как упоминалось выше, мы все тесно интегрированы друг с другом. И некоторые проекты требуют намного больше, чем тестирование своего продукта. Новые фичи, которые затрагивают больше 10 команд, мы называем Cross Wix проектами. Пример такого проекта — EditorX. Мы делали совершенно новый advanced-редактор для cutting-edge responsive дизайна, который нужно было интегрировать со всеми продуктами компании.

Мы поняли, что это специфический вид активности и довольно масштабный. Очень много команд должны хорошо сработать, и много звезд должны сойтись, чтобы сделать такой большой релиз вовремя. Для того чтобы лидить тестирование на таких проектах, мы создали роль интегратора.

Интегратор четко знает, в какой момент нужно сообщить о потенциальном изменении, как инструктировать релевантных QA о подходе к тестированию, как трекать огромное количество Jira-тикетов и при этом давать ясную картину менеджменту о состоянии тестирования. Ну и как все это автоматизировать, конечно :)

Это менеджмент тестирования на очень большом скейле, он требует больших знаний в процессах тестирования, в разных продуктах Wix и много софт скилов.

Projects teams

Это как раз те самые спасатели, о которых мы говорили выше. Эти команды занимаются именно тестированием продуктов on demand. У projects есть своя специфика тестирования. Им нужно уметь быстро зайти в совершенно новую команду, разобраться в их функционале и протестировать продукт.

QA из этих команд обычно помогают так называемым QA-less командам, которым пока еще не нужен dedicated QA. Ну и их можно позвать, когда рук в компаниях не хватает, а нового QA в эту команду еще просто не успели найти.

Еще одна ответственность projects teams — это наши внутренние проекты и внешние маркетинговые решения.

Experts

Нишевые QA, глубоко разбирающиеся в определенных областях. Например, Performance, Security, GDPR, BI и так далее. Задача экспертов — выстроить стандарт тестирования, обучить команды и мониторить качество проверки. То есть они отвечают на вопрос «Как тестировать a11y в Wix?», к примеру.

Таким образом, QA в компании может посмотреть или почитать обучающий материал по Security, задать вопросы эксперту и использовать это на своем продукте. Даже если раньше он этого никогда в жизни не делал.

Tools

Команда, которая расширяет и кастомизирует QA-инструментарий. Если автоматизация какого-то процесса сделает тестирование более быстрым и эффективным — мы напишем для этого инструмент. Например, у нас есть SiteScanner, который проводит некоторые виды тестирования (a11y) по нажатию одной кнопки. Или Site Builder, инструмент, который позволяет за 10 секунд создать себе сайт, подключить премиум и домен. Мы делаем подобные операции часто, и через продакшн они занимают от 5 минут, так что тут экономия времени на лицо.

В принципе каждый QA в компании может запросить какой-то инструмент и немного побыть продакт-менеджером в процессе его разработки.

Site Leaders

Духовные наставники QA в каждой локации. Шутка, но не совсем. Эти люди отвечают за хайринг новых ребят, онбординг, ивенты и «объединение QA» в одной локации. Помимо этого, сайт-лидеры проводят 1:1 и выступают People-менеджерами для ребят в этой локации. Мы уже упоминали выше, что такой человек помогает с планом развития QA, поддерживает, может выслушать и дать совет.

Individual Contributors

Люди-хамелеоны, которые могут заниматься всем из перечисленного выше. Или открывать новые направления работы гильдии. Одно из недавних таких направлений — Big Scale Users, тут мы учимся работать с новым видом пользователей — бизнес-агентствами, которые создают десятки тысяч сайтов.

Management & Operations

Тут про нашего замечательного Head of QA Шая, который направляет и поддерживает весь ансамбль команд. И нашу прекрасную Operations-менеджерку Ноа, которая может сделать в принципе что угодно :)

QA Guild Core — это один из вариантов роста для QA в компании. В эту команду может попасть любой QA, который хочет больше челленджей, готов брать на себя ответственность и лидировать. В Wix очень поощряют рост и развитие. Поэтому даже если команда не хочет отпускать сильного QA в Guild Core, гильдия поможет сделать переход и заменить его в проекте на не менее скилового человека.

Когда приходишь в Guild Core, у тебя есть много свободы пробовать разное, ты можешь полгода быть интегратором на огромном Cross Wix проекте, после этого заняться стратегией автоматизации, а потом прийти бустить какую-то команду. У Core тоже есть своя база знаний, онбординг в каждую из ролей и много возможностей роста.

Что дальше? QA Guild Core разрабатывает новые глобальные решения, которые помогут всем QA в Wix работать еще эффективнее. Одна из самых больших инициатив — Competency Map, карта скилов и всей информации, которая нужна QA-инженеру. От качественного exploratory-тестирования до построения automation coverage в паре с разработчиком.

Еще много внимания сейчас направлено на velocity without losing quality и на переход от обеспечения качества к его «координированию». Для этого мы строим внутренний Quality Framework, который поможет поддерживать необходимый уровень качества командам любого типа.

QA-гильдия быстро растет, поэтому Guild Core постоянно сталкивается с новыми челленджами масштабирования подходов, их выравнивания и стандартизации.

QA Guild и украинское комьюнити

Напоследок стоит сказать, что бо́льшая часть QA-гильдии находится в Украине, и мы очень этим гордимся.

QA-гильдия Wix делает большой вклад в украинское QA-комьюнити. Мы постоянно проводим открытые митапы, даем возможность нашим ребятам попробовать себя в роли спикеров и приглашаем интересных людей из других компаний выступать. Например, несколько лет назад мы приглашали Майкла Болтона, он делал бесплатный доклад для локального QA-комьюнити. Даже рэп читал, без шуток :)

В докарантинные времена мы организовывали круглые столы для тестировщиков и менеджеров тестировщиков.

До COVID мы проводили большинство ивентов в нашем уютном офисе, но когда появились определенные ограничения, то перешли в онлайн. Митапы стали международными, а форматы — еще более интересными. Но мы все равно надеемся, что скоро снова сможем проводить кучу крутых ивентов офлайн, а не только через экраны ноутбуков.

Еще одно яркое и масштабное событие, о котором стоит упомянуть, — QA Hackathon by Wix, который мы проводили уже дважды. В последнем хакатоне 15 команд со всей Украины тестировали государственный продукт DOSVIT, направленный на децентрализацию и поддержку украинских громад. За 24 часа тестирования было заведено 1138 багов, написано 15 тест-репортов и даже два небольших сьюта автоматизации. Ну и выпито больше сотни коктейлей на afterparty :)

Wix QA Hackathon, Dnipro, 2019

Заключение

Мы вкладываем много ресурсов в развитие нашей гильдии. И каждый день видим, что оно того стоит. Мы стараемся постоянно двигаться, брать на себя новые челленджи и предлагать свежие идеи. Именно поэтому внутри мы всегда называли Wix стартапом в (уже) 5000 человек. В следующей статье расскажем о второй стороне медали — о том, как мы тестируем в Wix.