DOU Проектор: TestCaseLab — инструмент для QA специалистов

В рубрике DOU Проектор все желающие могут презентовать свой продукт (как стартап, так и ламповый pet-проект). Если вам есть о чем рассказать — приглашаем поучаствовать. Если нет — возможно, серия вдохновит на создание собственного made in Ukraine продукта. Вопросы и заявки на участие присылайте на [email protected].

Идея

Всем привет. Хочу поделиться с аудиторией DOU опытом и вынесенными уроками эксперимента в компании Gera-IT, который спустя некоторое время превратился в полноценный продукт для внешнего рынка. Компания специализируется на веб-разработке приложений для внешних клиентов.

Все началось летом 2015-го, когда на всеобщем корпоративном собрании промелькнул вопрос о тест кейс менеджмент системах. Команда тестировщиков единогласно высказалась о проблемах использования существующих систем для QA инженеров. Будь то неудобный интерфейс, устаревшие open-source решения или же дороговизна остальных продвинутых систем.

И тогда возникла идея: «А давайте попробуем запилить свою систему и ей пользоваться». Стоит попробовать! Профиль компании, специализация разработчиков, опыт разработки разносторонних веб-систем и, самое главное, желание — все толкало команду провести такой эксперимент и побыть самим в пресловутой роли «заказчика».

Реализация

Была поставлена цель — создать инструмент не только для собственных нужд, но и сделать его конкурентноспособным, найти своих клиентов в данной нише и успешно развивать продукт.

Объединив усилия, команда PM и QA специалистов написала требования к будущей системе. Решили начать с того, чтобы реализовать минимально необходимый функционал: тест кейсы, тест планы, категории, все необходимые поля и свойства, тест раны + визуализация и, естественно, админка. Также хотелось сделать всю систему в ином стиле, отличающемся от известных представителей тест кейс менеджмент систем.

Урок № 1: Хотя требования и были написаны, схемы нарисованы, ресурсы выделены — никто изначально не сделал более-менее точных эстимейтов по разработке и не поставил лимитов человеко-часов, которые компания готова выделить. Не смотря на то, что было сделано множество внешних проектов, это был первый внутренний проект/продукт.

Для реализации проекта был выбран следующий стек технологий: RoR, AngularJS, PostgreSQL, Redis, faye. Большая часть разработчиков до этого практически не имела опыта разработки на AngularJS (работали на Backbone). Но технология популярная, спрос среди клиентов на нее есть, поэтому решили воспользоваться случаем и прокачать скиллы.

После всех подготовительных работ мы выделили необходимые ресурсы, окрестили проект именем TestCaseLab и начали разработку. Поскольку проект был внутренним, ему были присущи следующие особенности: простота дизайна, неполная занятость участников и привлечение разных специалистов.

Урок № 2: Недостаточно жесткий контроль, возникновение новых требований и меняющийся воркфлоу. В компании появлялись новые проекты и завершались старые, происходила ротация разработчиков. Как итог: разные стили написания кода и разные подходы к решениям тех или иных задач.

Первый прототип

По прошествии нескольких месяцев прерывистой разработки, наконец-то был реализован рабочий продукт. Выглядел он приблизительно так:

Продукт работал, но, все же имел ряд багов и недоработок, с которыми постепенно боролись разработчики. Однако уже и на этом этапе наши первые бета-тестеры оценили удобство новой системы.

Хотя сам продукт являлся тест кейс менеджмент системой, его также необходимо описывать все теми же тест кейсами. Команда тестировщиков внутри самой системы занималась описанием функционала TestCaseLab кейсами. Вышла такая себе рекурсия.

Подготовка к выходу на внешний рынок

После того, как продукт стал достаточно стабилен, команда тестировщиков подтвердила, что им удобно пользоваться. Был произведен анализ конкурентов: их цены, предоставляемые фичи и ограничения по подпискам. С этого момента, продукт встал на «коммерческие рельсы».

К проекту были дополнительно привлечены дизайнер, верстальщик и постоянный менеджер, и, начиная с декабря 2015 — января 2016, проект вступил в новую активную фазу. Были поставлены следующие задачи:
1) Исправить недочеты в различных местах;
2) Разработать новый дизайн системы, не меняя общего UX (попросту сделать красивее);
3) Разработать посадочную страницу: дизайн с нуля + верстка;
4) Обновить верстку системы;
5) Разработать логику платных подписок и внедрить платежную систему;
6) Несколько новых небольших фич + общие мелкие улучшения.

Казалось бы, большая часть логики готова, инфраструктура настроена — не так уж и сложно будет применить новый дизайн и побороть остальные задачи. Дизайн системы был подготовлен достаточно быстро, после него принялись заниматься посадочной страницей. Back-end разработка велась параллельно.

Когда начали накатывать обновленный дизайн, возникло достаточно много UI багов, что само по себе не является большим удивлением :). Но время шло, а официальный релиз все никак не приближался и с каждым разом откладывался.

Урок № 3: При работе над новой логикой подписок + внедрением платежных систем постоянно возникали новые идеи и предложения их реализовать. При работе на внешних проектах все разработчики и менеджеры компании уделяют много внимания важности написания юнит-тестов при разработке всех блоков. Здесь же этому уделялось не так много внимания (возможно, потому что постоянно менялись сотрудники). Как итог: многие новые изменения нарушали работу старой логики и вылезали неприятные баги.

Продакшн

К середине апреля 2016 продукт со всем необходимым функционалом был готов. Все последние разработки были в продакшне: закрыли обнаружившиеся дыры в безопасности, устранили найденные баги, применили неоднократно изменявшуюся логику подписок и, конечно, реализовали новый дизайн + посадочную страницу.

Готовый продукт стал выглядеть так:

Результаты

На данный момент TestCaseLab находится в стадии популяризации и привлечения новых клиентов. У нас есть достаточное количество идей, чтобы развивать продукт и продолжать разработку, но до этого мы хотим получить достаточное количество откликов от нашей аудитории и понять, стоит ли реализовывать задуманное или у пользователей возникнут другие потребности.

Итоги:
1) Было потрачено солидное количество человеко-часов;
2) Было наступлено на солидное количество «граблей» и найдены решения, как избегать подобных проблем в будущем;
3) Большая часть сотрудников компании получила очень интересный опыт разработки продукта «для себя»;
4) Команда тестировщиков побывала в роли неких Requirements Managers;
5) Руководство со своей стороны поняло, каково это быть заказчиком проекта;
6) Будем в будущем использовать полученный опыт во внешних проектах;
7) Есть продукт, которым можно гордиться!

Надеемся, что данная статья будет полезна, и вы сможете избежать упомянутых выше ошибок, разработав свой интересный продукт.

Спасибо всем за внимание и приглашаем бесплатно попробовать TestCaseLab. Также будем благодарны за отзывы или предложения.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному1
LinkedIn



19 коментарів

Підписатись на коментаріВідписатись від коментарів Коментарі можуть залишати тільки користувачі з підтвердженими акаунтами.

Возможно в Intro видео стоит более рассказать о том какие пользовательские «проблемы» вы решаете, а не туториал. Парень говорит неплохо по английски, но у западных клиентов наверняка появятся некоторые предубеждения из-за акцента. Имеет смысл найти нэйтива для озвучки и сделать ее немного более динамичной. В любом случае удачи!

Спасибо за отзыв. Для первого релиза решили подготовить видео своими силами и показать пользователям, как работает система. Несколько ранее мы уже получали подобный отзыв и уже думаем над сценарием нового видео.

В свое оправдание также скажу, что перед утверждением данного ролика, он показывался нескольким native speaker-ам, у которых, в принципе, нареканий не вызвало.

Спасибо!

Ну это может быть и западная вежливость. В лицо никто ничего негативного не скажет, а контракт заключают с другими, выражая «искренние» сожаления))

Может Вы и правы, однако видео показывали совершенно незаинтересованным сторонам. В любом случае, новое видео делать будем.

Да я и не настаиваю на своей правоте в данном конкретном случае. Просто описываю возможные варианты. А уже продажи покажут насколько отзывы ваших native speaker-ов были репрезентативны ;)
А продукт действительно востребован и будет здорово, если вы добьетесь успеха!

Продукт понравился. Цена адкватная, как для рынка зарубежных заказчиков. Ребята, вы молодцы. Совсем недавно искала подобный инструмент. Легкий, удобный и без лишних наворотов. Нашла testlodge.com, но ваш намного удобнее и приятнее.
Хотелось бы:
1. Возможности асайнить тест раны (а еще лучше, каждый кейс) на юзера.
2. Возможность менять атрибуты нескольких кейсов одновременно (проставить категорию, например).
Первый тык дал такие проблемы:
1. Респонсивнесс... Сами понимаете :) На мобильном открыть что-то сложно. Искользование полноценного функционала с мобильного маловероятно, но лично я бы пользовалась. Да и заказчики любят проверять прогресс «на лету».
2. Странно работает блокировка кейса юзером. Иногда не снимается, когда юзер закрыл браузер, иногда не срабатывает (с мобильного). Фича важная, так как при сбое можем получить навечно заблокированный кейс (aka trash).
3. Не смогла настроить интеграцию с Pivotal Tracker. На тесте: Server error. Поправьте, пожалуйста.

Хорошая триалка на 2 месяца. Уже пользуюсь :). Если будет стабильно работать хотя бы на этом уровне, куплю. Спасибо!

Спасибо за развернутый отзыв! Обязательно рассмотрим Ваши пожелания.

По поводу респонсив-дизайна — тут Вы правы, на данный момент мы адаптировали только лендинг. А вот саму систему для мобильных устройств изначально не адаптировали, т.к. было маловероятно, чтобы пользователи полноценно работали с них. Знаю, что у конкурентов в добавок есть мобильные приложения, чтобы, как Вы говорите, «на лету» что-то проверить или сделать. Но мы пока что не тратили время на его разработку.

По поводу интеграции с Pivotal Tracker — напишите, пожалуйста, нам имейл на [email protected] с подробностями (скриншотами) и Вашим логином. Постараемся помочь и решить вопрос.

Я пощупал немного — и не вижу какой-то киллер фичи, которой нет у других тесткейс систем. Обязательно нужна такая. У тестлинка это бесплатность, у зефира — офигенная интеграция прямо в джиру, но у тесткейслаб — разве что приятный интерфейс. Все сделано акуратно, но не вижу существенных преимуществ перед тем же тестлинком.

Как писал Вам раньше, у нас есть синхронизация одновременной работы пользователей, которая может быть полезна для команды тестировщиков (избегать дублирования одной и той же работы и тд.).

Будем дальше работать над улучшением продукта, постараемся сделать еще что-то «свое» и оригинальное. Лично Вам какую бы фичу хотелось иметь в TCLab?

отличный продукт, обязательно покажу всем на работе.

Спасибо за отзыв. Будем признательны за рекомендации!

Спасибо за продукт! Сам в последнее время задумывался о разработке такого. Какие киллер фичи планируются, чего-то что нет у конкурентов?

Спасибо за отзыв. На данный момент мы делали упор на удобный и хороший интерфейс. Из интересных уже имеющихся фич: синхронизация работы нескольких пользователей, история редактирования кейсов, импорт/экспорт, удобная и продвинутая система ролей и проектов.

Сейчас пока что серьезную разработку приостановили. Собираем отзывы клиентов и пытаемся определить приоритеты для дальнейшего развития. Хотим сделать: drag&drop сортировку, продвинутую отчетность, FAQ+tutorials (правда, это не фича :)), расширение интеграций. Также думаем над вариантами, как сможем быть полезными для автоматизаторов. В обозримом будущем выкатим еще дэшборд, который будет полезен для пользователей с несколькими компаниями / проектами.

Выглядит приятно, все основное на первый взгляд есть. А как насчет API?

На данный момент мы не разрабатывали открытое API, однако в будущем планируем развивать это направление. Сейчас готовы только 3 интеграции с баг-трекерами. Спасибо за отзыв

Условия оплаты какие-то кусачие, я бы сказал. Почему нельзя сделать так, чтобы можно было спокойно пользоваться без подписки, но с ограничениями?

Цены на наши подписки являются одними из самых низких на рынке, особенно, если сравнивать с большими Enterprise компаниями, где цены легко переваливают за 100$ в месяц (при многопользовательской подписке). У нас же отсутствуют ограничения по количеству пользователей, планов и ранов. Ограничение присутствует только на количестве тест кейсов.

Простите, но почему Вы считаете цены "кусачими"?

Я не хочу разводить спор, на мой взгляд, при всём уважении, но подобный продукт не стоит $15 в месяц за младший пакет. Я поздравляю Вас с запуском, но я не ожидаю большого наплыва клиентов, таково моё видение. Буду рад ошибиться.

Нам кажется, что платить за инструменты, которые являются полезными в работе - это нормальная мировая практика. Тем более, если стоимость использования инструмента за месяц сопоставима со стоимостью одного часа работы инженера (а иногда итого меньше).
Ваше право, если Вы предпочитаете постоянно пользоваться бесплатными версиями инструментов, я вряд ли смогу Вас в этом переубедить. Спасибо за отзыв

Підписатись на коментарі