П’ять моїх найулюбленіших продуктових помилок за 10 років роботи у Work.ua

Усім привіт! Мене звати Стас Демяник. У команді Work.ua працюю з 2011 року. За цей час я пройшов шлях від модератора до відповідального за всі проєкти на сайті та вважаю себе справжнім чемпіоном компанії за кількістю помилок. З одного боку, не найпочесніше звання, з іншого — публічне визнання цих помилок допомагає моїм колегам не повторювати їх та покращувати наші процеси й результат.

Стаття може стати корисною представникам нетехнічних IT-професій — дизайнерам, продуктовим та проєктним менеджерам, бізнес-аналітикам та просто цікавою для інших.

1. Робота для людей з інвалідністю: три релізи

Колись на Work.ua не було функціональності, що хоч якось могла допомогти людям з інвалідністю. Ми вирішили це виправити, реалізація здавалася простою: кандидати позначають у резюме, що вони мають інвалідність, роботодавці позначають у вакансії, що готові взяти людину з інвалідністю. Потім такі вакансії та резюме позначаються в результатах пошуку бейджами, а знайти їх можна через розширений пошук за допомогою фільтрів.

Коли ми все зарелізили й написали допис про це у внутрішній блог, один зі співзасновників Work.ua Артур Міхно запитав: «Чи не здається вам, що вакансії виглядають так, ніби вони тільки для людей з інвалідністю, ніби місце на парковці для людей з інвалідністю?»

І продовжив: «Навряд чи на першому етапі створення резюме є місце цьому значку. Все ж таки користувачів з інвалідністю в нас зовсім небагато. І пропускати через цю галочку переважну більшість користувачів — не найліпша ідея».

З цим складно було сперечатися, тому ми пішли переробляти: бейдж замінили на текст «готові взяти людину з інвалідністю», галочку винесли на менш прохідне місце та бадьорим кроком попрямували до другого релізу.

Артур сказав: «Уже краще. Але подумайте, чого бракує роботодавцям».

Гм. Загалом, якось ми з командою второпали, що роботодавці, які, наприклад, готові брати на роботу людей лише з інвалідністю третьої групи, будуть змушені запитувати групу під час телефонної розмови. Щоб вирішити цей «біль», ми просили шукачів вказати групу інвалідності та характер проблеми (необов’язковим полем).

Більше в Артура запитань не виникало, а відтоді понад 30 тис. людей з інвалідністю на Work.ua розміщували своє резюме та відгукувалися на вакансії.

Тоді я отримав урок, що не буває простих завдань. Якщо хочеш створити щось по-справжньому хороше, потрібно глибоко розуміти, яку проблему ти хочеш розв’язати, і добре поміркувати про деталі, навіть якщо основне лежить на поверхні.

Ну й дизайн краще показувати людям із незамиленим оком :)

2. Профілі в соцмережах: спілкування з користувачами, якого не було

Колись ми вибирали завдання на рік у компанії простим голосуванням. Хтось приніс інсайт, що роботодавці при знайомстві з резюме звертають увагу на профіль кандидатів у соцмережах. До того моменту шукачі використовували таку інформацію нечасто, тому ми запропонували їм вказувати профіль в Instagram, Facebook чи LinkedIn, а потім показувати його в резюме та відгуках на вакансії.

Цього разу ми подумали трохи краще і постаралися передбачити підводні камені:

  • досліджували, які посилання можуть вести на профіль кандидата;
  • написали хорошу регулярку для цих посилань;
  • аж надто заморочилися з валідацією полів;
  • навіть пасхалку зробили (ні);
  • для консистентності не забули про ≈15 інших розділів сайту та листів, де також показували профіль кандидата;
  • після запуску досліджували посилання на профілі та знову допиляли регулярку;
  • а для тих кандидатів, які не вказали посилання на соцмережі, вивели у відгуках на вакансію посилання на пошук у Facebook/LinkedIn з автопідстановкою імені. Типу клац — і знайшов людину в один клік. Приклад.

Ось так все це виглядає:

Колеги хотіли ще під’єднати по API визначення відкритості профілю в Instagram, щоб не показувати роботодавцям закриті профілі. Але ми ручками порахували, що закритих профілів всього 8%, і відклали ідею в шухлядку.

Зробили ми багато, і нам сподобалося, як у нас вийшло. А ось роботодавцям це виявилося майже непотрібним. У відгуках на вакансію функцією пошуку кандидата в соцмережах користувалися майже 250 разів на тиждень. За цей період у нас переглядаються сотні тисяч відгуків, тому 250 — це нічого.

У пошуку резюме більше переглядів профілів — до 4 тис., і лише цього року кількість використань зросла до 7 тис. разів на тиждень.

Цифра трохи краща, але все ж таки роботодавців на Work.ua десятки тисяч.

Чи була це найпотрібніша функція для роботодавців на той момент? Навряд чи. Чи можна було щось зробити інакше? Напевно.

На мій погляд, якщо берешся за ціннісні фічі, потрібно ґрунтуватися не на одному інсайті, а проводити глибинні інтерв’ю, інші кількісні та якісні дослідження, пріоритезувати й лише потім робити. Як і навчають у книжках.

Для любителів цифр: зараз на Work.ua приблизно 12% користувачів вказують посилання на свій профіль у соцмережах. Серед зазначених соцмереж лідирує Instagram — 50%, за ним Facebook — 37% та LinkedIn — 13%. На момент релізу на початку 2019 року співвідношення було 52/40/8 — LinkedIn трішки зростає.

3. Бот у Telegram за три місяці

Одного разу ми захотіли зробити розсилки через робота в Telegram. Життя нас чогось уже навчило — ми на мінімалках зробили бота, швидко отримали результат і вирішили робити.

Підписувати вирішили на нові вакансії — найпопулярнішу нашу розсилку. Технічних нюансів було багато, тому розробку довірили одному з найзалученіших і найсильніших розробників. Діма все порахував та прикинув, що робіт тут на півтора місяця. Коли почав робити, зіткнувся зі складнощами й попросив продовжити дедлайн на 3 тижні. У цей час Діма захворів, і ми втратили його на кілька тижнів. Після повернення Діма продовжив, але в якийсь момент був змушений їхати у відпустку за заздалегідь купленими квитками. Діма повернувся, і ми успішно «закачалися», але замість півтора місяця отримали вдвічі більше.

Ми зрозуміли, що доручати велике завдання одній людині — це великий ризик не вкластися у дедлайни. Тому цей проєкт став одним із тих, які підштовхнули нас до переходу на Shape Up: методології ведення проєктів, яка допомагає нам робити процес планування передбачуваним та має ще багато переваг.

4. Онбординг шукачів та роботодавців: і до розумних, і до красивих

Цьогоріч ми спробували переглянути онбординг шукачів та роботодавців на сайті. Для шукачів за активацію вважали створення резюме, а ідеально — потім і відгук на вакансію. Для роботодавців — безкоштовне розміщення першої вакансії. Але про кожне по черзі.

У шукачів ситуація в онбордингу була такою: вони заповнювали найнеобхіднішу інформацію в резюме (виходило щось типу MVP у резюме), а потім їм потрібно було або доповнювати резюме, або йти відгукуватися. Проблема в тому, що після створення MVP-резюме користувачі зупинялися: і не відгукувалися, і резюме доповнювали так собі.

Нам хотілося (і це було основною метрикою онбордингу), щоб шукачі створювали повноцінне резюме і переходили до ключової дії — відгуку на вакансію.

На етапі після створення мінімального резюме ми додали сторінку з двома діями: перехід до пошуку вакансій і доповнення резюме. Розрахунок був на те, що, вибираючи call-to-action, користувачі вибиратимуть щось найпотрібніше, а потім слідуватимуть цьому.

Результати нас засмутили: відгуків більше не стало. Гірше ми теж не зробили, але гіпотеза не злетіла. Виявилося, що ⅔ користувачів натискали на «Доповнити резюме», а далі зникали в цьому напрямку.

За деякий час ми випадково згадали, що колись давно почали зберігати повноту заповнення резюме. Порівняли ці дані та виявили, що після реалізації нового онбордингу резюме стали в середньому заповнюватися на третину краще, ніж раніше — з 62% до 82%. Це нас порадувало, але гіркотинка лишилася, як і недосягнута мета.

Схожа історія трапилась і з онбордингом роботодавців: ми хотіли збільшити кількість розміщених вакансій у нових користувачів, але залишали їм вибір: розмістити вакансію безкоштовно або пошукати кандидатів самостійно в базі резюме.

На наш подив, значна частина переходила до пошуку кандидатів, а частка роботодавців, які розміщували вакансії, зберегла показники, але не зросла.

Напевно, не зайвим було б кількісні дослідження підкріплювати якісними, в цьому прикладі — глибинними інтерв’ю, але ми цього не зробили. Так чи інакше, зворотний зв’язок отримали й попрацюємо над тим, щоб користувачі могли легко скористатись усіма перевагами продукту вже в першому дотику.

5. Резюме у вигляді файлу: висока конверсія не завжди добре

Цього року Work.ua першим в Україні зробив можливість розмістити резюме у вигляді файлу в його натуральному вигляді.

Щоб отримати доступ до оригінальної версії файлу з резюме, потрібно було скористатися платною послугою — відкрити контакти кандидата. Кількість відкриттів була умовно обмежена — від 350 на тиждень.

Взаємодія з резюме відбувається так: ви спочатку читаєте резюме і, якщо кандидат вас зацікавив, витрачаєте відкриття контактів та спілкуєтеся. Тобто ми продаємо контакти шукачів.

Ми не могли показувати файл у натуральному вигляді за замовчуванням, бо в більшості файлів були контакти шукача. Щоб роботодавці могли ознайомитись із вмістом файлу до відкриття контактів, ми зробили версію для швидкого перегляду — парсили вміст документа та показували його у вигляді неформатованого тексту, а контакти приховували. Доступ до версії для швидкого перегляду надали за посиланням. Вийшла така сторінка:

Коли ми почали підбивати підсумки після релізу, однією з метрик була конверсія з перегляду резюме у відкриття контактів. У нас було на що рівнятися: в резюме інших типів (на Work.ua це PRO, Стандартне резюме та Візитка) конверсія з перегляду у відкриття контактів приблизно однакова, тому що незалежно від типу резюме — усе це люди, які рівною мірою цікаві роботодавцям.

Кандидати з файлами нібито мають цікавити роботодавців так само, як і кандидати з іншими типами резюме. Насправді ж виявилося, що в резюме з файлами конверсія на відкриття контактів на половину вища, ніж в інших резюме. Почуття були подвійні: з одного боку, роботодавці більше відкривають контактів — добре, з іншого боку, були сумніви — чи зростання конверсії дійсно дорівнює зростанню додаткової цінності?

У ці дні ми розіслали анонс уже іншої фічі, і в коментарях до нього небайдужі користувачі підказали нам швидку відповідь:

Звичайно! Користувачі просто не помічали або не розуміли посилання на версію для швидкого перегляду.

Щоб зробити все однозначніше, ми замінили посилання на повну версію швидкого перегляду:

За тиждень показники конверсії з перегляду у відкриття контактів у резюме файлом повернулися до показників інших типів резюме і ми видихнули.

Іноді складно передбачити, як користувачі зрозуміють твій дизайн, тому нам було корисно отримати зворотний зв’язок на великих даних та у вигляді відгуків користувачів.

Чого я навчився на своїх помилках

  • Якщо розв’язуєш якусь проблему, в ній потрібно добре розібратися та вирішувати глибинні потреби користувачів. Запитання самому собі, яке мені допомагає: «Чи не рано я зупиняюся?». У нашій компанії ми користуємося 10 цінностями, які в щоденній роботі допомагають знаходити відповіді на більшість запитань.
  • Користувачі завжди розкажуть більше, навіть коли здається, що ти все знаєш.
  • Реліз проєкту — ще не крапка, а черговий етап, після якого завжди корисно отримати зворотний зв’язок. З якогось моменту ми домовилися за підсумками кожного проєкту писати допис у внутрішній блог. Це допомагає нам копати глибше, отримувати зворотний зв’язок від усіх відділів компанії та покращувати продуктову культуру.
  • У реалізації проєктів командна робота — беззаперечна перевага. Ви отримуєте різні точки зору колег, незалежний погляд, підстраховку та багато іншого. Про те, як ми працюємо в командах, ви можете прочитати у статті про Shape Up від співзасновника Work.ua Андрія Боровика. Завдяки цій методології нам вдається мінімізувати ризики й майже всі проєкти закінчувати вчасно та якісно.
  • Помилки — це погано, якщо не вчитися на них, але треба намагатися не повторювати їх. У наших процесах ми ділимося ними одне з одним, щоб отримувати з помилок якомога більше користі.
👍НравитсяПонравилось10
В избранноеВ избранном0
LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
що роботодавці, які, наприклад, готові брати на роботу людей лише з інвалідністю третьої групи, будуть змушені запитувати групу під час телефонної розмови.

Ох нещастячка ж мої. Ще б якось зробити, щоб бідолашні роботодавці не були змушені проводити співбесіди і офісі. На практиці — всім зазвичай начхати на те, що ти все написав у резюме, і тебе все одно перепитають по кожному пункту.

Ця версія для швидкого перегляду може бути гіршою за оригінал резюме

Ну ви понєли, погана вона. Мабуть. Може ні, але ми можливо розміщуємо в себе на сайті погані версії. До того ж робимо це умисно, бо дайте нам грошей, і ми вам покажемо хорошу, а ні — то дивіться погану.

Погоджуся зі сказаним раніше — типовий бізнес по-українськи. Замість найняти дизайнера і райтера, котрі ці речі ВЖЕ знають, ми будемо осягати неосяжне і 10 років шляхом проб та помилок будемо робити людину-оркестр.

На счёт онбординга для соискателей, интересно, рассматривали ли вариант исключить вариант создания минимального резюме, либо добавить больше обязательных полей для создания полного резюме, либо же другой вариант — предложить дополнить резюме в момент отклика на вакансию.

Раньше наша форма создания резюме была достаточно длинной и это создавало сложности: например, студентам почти нечего о себе рассказать, а опытным специалистам — наоборот, поэтому на сложной форме терялась значительная часть пользователей. Чтобы решить эту проблему мы и разделили процесс создания на первичный и вторичный.
Предложить дополнить резюме в момент отклика — такой вариант будет не самым удачным. Когда соискатель создает и размещает резюме — это уже заявка на вакансию, только пассивная, а отклик — активная. В обоих случаях соискателям нужно рассказать о себе работодателям, поэтому с наполненностью резюме лучше определяться в момент создания.

Значит нужно как-то поощрять за наполненность. Например, информировать, что резюме, заполненные на 85% будут показаны работодателям первоочередно. Хотя, конечно, соискатель должен быть сам заинтересован и замотивирован заполнить резюме максимально.

Если проанализировать работа.юа , ворк.юа и джобле, с точки зрения потребителя услуги, то лично для меня первые два лидируют. В ворке не хватает фильтрации по локации, как это есть в работа.юа. Для кого может быть важна локация? Для людей, которые не хотят тратить много времени на транспорт или для тех, кому важно быть ближе к школе/саду/дому, для тех же людей с ограниченными возможностями и т.д. В мини-карточках вакансий указано расположение от центра, но камон, это не точный индикатор. Если мне до центра 6 км, а место работы от центра 5 км, то в лучшем случае мне придётся преодолеть 1 км, в худшем 11 км. В таком случае было бы уместно просчитывать расстояние от локации соискателя. Насколько это технически возможно? Не знаю, вам виднее. Насколько это нужно потребителю? Ответ тот же. Но если хотя бы каждый, ладно, каждый пятый, кто ищет работу, периодически будет проходить опросы на счёт необходимости тех или иных фич, (как вот совсем недавно это было у джобла — тестились карточки вакансий), возможно ворк станет еще чуточку лучше! Смотрите на свой продукт не только глазами исполнителя, но и глазами потребителя. Удачи в новом году! И творческих успехов!

Джобле вообще помойка. Он типа ищет всё, но то что он находит тупо неупотребимо количественно. Грубо говоря, он ничем не лучше того же Гугла — где не-ленивые люди ещё помнят про страничку Advanced Search

Джобле тот ещё ад. Нет структуры, нет категорий (это адский ад, в эпоху когда одна и та же должность может звучать по-разному), вакансии не соответствуют запросам. Фильтрация с радиобатонами, а не с чекбоксами заставляет снова возвращаться к фильтрам. Плюс джобла — на его фоне ворк впереди.

Если вы хотели бы увидеть расстояние от дома до места работы, то это можно сделать на Work.ua уже сейчас: вы нажимаете на карточке вакансии на расстояние до центра, в поповере нажимаете на «Изменить адрес» и указывате домашний адрес. Затем во всех вакансиях уже будете видеть расстояние от дома до центра.
Но, судя по тому, что это не совсем очевидно, нам тут есть над чем подумать.

Таки да! Есть! Удобно! Но не совсем очевидно. Возможно «на мапі» стоит расположить непосредственно возле адреса. А возле расстояния — «змінити» или «я тут» Или что-то в этом смысле. Вобщем, успехов ворку!

ошибки достаточно детские (упоминаются практически во всех легкодоступных источниках по теме разработки/анализу продуктов) почему про них продолжают писать? (почему их продолжают допускать?.. это риторический вопрос))

Вибір між «в мене є інвалідність» та «в мене немає інвалідності» — дискримінаційний. В багатьох є вади здоров′я, які не впливають на роботу, яку вони шукають. Так само, як і інвалідність — у системі, яка цілеспрямовано позбавляється визнання людей інвалідами задля шантажу останніх та крадіжки грошей на фейкових інвалідів — вибач, але це тупо не працює, виключно дискримінація.

Тому єдиний можливий варіант — опції, що дозволяють добровільно прописати обмеження здоров′я, а також вказати групу інвалідності, якщо така визнана державою. Наприклад, людина без руки може не бути інвалідом з позиції держави, бо не було грошей дати хабаря.

А якщо питання ставиться інакше — то нічому ти не навчився, і не намагався. Бо це рівень лікбезу.

В обществе сформировался шаблон, что человек с инвалидностью — это человек в инвалидном кресле, как собственно и указано на иконке, или на парковке... Считаю, правильно говорить человек с ограниченными возможностями. Это и слепые, глухо-немые, и даже визуально здоровые и полноценные люди могут иметь инвалидность по заболеванию, которое на первый взгляд не имеет внешнего проявления. Отсюда и необоснованное заявление о том, что людей с инвалидностью, которые в поиске работы, не так много. Вряд ли всем соискателям заглядывали в медицинскую карту или высчитывали процент этих людей среди тех, кто создал своё резюме.

Ты не понял — вообще в мире нет двух одинаковых инвалидов. У каждого ограничения свои. Соответственно, если есть какие-то значки, отметки и прочие классификаторы — то нужны и критерии классификации.

И в этом вопросе на ворк-юа и конь не валялся. Ну и я их, соответственно, учить этому не стану — я не у них работаю, и интереса сделать их лучше особо нет. Но на DOU могу обсудить, чтобы другие не повторяли ошибки САМОУВЕРЕННОСТИ, которые приводят к неготовности учиться. Десятилетиями, Карл!

Ну почему же в мире нет двух одинаковых людей с ограниченными возможностями?! Да-да, они называются именно так, если что. Вопрос не в том, по каким критериям они должны классифицироваться, какими отметками, а в том, как показать, что компания-работодатель дружелюбно настроена по отношению к таким людям. Потому как даже увольнение таких людей имеет свои особенности.

Правильный термин, как раз, «человек с инвалидностью» по конвенции ООН. Потому что у всех нас возможности так или иначе ограничены и вы тоже, вряд ли, человек с безграничными возможностями.

Значок інвалідності в резюме для іншого: інваліди мають податкові пільги, так само, як і підприємства, де значний відсоток саме інваліди. Тому цей значок допомагає їм знайти одне одного.
Якщо ти інвалід, ти не зобов’язаний цей значок встановлювати. А от на вакансію, де цілеспрямовано шукаються люди із цією пільгою — воно потрібно.

Так написали же, значки на вакансіях можуть створювати хибне враження що ці вакансії лише для людей з інвалідністю, бо асоціюються з такими ж значками на паркувальних місцях

Можуть так, а можуть ні, — дослідження ж не проводили. Вони сами про це пишуть. У тому кейсі одна людина на власний розсуд таке вирішила. З іконками все не так просто: їхній зміст залежить від контексту. Треба тестувати.

Так, без дослідження це лиш гіпотеза. Хоча якщо цей параметр в більшості використовується для пошукових фільтрів, то значок можна прибрати без зайвих досліджень, гірше не буде. При нормальній аналітиці можна швидко перевірити чи користувачі, в яких в профілі вказана інвалідність шукають з фільтрами чи без.

Це не гіпотеза, це єдиний можливий варіант. А якщо навіть на те мізків не вистачило — просто оцініть фразу «дослідження ми не проводили». Це дослідження займає менше півгодини, ну може трохи довше, якщо хочеться підкріпити більшою кількістю опитаних. На хвилиночку, для фічі в галузі, в якій компанія працює 20+ років і є однією з головних на ринку.

Оце і є бізнес по-українські. На жаль, не тільки в Україні таке.

Це не хибне враження, це воно так і має бути. Бо вакансії, куди МОЖНА брати інваліда — це ЗВИЧАЙНІ вакансії, там не має бути жодних поміток. Навіть питати про те не потрібно. Повірте, туди, куди не можна, інвалід сам не піде, і навіть не спробує. Хіба що з інвалідністю психики, але для тих взагалі правил не існує.

Якщо ж компанія хоче зробити дискримінацію, що взагалі-то, неможливо заборонити — треба в самій вакансії писати, що, наприклад, потрібна людина в гарній фізичній формі, наприклад, охоронцем. Чи не мати психологічних «проблем» із співчуттям — наприклад, для колекторів.

Бо вакансії, куди МОЖНА брати інваліда — це ЗВИЧАЙНІ вакансії

А в статті йшла річ про хибне враження, що вакансія ТІЛЬКИ для інваліда

Благодарю за статью, Стас

Возникло впечатление, что недостаточно прорабатывали и валидировали гипотезы, это и являлось частью всех проблем.
Что сейчас изменилось в вашем подходе, помогает прикладывать меньше усилий и получать больше ценности?

Спасибо за отзыв и вопрос, Максим.
Все эти проблемы случились в разное время и по разному мы их решали, но если говорить о том, что мы изменили в последние полтора года на уровне продуктового направления компании: мы подключили к проработке гипотез людей с разнообразным (не путайте с разным по количеству лет) продуктовым опытом и видением — это часть методологии Shape Up, по которой мы работаем.
При обсуждении гипотез чаще идем от проблемы, а не от решения, а проблему ищем чаще в количественных, реже — в качественных исследованиях, а после запуска проекта снимаем достаточно много показателей и закладываем ресурсы на различные доработки.
Ну и на уровне компании нам достаточно хорошо в этом помогает методология ОКР.

А можна будь-ласка посилання на ваш словник?

Якщо у компанії на вашому сайті є бейдж «Перевірено» то додавайте будь-ласка посилання на юридичну інформацію компанії на opendatabot.ua або youcontrol.com.ua

Было интересно и познавательно читать! Спасибо )

Спасибо, Ярослав!

Не могу понять, кто же писал статью? ;)

Да, это я, Саша. Рад встрече :)

Подписаться на комментарии