«Давайте всі зберемось і вирішимо»: чому колективні наради шкодять IT-проєктам та як з цим боротися. Частина 1

Частина 1: чому група розумних людей ухвалює гірші рішення, ніж один із її учасників

Мене звати Олександра Парій. Понад 10 років я в IT — від QA та робототехніки в Bosch до продукту. Пройшла шлях від другого співробітника до CEO у Skins.Cash. За ці роки я провела стільки нарад, що зрозуміла одну неприємну річ: що більше розумних людей у кімнаті, то гіршим може бути рішення.

Для багатьох людей робота перетворилась на нескінченний марафон нарад.

Робочі календарі заповнені зустрічами стендапами, ретроспективами, грумінгами, пленінгами, нарадами для обговорення старту проектів або їх результатів. Керівники компаній проводять значну частину свого робочого життя на нарадах.

Існує глибоко вкорінене переконання: зберіть розумних людей в одній кімнаті — і отримаєте хороші рішення. Логіка проста: більше людей означає більше знань і більше шансів ухвалити правильне рішення. Це переконання лежить в основі нашої довіри до демократії, комітетів, судів присяжних, design review та комісій з найму. Тому, коли постає складне питання, наша природна реакція «давайте зберемось і всі разом вирішимо».

Це не народна мудрість. У цього є математичний доказ — теорема Кондорсе про присяжних.

Кондорсе розглядав просту ситуацію: група має обрати між правильним і неправильним варіантом, а рішення ухвалюється більшістю голосів.

Теорема спирається на дві ключові умови:

• кожен учасник обирає правильний варіант з імовірністю понад 50%;
• кожен ухвалює рішення незалежно від інших.

Якщо обидві умови виконуються, то зі збільшенням кількості людей у групі ймовірність правильного рішення наближається до 100%.

Але чому тоді в кожного досвідченого тімліда є власна колекція колективних рішень, які виявилися дорогими, повільними й очевидно проваленими заднім числом?

Давайте детально роздивимось обидві умови.

Умова 1: кожен учасник частіше має рацію, ніж помиляється

У моделі Кондорсе компетентність людини зводиться до одного числа: імовірності обрати правильну відповідь. Монета має компетентність 50%: вона дає правильний результат рівно в половині випадків. Тому «компетентність вище за 50%» означає лише одне: людина ухвалює рішення трохи краще, ніж навмання, тобто має хоч якусь корисну інформацію про правильну відповідь.

Але тут є важлива пастка. Якщо середня компетентність учасників опускається нижче 50%, теорема не просто слабшає, а починає працювати в зворотній бік. Кожна додаткова людина збільшує ймовірність помилки, а велика група майже напевно сходиться на хибному рішенні.

Той самий механізм, який перетворює групу трохи компетентних людей на майже безпомилковий колективний розум, перетворює групу трохи некомпетентних людей на стабільний генератор помилок.

Це змінює сам погляд на проблему. Важлива не кількість людей, а якість їхніх суджень. Додавання нових учасників не має вбудованого знака «плюс»: воно лише підсилює те, до чого група вже схильна. Якщо всі мають одну й ту саму сліпу зону, більша група її не виправить. Вона лише підсилить її вплив.

Умова 2: кожен ухвалює рішення незалежно від інших.

Доказ спирається на припущення, що учасники формують свої погляди незалежно один від одного. Щойно вони починають впливати одне на одного, це припущення руйнується, і разом із ним зникає гарантія результату. А робочі наради — це якраз ситуація, де люди постійно впливають одне на одного.

Але в реальному житті обидві умови майже ніколи не виконуються.

Упередження не гаситься в групі. Воно множиться.

Хороші менеджери — навіть дуже хороші менеджери — можуть ухвалювати вкрай невдалі рішення. Частина з них невдалих рішень пояснюється випадковістю або невдачею, але велика кількість досліджень показує, що багато таких рішень спричинені когнітивними та поведінковими упередженнями.

Оптимістична теорія групового ухвалення рішень звучить так: у кожного є власні упередження, але вони різні, бо ми маємо різний досвід. Коли люди збираються разом, ці упередження нібито взаємно компенсуються, і в результаті група наближається до істини.

У цьому є частка правди. Візьмімо, наприклад, евристику доступності — схильність переоцінювати ймовірність події, яка легко пригадується. Якщо запитати мене, наскільки ймовірна алергічна реакція на певний продукт, а в мене вчора була на нього алергія, я майже напевно завищу оцінку реальної ймовірності, бо мій власний досвід буде надто «свіжим» і домінуватиме. У групі інші люди пригадають інші випадки, і цей ефект справді частково нівелюється. Саме «частково», для більшості значущих упереджень таке нівелювання не працює. Натомість у групах посилюються кілька ключових загальнолюдських упереджень:

• Упередження надмірної впевненості (або overconfidence bias) часто спотворює оцінку як власних здібностей, так і можливостей бізнесу. Воно підштовхує до ризиків, на які не варто йти, через хибну віру в те, що результати можна буде контролювати.
• Упередження підтвердження (сonfirmation bias). Ми надаємо забагато ваги інформації, яка збігається з тим, у що вже віримо, і тихо знецінюємо все, що їй суперечить.
• Також групи можуть бути більш схильними, ніж окремі люди, продовжувати вкладати гроші в уже провалений проект, викидаючи гроші на вітер. Від спільного зобов’язання важче відмовитися, ніж від особистого: відступити тепер означає визнати, що помилилися ми, а не лише я. Це називається ескалацією зобов’язань або пасткою незворотних витрат.
• Вилизані слайди змушують більше вірити у правдивість цифр. У лікаря багато підписників в Instagram? Точно класний лікар. Упевнений, красномовний спікер «заволодіває аудиторією», але заволодіти аудиторією не означає бути правим. Такий ефект називається ефектом ореолу (the halo effect): якщо одна риса аргументу приваблива, ми оцінюємо все інше в ньому теж прихильніше.
• І останній ефект, мабуть, найбільш неочевидний і нелогічний — якірний ефект (anchoring). Ми надто сильно спираємося на перше число, перший варіант, першу почуту думку. Навіть якщо це число взагалі випадкове. Чому нелогічний? Цей ефект був початково досліджений у такому експерименті: Амос Тверскі й Даніель Канеман таємно налаштували колесо рулетки зупинятися на 10 або на 65, крутили його перед кожним учасником, а потім ставили непов’язане запитання: який відсоток держав-членів ООН, це країни Африки? Люди, кому на рулетці випало 10, у середньому називали 25%. Ті, хто бачив цифру 65, називали 45%. Абсолютне безглузде число, згенероване рулеткою (і люди про це знали!), зсунуло відповідь 20 пунктів. В пізніших експериментах було показано, що експертність послаблює цей ефект, але не усуває його повністю: досвідчені агенти з нерухомості теж потрапляють під вплив початкової ціни в оголошенні, просто меншою мірою, ніж новачки. А тепер уявіть першу названу цифру зарплати на перемовинах, першу пропозицію рішення проблеми, або перше ім’я, назване на обговоренні з найму. Це і є якір. Усе подальше обертається навколо нього, яким би випадком цей якір не був.

Висновок із цих досліджень такий: індивідуальні упередження чи помилки, яких людина припускається, думаючи наодинці, не зникають, коли людину поміщають у групу. Часто ці помилки навпаки посилюються, стають соціально підтримуваними й масштабуються.

Але це не означає, що групи марні. Різні точки зору можуть давати реальну перевагу, і в Частині 2 ми розберемо, як її використовувати. Але ця перевага не виникає сама по собі і типова неструктурована нарада майже ніколи її не дає.

«Так що ж ти не сказав?» або провал, який змінив те, як я проводжу кожну нараду

Ранок середи: «Все погано — щось не так, і ми не знаємо, що саме»

Наш продукт процесить тисячі транзакцій за день, автоматично купуючи у юзерів ігрові скіни. Але за сьогодні ми не купили жодного скіна. Про проблему знають всі команди і ми починаємо шукати причину.

Кожен відділ має сотні дашбордів, моніторингів і алертів, які у конкретний момент часу показують актуальний стан речей і потенційні причини: продуктові метрики, бізнес-метрики, а також технічні показники здоров’я системи. Ми аналізуємо тисячі дата поінтів для підрахунку ціни скіна, відстежуємо маржинальність і конверсію, слідкуємо, чи працюють всі необхідні для нас сервіси і яка їх швидкість, перевіряємо баланси на гаманцях і платформах і це все ще раз перевіряємо навхрест. І коли щось іде не так, ми про це дізнаємось одразу.

А йти не так може бути будь-що і це може бути будь-якого масштабу: гугл викатив оновлення і маркетинг не дав результату, зламався логін, висить Steam, не оновилась одна з сотень таблиць з ціною, не пройшла оплата проксі, зависла якась cron-джоба, відвалилась інтеграція з платіжними методами... варіантів безліч.

І ось ми тут: кожен дивиться на свій дашборд, у кожного дашборд горить червоним по-своєму: від легкого рум’янцю до пожежі. Кожний графік, альорт або стрічка в базі викликає думку або «ок, пішли далі» або «блін, це виглядає дивно, треба копнути».

Після рісьорчу потенційних причин і додаткових симптомів, ми збираємось на дзвінок.

На дзвінку п’ятеро технічних спеціалістів з різною сферою відповідальності: двоє бекенд-розробників, один data scientist і двоє продакт менеджерів. Дзвінок починається одразу з пропозиції вирішення проблеми: потрібно відкатати вчорашній реліз, це він все зламав. Ми всі згадуємо кількість разів, коли реліз щось ламав і думаємо, що така гіпотеза має право на існування. Далі кожен ділиться спостереженнями, які підтверджують цю гіпотезу.

Кидаємось відкачувати реліз. Вже і кінець дня, ми зачепили щось не те, так ще й одна з оновлених бібліотек вже не відкотиться назад, бо ну в кам’яний вік не можна вертатись: треба фіксити. Починається новий день, реліз відкатили. Але проблема нікуди не поділась і ми вже другий день втрачаємо юзерів і гроші. Шукаємо далі.

На дзвінку декомпозуємо всю систему і намагаємось виділити хоча б етап, де ми бачимо, що щось зламалось саме там, щоб там копнули глибше. Але наче одночасно і все ок, і все не ок. Ми робимо декілька спроб пофіксити потенційні проблеми, але це не допомагає. Схоже на корабель, який повільно тоне, поки ми на палубі намагаємось зрозуміти, що пішло не так.

Далі, оскільки наші загальні мітинги на п’ятеро людей не дали результатів, один з продакт-менеджерів розділяє процес на три окремі компоненти: окремий детальний рісьорч з кожним спеціалістом по черзі, використовуючи first-principle thinking. Після трьох таких дзвінків-рісьорчів стає зрозуміло, що весь цей час команда обговорювала ті спільні проблеми, які вони всі бачили одночасно, але не ті унікальні проблеми, які були специфічні тільки для роботи data science спеціаліста чи бекенд-розробника. Ми почали з відкочування релізу пару днів назад, бо це була спільна робота усіх. Але це не було релевантним до реальної проблеми. Ми фокусувались на проблемах, які вже зустрічали раніше і які повторювались, бо вони були для всіх спільні і знайомі. Але кожен з нас упускав деталі, які були унікальні саме для нього і в яких не дуже розбирались інші члени команди. Але саме ці деталі були релевантні для нашого бага.

Коли кожен член команди прийшов на дзвінок з завчасно підготовленим списком проблем, які бачить саме він, то сліпі зони стали видимими, і проявився патерн, який не був очевидний жодному окремому фахівцю.

У результаті ми з’ясували, що один із ключових сервісів, з якого починався весь процес, настільки давно й стабільно працював без змін, що ніхто вже не очікував від нього сюрпризів. Але він раптом вирішив додати новий статус і нікого про це не попередити. Фух, око більше не сіпається.

Як виявилось, це не особливість нашої команди або цього конкретного випадку — це один із найнадійніше підтверджених результатів досліджень групових рішень, відомий як «hidden profile».

То що ж сталося?

Група не зробила помилки в міркуванні. Кожен окремий учасник був розсудливим. Рішення стало артефактом того, як була розподілена інформація, і тяжіння групи до того, що вона мала спільним (останній реліз, вже знайомі баги). Справжня причина не мала багато симптомів, спільних для всіх спеціалістів, тож її аргументи так і не були висловлені вголос.

Найбільш тривожне те, що всередині такого обговорення нічого не відчувається неправильним. Немає конфлікту, немає явного упередження, немає «винного». Усе спокійно й раціонально: люди озвучують те, що знають, інші кивають, бо це теж відповідає їхньому досвіду. Навколо знайомої гіпотези про невдалий реліз поступово складається консенсус, і всі виходять із відчуттям якісно проведеного процесу. Збій залишається структурно непомітним.

В цьому і проблема. Часто те, що руйнує групові рішення — це не неуважність і навіть не упередження. Це інформація, яка ніколи не називається вголос, і процес, який систематично винагороджує ту інформацію, що найменше цього потребує.

Чому найцінніше лишається похованим

Є три механізми, що не дають унікальному знанню в головах людей бути озвученим.

Перший: ми обговорюємо те, що є спільним.

Дослідники називають це ефектом спільного знання. Інформація, якою володіє більше людей, має більший вплив на висновки групи, незалежно від того, наскільки вона насправді важлива чи показова.

Факт, який знають троє людей, буде озвучений, повторений і підтверджений кілька разів. Натомість критично важливий факт, відомий лише одній людині, може бути згаданий лише раз, якщо взагалі буде згаданий, а потім зникне без підтримки чи підтвердження з боку інших.

На додачу цей ефект посилюється зі збільшенням розміру групи, адже будь-яка унікальна інформація окремого учасника має дедалі менше шансів бути озвученою та підкріпленою іншими. Що більша нарада, то надійніше вона зводиться до обговорення того, що всі й так знали ще до її початку. А саме така інформація зазвичай додає найменше нової цінності.

Другий: розмова є дуже поганим каналом для об’єднання інформації.

Ми сприймаємо відкрите обговорення як очевидний спосіб поєднати знання групи. Насправді це один із найменш ефективних способів це зробити, бо цьому заважають два добре досліджені явища.

Блокування через черговість висловлювань (production blocking). Одночасно може говорити лише одна людина. Поки ви чекаєте своєї черги, ви можете забути ще не до кінця сформовану думку, вона може втратити актуальність, або ж її витіснить чиясь інша репліка чи відхід від теми. Пропускна здатність наради обмежена однією людиною за раз, а мислення всіх інших поступово втрачає якість у процесі очікування.

Страх оцінювання (evaluation apprehension). Люди часто не озвучують думки, які можуть здатися дурними, наївними або такими, що суперечать загальній позиції. Коментар, який ви проковтнули, бо він здався надто очевидним, нерідко і є саме тією відсутньою ланкою, якої бракує для правильного рішення.

Третій: незгода має реальну соціальну вартість, і люди часто платять за неї мовчанням.

Це не страх, а раціональна стратегія самозахисту. Дані про те, як це спотворює результати групових рішень, є доволі показовими.

Економісти Том Гоул і Саймон Квінн досліджували суддів на міжнародних шкільних дебатних турнірах. Для кожного раунду випадковим чином призначали трьох суддів, які спочатку голосували за переможця незалежно один від одного, а вже потім обговорювали рішення. Команди були попередньо ранжовані, тому в кожному раунді існував очевидний фаворит.

Результат виявився таким: якщо суддя в одному раунді проголосував інакше, ніж двоє інших членів колегії, то в наступних раундах він ставав помітно більш схильним голосувати за передтурнірного фаворита, тобто за безпечний, очікуваний і легко виправданий вибір.

Інакше кажучи, одного разу висловивши незгоду з групою, людина несвідомо починала уникати «надмірної» незгоди надалі. Вона вже ризикнула своєю репутацією один раз і далі прагнула компенсувати це, обираючи позиції, які з меншою ймовірністю викличуть суперечки чи осуд.

Тепер складіть ці три механізми разом — і отримаєте групу, яка переважно обговорює те, що й так усім відоме, через канал, який за своєю природою втрачає інформацію, і в середовищі, де є сильні стимули не розгойдувати човен. Це і є типова нарада. Як зробити наради ефективніше — читайте в Частині 2.