Психометричні тести при наймі: які валідні, а які — той самий поліграф
Привіт! Мене звати Віра, я HRD міжнародної компанії, а ще власниця маленької рекрутингової агенції яка працює в діджитал, ІТ та будівельних напрямках. Пишу зазвичай про те, що й саму хвилює, та опираючись на досвід 12+ років. У цьому блозі розповім про психометричні тести при наймі.
У 1915 році студент психологічного факультету Гарварду винайшов прилад, який мав навчитися відрізняти правду від брехні за коливаннями артеріального тиску. У
У
Чоловіка звали Вільям Мултон Марстон. Псевдонауковий прилад — це прототип поліграфа. Тест із вашої HR-папки — це DISC.
Це не збіг і не жарт для затравки. Це буквально одна людина й один імпульс: виміряти щось важковимірне і продадуть результат як науку. І цей імпульс живий досі — просто тепер він називається «асесмент» і коштує в прайсі постачальника не дешево.
Минулого разу я детально розбирала, чому поліграф на співбесіді — це не про безпеку, а про ілюзію контролю, і чому Стаття 28 Конституції тут не на боці роботодавця.
Сьогодні йдемо ширше: які ще інструменти, які HR видає за «психометрику», насправді працюють за тим самим принципом театру замість доказів. І — для рівноваги — які реально передбачають, чи впорається людина з роботою.
Що взагалі означає «валідний»
Не «звучить розумно» і не «у нас так завжди робили». Валідність — це конкретна цифра: наскільки результат тесту корелює з тим, що людина потім реально показує на посаді. Шкала — приблизно від 0 (монетка) до 1 (телепатія, якої не існує). Усе, що вище 0,30, — вже пристойний прогноз для живих людей, які, на відміну від фізичних констант, вперто відмовляються бути передбачуваними.
Якщо постачальник тесту не може назвати вам це число — не тому, що воно складне, а тому, що його просто ніхто не рахував, — у вас в руках не психометричний інструмент. У вас в руках барвиста презентація.
Зала слави: що реально передбачає результат
Почнемо з хорошої новини — валідні інструменти справді існують.
Структуроване інтерв’ю. Не просто «розкажіть про себе», а заздалегідь прописані питання, однакові для всіх кандидатів на позицію, з чіткою шкалою оцінки відповіді. Валідність — 0,51 за мета-аналізом Шмідта і Хантера, який узагальнив 85 років накопичених досліджень (Psychological Bulletin, 1998). Для порівняння: звичайна розмова «за відчуттям», де інтерв’юер оцінює «сподобався — не сподобався», — 0,38. Різниця в 0,13 виглядає скромно на папері, але на практиці це різниця між системою, яка працює, і системою, яка вгадує, просто дуже впевнено.
Тестове завдання. Дати людині шматок реальної роботи й подивитись, що вийде — логічно, що це має працювати, і це справді працює. Щоправда, цифра з
Тести доброчесності. Ones, Viswesvaran і Schmidt ще
Когнітивні тести. Довгий час вважалися рекордсменом — 0,51, найкращий одиничний предиктор з усіх. У
Conscientiousness. Єдина риса з «Великої п’ятірки», яка стабільно передбачає продуктивність незалежно від посади, —
Театр: поліграф в інших костюмах
MBTI. Шістнадцять типів, тест, який пройшли мільйони, і більшість компаній зі списку Fortune 500 бодай раз його використовували. Проблема:
Найпоказовіше, що сам видавець, компанія Myers-Briggs, прямо пише у своїх правилах використання, що застосовувати MBTI для найму неетично, і може відкликати ліцензію в тих, хто це робить. Виробник буквально благає не використовувати його продукт так, як його використовують.
DISC. А ось тут на сцену знову виходить Вільям Мултон Марстон. Той самий чоловік, чия теорія емоцій 1928 року лягла в основу DISC, за 13 років до того винайшов систолічний тест артеріального тиску — прямого предка поліграфа. Вікіпедія прямо називає DISC «псевдонауковим» інструментом; мета-аналіз Lyons & Reid (2020) підтверджує, що конструктна валідність слабша за Велику п’ятірку.
І сюрприз, один з провідних видавців DISC теж прямо пише на своєму сайті, що тест «не рекомендований для скринінгу при наймі, бо не вимірює конкретне уміння чи фактор, специфічний для посади». Два тести, один винахідник духу, обидва видавці кажуть «не для найму», але дехто все одно використовує.
Ентеаграма. Дев’ять типів, походження — суфійська традиція, вчення Гурджієва і школа Оскара Ічазо. Жодного дослідження критеріальної валідності для прогнозу продуктивності — просто тому, що інструмент ніколи й не претендував бути емпіричним. Чудова тема для тімбілдингу з бокалом вина. Погана підстава для рішення, кого найняти.
Графологія. Аналіз почерку. Валідність — 0,02. Статистично це нуль, простіше кажучи — монетка, тільки з важчим папером. У Франції досі практикують.
Штучний інтелект, що «читає обличчя». HireVue кілька років тому продавала аналіз мімічних реакцій кандидата на відеоінтерв’ю як частину «оцінки». Власна головна дата-саєнтистка компанії згодом визнала: невербальні дані додавали приблизно 0,25% до точності прогнозу (до 4% для посад з високим рівнем клієнтського контакту) — тобто практично нуль. У січні
Чому театр все одно перемагає
Тому що він продається легше за науку. Валідний відбір вимагає роботи: прописати структуровані питання під кожну позицію, розробити тестове завдання, яке не з’їдає кандидату вихідні, — навчити людей, що оцінюють, бути послідовними одне з одним.
Театр вимагає купити ліцензію, роздати посилання на тест і отримати барвисту діаграму із чотирма кольорами за двадцять хвилин.
І це дає відчуття контролю. Коли керівник дивиться на діаграму MBTI кандидата, у нього виникає ілюзія, що рішення прийняте на підставі даних. Коли рекрутер каже «ми оцінюємо за структурованим інтерв’ю з ваговими критеріями», це звучить не так ефектно на слайді для власника бізнесу — хоча працює це помітно краще.
І ще ніхто не отримав звільнення за те, що купив MBTI для всієї команди. Це майже цитата з приказки про закупівлю IBM, тільки сумніша.
Що робити замість
Мінімальний робочий набір, який не потребує бюджету консалтингової компанії:
- Структуроване інтерв’ю з однаковими питаннями для всіх кандидатів на позицію і прописаною шкалою оцінки — безкоштовно, потребує лише часу на підготовку.
- Тестове завдання, максимально наближене до реальної роботи, розраховане на годину-дві, а не на вихідні кандидата.
- Перевірка рекомендацій — не формальний дзвінок «про всяк випадок», а конкретні питання про поведінку на попередньому місці.
- Якщо бюджет дозволяє — тест доброчесності або опитувальник на Conscientiousness від постачальника, який публікує дані валідності. Просити цифру, а не презентацію.
Це і є вся магія. Жодного детектора брехні не знадобиться.
Висновку не буде — ви й самі вже бачите візерунок. Якщо інструмент виглядає переконливо, але на питання «де дослідження валідності» відповідає тишею або презентацією замість числа — це поліграф. Байдуже, як він називається в прайсі постачальника. Поліграф ми вже розібрали. DISC щойно отримав свою частку.
16 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівнайефективніший спосіб найму на роботу — це амазон до ковіду. Кращоі системи та результату, як підготовлені кандитати, ще ніхто не придумав. Багато компаній перейняли багато елементів з Амазону, але не можуть зрозуміти, що Амазон розробив складний та серйозний процес підбору кандидатів, але секрет полягав у підготовці інтерв"юерів і ця підгтовка тривала дуже довго.
«Когнітивні Іграшка ти сама кричиш значно гучніше ніж вони стукають тести.» — здається цей текст треба підправити.
Дякую, я й не побачила, що при надиктовці вийшла каша яку не виправила. Вже йду редагувати.
сильна кореляція ніби то від 0.6.
наприклад треба відповісти на 60% на тесті щоб оцінка була «задовільно»
Якщо коротко, то це вважається поширеною помилкрю, бо 0,6 часто сприймають як «мінімум для хорошої кореляції». Але в психометрії та організаційній психології шкала трохи інша, адже людська поведінка набагато менш передбачувана, ніж результати вимірювань. Тому кореляція 0,30 вже вважається хорошою, 0,50 дуже сильною, а 0,60+ для одиничного інструменту зустрічається вкрай рідко. Саме тому структуроване інтерв’ю (~0,51) або комбінація когнітивного тесту зі структурованим інтерв’ю (~0,63) вважаються «золотим стандартом». А аналогія з 60% правильних відповідей на тест тут не працює, бо це зовсім інша метрика. Кореляція показує не відсоток правильних відповідей, а силу зв’язку між результатом тесту та майбутньою ефективністю на роботі. Якось так.
Загалом спираюсь на певний перелік статей, університетських лекцій та книг, сподіваюсь їм можна вірити)
це мабуть не дуже добре характеризує психологію як дисципліну.
в астрології мабуть ще менше значення вважається сильним
це та сама кореляція
Тут є дві різні речі. 🙂 По-перше, кореляція не означає «відсоток правильних відповідей». Якщо учень набрав 60% на тесті, це один показник. Якщо ж ми кажемо про кореляцію 0,60, то це коефіцієнт, який описує силу зв’язку між двома змінними, а не частку правильних відповідей.
По-друге, щодо психології. Людську поведінку принципово складніше прогнозувати, ніж фізичні явища. На продуктивність впливають десятки факторів: мотивація, керівник, команда, навчання, здоров’я, ринок тощо. Саме тому в психології коефіцієнти близько0,3-0,5 вже вважаються дуже хорошими. Для порівняння, багато медичних факторів ризику також мають кореляції далеко не 0,8-0,9, але це не робить їх марними.
А астрологія якраз не має надійних доказів прогностичної валідності, тому порівнювати її з психометричними інструментами не зовсім коректно. Різниця не в тому, що «кореляція нижча», а в тому, що для валідних психологічних методів цей зв’язок стабільно відтворюється в незалежних дослідженнях, а для астрології такого немає.
Хоча, підозрюю, що про астрологію то ви не надто серйозно.
я маю на увазі тест, де є відповіді. тобто тут кореляція між знанням матеріалу та тим як ви обираєте відповіді.
Я погоджуюсь, що будь-який тест має сенс лише тоді, коли є зрозуміло, з чим його результат корелює. У психометрії, коли говорять про валідність0,3–0,5, мають на увазі не частку правильних відповідей, а статистичний зв’язок між балом тесту і певним критерієм (наприклад, продуктивністю в роботі).
У тесті знань критерій може бути «знає матеріал / не знає матеріал». У відборі персоналу критерій значно складніший: наскільки людина буде ефективною в конкретній ролі. Саме тому цифри не можна переносити напряму.
якщо між «красівий» і «умний» кореляція 0.6,
то якщо пішов в барбершоп і покрасівшав в два раза, то поумнішав тільки на 50%
Ахаха, якби кореляція працювала саме так, барбершопи вже продавали б не стрижку, а курс підвищення IQ)))))
Але кореляція 0,6 не означає «став красивішим на 100% — став розумнішим на 60%». Вона не показує, наскільки одна величина зміниться через іншу, а лише наскільки вони пов’язані між собою у групі людей.
Наприклад, якщо ми бачимо кореляцію між хорошим результатом тесту і успішністю на роботі, це означає: люди з вищими балами в середньому частіше показують кращі результати. Але тест не «додає» людині продуктивність і не передбачає долю конкретної людини на 60%. Якось так
та ніт, кореляція показує ко-реляцію (тобто взаємний зв«язок), а що причина «умний» значить «красівий», чи наоборот цього не зрозуміти,
тобто вона покаже, що якщо умний, то і трохи красівий (і в зворотній бік теж)
тут мало бути «тільки на 60%»
якщо взяти пару USDUAH та UERUAH
то кореляція 0.6 між USD та EUR через курс гривні скаже нам, що якщо росте курс гривні до долара в 2 рази, то і до євро він виросте , але відносно трошки менше
Недавно видел вакансию, где собрали 5 подобных тестов и я решил поискать исследования, из всех тестов только у DISC были, мне не хватает квалификации, чтобы оценить научную работу по ней поэтому пошел обратным путем, нашел цитируемость работ, по итогу
Является самой достоверной из всего что есть, но ее не используют, как я видел, а используют только псевдонаучный хлам.
Была бы у нас система правопорядка и судостроения в нормальном состоянии, я бы не поленился каждого засудить, кто использует подобное, просто ради принципа.
Це, до речі, дуже правильний підхід як перший фільтр. Якщо немає кваліфікації оцінити статистику дослідження, варто хоча б подивитися, чи існує навколо інструменту незалежна наукова дискусія. Але сама по собі цитованість нічого не доводить: статтю можуть активно цитувати і для критики. Тому я врешті дивилася не на кількість цитувань, а на систематичні огляди й метааналізи, які оцінюють саме прогностичну валідність. І саме тут DISC суттєво поступається структурованому інтерв’ю, когнітивним тестам і Big Five.
Нагадаю, що вони були двома жіночками без профільної освіти і просто писали детективні колонки. Сам тест був створений ледве не по фану, щоб відправити це в газету
(Інформація з Вікіпедії + в Adam ruins everything було згадано вже з посиланнями це, серія про роботу)
Так, історія створення MBTI доволі показова, бо його розробили не академічні психологи, а Кетрін Кук Бріггс та її донька Ізабель Бріггс Маєрс, які адаптували ідеї Юнга без класичної психометричної підготовки. Початковою метою було допомогти людям краще зрозуміти себе та знайти відповідну роботу, а не створити науковий інструмент для відбору персоналу. Іронія в тому, що сьогодні його часто використовують саме для найму, хоча навіть правовласники MBTI прямо не рекомендують цього робити. Тай таке.