Чому AI job-match score з одним відсотком ніхто не довіряє

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Роблю Chrome-розширення, яке збагачує LinkedIn-профілі: шукає верифікований email, пише крижок для першого контакту і оцінює, наскільки людина підходить під вакансію. Остання частина job-match score виявилась найцікавішою з технічної точки зору, бо перша версія працювала правильно, але їй ніхто не довіряв.

Перша версія: просто відсоток

Модель читала вакансію і профіль, повертала число: «73% match». Технічно все ок, модель дійсно оцінювала релевантний досвід, навички, рівень. Але користувачі відсоток ігнорували або перевіряли профіль вручну все одно. Число без обґрунтування виглядає як вгадування, навіть коли воно точне.

Чекліст замість числа

Замінили на список: що збігається, чого бракує, по одному рядку, витягнуто з тексту самої вакансії, а не з загального шаблону вимог. Довіра виросла помітно, хоча модель під капотом та сама, просто тепер результат можна перевірити за кілька секунд, а не повірити на слово.

Фідбек, який змусив передумати ще раз

Виклав цю історію в одному з sales/AI-тредів, і отримав кілька коментарів, які показали, що чекліст це ще не фінал:

• Один досвідчений рекрутер (500+ оцінок, 200+ технічних співбесід) зауважив, що люди й самі собі не довіряють, коли пишуть висновок ПІСЛЯ числа, а не ДО нього. Порядок «спочатку обґрунтування, потім число» і для AI, і для людини.
• Інший коментар влучив ще точніше: коли скануєш 50 профілів, шукаєш причину сказати «ні», а не причину сказати «так». Тобто відсутні вимоги мають йти першими, а не збіги.
• І третій: одна пропущена hard requirement (наприклад, обов’язковий досвід з конкретною технологією) не повинна виглядати так само, як кілька дрібних розбіжностей у soft-skills. Зараз усе змішується в одне число.

Жодна з цих ідей не була очевидною, поки продукт не побачили реальні люди, які щодня оцінюють кандидатів вручну.

Що далі

Зараз переробляю чекліст: спочатку hard-requirement gaps (вони обмежують максимальний score), потім soft-fit сигнали (вони лише коригують у межах цієї стелі). Ще одна ідея з фідбеку це дозволити один раз позначити пункт як нерелевантний для конкретної вакансії і більше не бачити його щоразу заново поки в беклозі, але виглядає правильно.

Якщо комусь цікаво — розширення тут: leadenricher.net. Буду радий фідбеку, особливо якщо у вас є досвід побудови подібного скорингу (candidate matching, lead scoring чи будь-що, де AI повертає число, якому людина має повірити).