Історія про те, як в N-iX майже найняли ChatGPT на посаду Senior .NET Engineer

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Поява штучного інтелекту в технологічній галузі піднімає важливі питання про те, як ми можемо захистити наші процеси найму від майбутніх ризиків. В N-iX ми провели експеримент, щоб дослідити можливості та обмеження штучного інтелекту в рекрутингу. Ми взяли запитання для інтерв’ю на посаду Senior .NET Engineer та підготували на них відповіді з допомогою ChatGPT. Результат виявився досить шокуючим.

Трохи передісторії: минулого року ми організували .NET вікторину для технічної спільноти в N-iX. На моє здивування, дата-інженер, який не мав жодного досвіду в .NET, набрав найбільше очок за правильні відповіді. (В результаті він отримав найкращі призи😅)
Це змусило нас задуматися про можливість того, що хтось зможе хакнути нашу найважливішу вікторину — ту, де можна отримати оффер як результат 🙂.

Після публічної появи ChatGPT в Україні, ми з Олесем Лабою, Data Competence Lead в N-iX, вирішили провести відкрите інтерв’ю на позицію Senior .NET Engineer, де Олесь, як «Кандидат» без досвіду в .NET відповідатиме на всі питання інтерв’ю за допомогою ChatGPT. Під час цього фейкового інтерв’ю, співробітники N-iX виступатимуть в ролі журі та оцінять, чи повинен «Кандидат» отримати роботу. Вони також до останнього не знатимуть про те, що «Кандидат» насправді буде просто зачитувати відповіді ШІ.

Отже, ми взяли наші типові питання для інтерв’ю на позицію Senior .NET Engineer та отримали відповіді від ChatGPT. Більшість відповідей потрібно було скоротити через надмірну кількість наданої інформації. Для нас було шокуючим, що як код-рев’ю, так і завдання з проектування системи, які ми раніше використовували в інтерв’ю, були легко розв’язані ChatGPT.

Коли все було готово, ми зібрали понад 100 N-iX’ерів, щоб оцінити нашого підставного кандидата. По мірі проходження інтерв’ю, стало очевидним, що ChatGPT — це не просто звичайна мовна модель ШІ. ШІ надавав розумні та креативні відповіді, які показували глибоке розуміння .NET фреймворку та мови програмування. До самого кінця, я, провівши сотні технічних інтерв’ю у своїй кар’єрі, все ще не міг повірити, що ці відповіді належать ШІ.

Аудиторія була вражена, і в результаті загального голосування, «Кандидата апрувнули» для ролі Senior .NET Engineer. Здається, що ChatGPT пройшов остаточний тест — співбесіду на роботу — на відмінно.

Проте, коли ми розкрили правду, аудиторія була шокована, але під час дискусії всі швидко погодились, що це вже не так і зле 🙂.

Хоч ми й вирішили не наймати ChatGPT на позицію .NET сініора, експеримент навчив нас цінному уроку. Штучний інтелект може бути ключовим фактором у процесі найму, а також нові інструменти на основі ШІ можуть допомогти з щоденними задачами програмування. Нам потрібно досліджувати можливості та обмеження цих технологій.

Згідно з внутрішніми дослідженнями N-iX (які не є загальноприйнятними чи репрезентативними), деякі завдання, як приміром генерація шаблонного коду та тестування можуть бути прискорені завдяки ChatGPT навіть до 40%.

Під час обговорення з глядачами нашого інтерв’ю, ми зробили кілька висновків, які допоможуть зменшити ризики від використання ШІ під час співбесід:

• ШІ не є ідеальним, покищо. 🙂
  Він може надавати точні та релевантні відповіді на певні запитання. Однак, вони вимагають конкретних запитів та можуть упускати важливі нюанси та контекст.
• Інтерв’юери повинні користуватися своїм власним судженням та досвідом в процесі підбору кандидатів.
• Підготуйте запитання, на які неможливо відповісти за допомогою звичайного пошуку в Google або ChatGPT. Ставте відкриті запитання, які потребують від кандидатів продемонструвати свої навички вирішення проблем та критичне мислення.
• Задавайте конкретні запитання на основі резюме кандидата та фокусуйтеся на його попередньому досвіді та шляхах які привели його до рішень які він приймав.
• Переривайте кандидата(але не робіть це грубо;) та додавайте контекст до дискусії, ґрунтуючись на інформації за межами знань ШІ. (Приміром наразі, ChatGPT ще не може розв’язувати базових математичних задач і не знає про останні апдейти синтаксису)
• Оцінюйте культурну відповідність: важливо пам’ятати, що найкращий кандидат на посаду не обов’язково той, хто має найбільше технічних знань. Розглядайте особистість, стиль роботи та цінності.

На завершення, хоча використання ChatGPT та інших технологічних інструментів може шокувати деяких інтерв’юерів, важливо пам’ятати, що вміння ефективно використовувати ці ресурси є важливою навичкою для будь-якого програміста. Зосереджуючись на навичках вирішення проблем, здатності до співпраці та культурній відповідності, інтерв’юери можуть забезпечити вибір найкращого кандидата на посаду.

Запрошую усіх хто дочитав до кінця, долучитись до дискусії та поділитися своїми порадами щодо боротьби з використанням ШІ під час проходження співбесід.