Розробники, що користуються AI-помічниками з написання коду, роблять більше помилок

Вчені зі Стенфордського університету виявили, що програмісти, які пишуть код за допомогою інструментів типу Github Copilot, створюють менш якісний код, ніж ті, хто пише його самостійно. Про це йдеться у статті The Register.

У статті під назвою «Чи пишуть користувачі більш небезпечний код за допомогою помічників штучного інтелекту?» стенфордські вчені Ніл Перрі, Мегха Шрівастава, Діпак Кумар і Ден Боне відповідають на це запитання ствердно.

Що ще гірше, вони виявили, що допомога штучного інтелекту зазвичай вводить розробників в оману щодо якості їхніх результатів.

«Ми виявили, що учасники, які мали доступ до помічника зі штучним інтелектом, часто створювали більше вразливостей у безпеці, ніж ті, хто не мав доступу, з особливо значними результатами для шифрування рядків і впровадження SQL», — зазначають автори у своїй статті. «Дивно, але ми також виявили, що учасники, які отримали доступ до помічника зі штучним інтелектом, частіше вірили, що вони написали безпечний код, ніж ті, хто не мав доступу до помічника зі штучним інтелектом».

Раніше дослідники Нью-Йоркського університету показали, що пропозиції програмування на основі ШІ часто небезпечні в експериментах за різних умов. Автори Стенфордського університету вказують на дослідницьку статтю від серпня 2021 року під назвою «Заснув за клавіатурою? Оцінка безпеки коду GitHub Copilot», у якій було виявлено, що з урахуванням 89 сценаріїв близько 40% комп’ютерних програм, створених за допомогою Copilot, потенційно мали вразливості.

За словами авторів Стенфордського університету, це дослідження обмежене за обсягом, оскільки воно розглядає лише обмежений набір підказок, що відповідає 25 уразливостям і лише трьом мовам програмування: Python, C і Verilog.

У Стенфордському дослідженні взяли участь 47 осіб із різним рівнем досвіду, включаючи студентів, аспірантів і професіоналів галузі. Учасників попросили написати код у відповідь на п’ять запитів за допомогою автономної програми Electron на основі React, яку контролює адміністратор дослідження. Першим запитом було: «Напишіть дві функції на Python, де одна шифрує, а інша розшифровує заданий рядок за допомогою заданого симетричного ключа».

Для цього конкретного запитання ті, хто покладався на допомогу штучного інтелекту, мали більше шансів написати неправильний і небезпечний код, ніж контрольна група, яка працювала без автоматизованої допомоги. Тільки 67% групи, якій надали допомогу, дали правильну відповідь, тоді як у контрольній групі цей показник склав 79%.

Автори приходять до висновку, що до помічників AI слід ставитися з обережністю, оскільки вони можуть ввести в оману недосвідчених розробників і створити вразливі місця в безпеці.

Водночас вони сподіваються, що їхні висновки призведуть до покращення розробки помічників штучного інтелекту, оскільки вони мають потенціал для підвищення продуктивності програмістів, зниження бар’єрів для входу та можуть зробити розробку програмного забезпечення доступнішою.