ChatGPT відповідає неправильно на 52% питань щодо програмування — дослідження

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

На конференції Computer-Human Interaction було представлене дослідження, згідно з яким 52% відповідей на тему програмування, які генерує ChatGPT, є неправильними.

Науковці переглянули 517 запитань у Stack Overflow та проаналізували спроби ChatGPT відповісти на них.

«Ми виявили, що 52% відповідей ChatGPT містять дезінформацію, 77% відповідей є більш багатослівними, ніж відповіді людини, а 78% мають ті чи інші розбіжності».

Команда також провела лінгвістичний аналіз 2 000 випадково вибраних відповідей ChatGPT і виявила, що вони були «більш формальними та аналітичними», а також відображали «менш негативні настрої».

Більше того, дослідники опитали 12 програмістів (звісно, це невелика вибірка) і з’ясували, що 35% з них надають перевагу ChatGPT, а 39% не помічають помилок, згенерованих ШІ.

Останнім часом програмісти звертаються до чат-ботів за допомогою з кодом — це, своєю чергою, завдає удару по таких компаніях, як Stack Overflow, яка минулого року була змушена звільнити майже 30 відсотків своїх співробітників.

А як часто ви «підловлюєте» ChatGPT на помилках? Бувало таке, що ви використали код, згенерований ШІ, і лише згодом виявили, що він був неправильний?