ШІ пише вразливий код майже в половині випадків — звіт Veracode

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Близько 45% коду, згенерованого ШІ, містить серйозні вразливості. Аналітики перевірили понад 1600 прикладів коду, які згенерували моделі OpenAI Codex, GPT-3.5 і GPT-4 у межах 12 різних завдань.

Про це свідчать дані нового звіту компанії Veracode.

Виявилося, що в середньому 45% відповідей містили серйозні проблеми безпеки — наприклад, SQL-інʼєкції, XSS, помилки з валідацією введення чи авторизацією. Найгірші результати показав код на Java: вразливості знайшли у 80% випадків. У Python і JavaScript таких помилок було менше — приблизно 30–40%. Втім, якість значно покращувалась, якщо користувачі прямо просили ШІ враховувати безпеку.

Чому ШІ пише небезпечний код

Veracode пояснюють: моделі ШІ намагаються створити код, який виглядає правильним, але не завжди дотримуються принципів безпечної розробки. Тому програмістам радять не покладатися на ШІ повністю, а перевіряти код вручну і через інструменти пошуку вразливостей.

Для убезпечення дають кілька рекомендацій:

  • запускати перевірку коду (статичний аналіз) з самого початку;
  • використовувати інструменти на кшталт Veracode Fix для швидкого виправлення помилок і враховувати безпеку навіть у роботі ШІ-асистентів.
  • застосовувати Software Composition Analysis — це аналіз бібліотек з відкритим кодом, щоб виявляти небезпечні компоненти, а ще встановити «фаєрвол для пакетів», який блокує відомі шкідливі залежності ще до встановлення.

Нагадаємо, нещодавно ми розповідали, що Anthropic вводить тижневі обмеження на використання Claude, щоб зупинити зловживання — зокрема постійне фонове використання й продаж доступу. Нові ліміти почнуть діяти 28 серпня для всіх користувачів тарифів Pro і Max. Залежно від плану, користувачі отримуватимуть від 40 до 480 годин Sonnet 4 і до 40 годин Opus 4 щотижня.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU

👍ПодобаєтьсяСподобалось3
До обраногоВ обраному1
LinkedIn



4 коментарі

Підписатись на коментаріВідписатись від коментарів Коментарі можуть залишати тільки користувачі з підтвердженими акаунтами.

Або просто Veracode заточений на пошук вращливостец саме в Java коді, позаяк більшість їх клієнтів це enterprise.
Банальним Stack Overflow розробкою при чому Індійських джуніорів результат не погано би порівняти, і більше одного санітайзера викорастати.

а який % коду створеного без АІ містить серйозні вразливості ?
я не здивуюсь якщо результат буде схожим
PS: в схожих умовах звісно — дати 12 завдань фрілансерам або щось таке...

Ну як кажуть garbage in — garbage out. На чому ці моделі тренували, те вони і відтворюють.

не сприймаю код, написаний AI, як завершений — для мене ці інструменти радше для закриття рутиних задач по написанію внутрішніх утіліт по роботі з проектом (треба багато конфігурувати і для цього раніше були PS скрипти, а зараз пакети на ноді) та продакшен коду, який після або та покривається тестами або переглядається (бо інколи вилізає діч).

Щодо репорта від віракод — було б непогано хоча б кілька прикладів промпітів навести, після якої виник код з можливістю SQL-інʼєкції. Можливо там проблема не у AI, а у прокладці між екраном та клавіатурою і вайб-кодінг стилю роботи. Бо я трохи сумніваюсь (на власному досвіді), що подібне можливо, у випадку, якщо прокладка знає про ази використання SQL запитів.

А загалом, використання статичного аналізу та подібних інструментів, має бути стандартом, особливо для компаній, які працюють на европейський, міл-тек, тощо ринки.

Підписатись на коментарі