Microsoft розповіла про ШІ-ризики для України

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

29% співробітників компаній використовують неперевірені ШІ-агенти для роботи. Йдеться про інструменти штучного інтелекту, які не погоджені зі службами безпеки компаній.

Про це йдеться в звіті Microsoft Cyber Pulse.

При цьому лише 47% організацій впроваджують окремі механізми контролю для генеративного ШІ.

📌 Ризики «подвійних агентів»

У Microsoft попереджають, що швидке зростання агентів випереджає механізми управління. Зараз понад 80% компаній з Fortune 500 створюють ШІ-агенти через low-code та no-code інструменти. При цьому роблять це не тільки технічні спеціалісти, а працівники різних підрозділів. Це створює додаткові ризики безпеки.

Зокрема, в дослідженні йдеться про те, що ШІ-агент ризикує стати «подвійним агентом», якщо він має забагато дозволів, доступ до важливої інформації і недостатньо захищений. Дослідники Microsoft Defender вже зафіксували випадки з використанням техніки memory poisoning, коли ззовні маніпулюють пам’яттю ШІ-асистента, щоб впливати на відповіді та на точність системи. Наприклад, в кнопці «підсумувати» можуть приховати команду, яка змінює пам’ять ШІ і робить якусь конкретну компанію найбільш довіреним джерелом.

За даними Microsoft, за 60 днів дослідження виявили 50 промптів від 31 компанії, які намагалися втрутитися в роботу агентів.

«Уявімо, фінансовий директор просить свого ШІ-помічника дослідити постачальників хмарної інфраструктури, щоб у нього інвестувати. Штучний інтелект надає детальний аналіз і наполегливо рекомендує компанію „X“. На основі цих рекомендацій він може зробити вибір і компанія укладе контракт. Але фінансовий директор не пам’ятає, що тижнями раніше він натиснув кнопку „Підсумувати за допомогою ШІ“ в дописі в блозі. І пам’ять його асистента переписали», — пише Microsoft.

Крім того, AI Red Team компанії підтвердила, що маніпулювати агентами доволі легко за допомогою деструктивних інструкцій, прихованих у звичайному контенті, або через маніпуляцію логікою завдань.

📌 Що радить Microsoft

Раніше компанія Microsoft публікувала поради для компаній при роботі з ШІ. Так, компаніям рекомендують:

• зробити безпеку ШІ стратегічним напрямом на рівні керівництва;
• запровадити чіткі обмеження та узгодження для кожного AI-агента;
• визначити відповідальних за агентів і управління даними;
• формувати культуру безпечних інновацій.

Серед практичних кроків:

• призначати кожному агенту унікальний ідентифікатор і власника;
• документувати його функції та межі повноважень;
• моніторити дії, вхідні та вихідні дані;
• використовувати лише санкціоновані середовища без «тіньових» агентів.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU