AI-агенти вже мають доступи, як у людей. І це проблема безпеки. Як побудувати Zero Trust для ШІ-агентів?
ШІ-агент, не співробітник. Тоді чому цьому агенту дуже часто надають рівень довіри як працівнику? Ми надаємо агентам ті самі привілеї, інколи — адміністративний доступ. Питання риторичне.
Нещодавно Anthropic опублікували матеріал «Zero Trust for AI agents». Дуже цікавий матеріал, рекомендую ознайомитись.
Виділив найважливішу думку для себе:
Агенти — це вже не просто чатботи. Вони можуть читати документацію, викликати API, відкривати pull request’и, запускати workflow, писати код, а інколи — і виконувати його.
Тобто, фактично вони стають новим типом ідентичності всередині компанії. Так само, як співробітник, автоматизація або service user.
І ця ідентичність не дуже надійна. На неї можна вплинути за допомогою промптів. Вона може неправильно зрозуміти контекст. Вона може діяти швидше, ніж людина встигає це контролювати. А це вже змінює підхід з точки зору безпеки.
До сьогодні (здебільшого) всі ми будували доступи навколо людей і сервісних акаунтів. Агенти — це не люди і не звичайні сервісні облікові записи. Але вони так само мають облікові дані, можуть викликати інструменти та взаємодіяти з реальними системами.
Тому захист на рівні промптів і межі прийняття рішень (скілів агента) — корисна річ. Але цього недостатньо. Реальні механізми контролю мають працювати поза межами самого агента:
→ Агенту треба давати мінімально необхідний доступ.
→ Де можливо використовувати короткочасні ключі/облікові дані.
→ Ізолювати агента у окреме середовище (пісочниця, чи просто сегрегована середа).
→ Логувати кожну важливу дію агента.
→ Обмежувати набір інструментів, які може використовувати агент через whitelist (все, що не дозволено — заборонено).
→ Віддавайте фінальне рішення людині (human-in-the-loop).
Треба виходити з того, що рано чи пізно агент зробить щось несподіване (і, наймовірніше, це буде неприємний сюрприз). Зрештою, так завжди й буває, хіба ні?
Буду радий почути ваші думки.
PDF, який підготували Anthropic щодо Zero Trust for AI, безкоштовний. Можна почитати тут.
Підписутесь на блог
Підписуйтеся на мій блог у Telegram та LinkedIn, та слідкуйте за кібербезпекою.
Ваш @stansecure
4 коментарі
Додати коментар Підписатись на коментаріВідписатись від коментарівOracle Deep Data Security
www.oracle.com/...urity-technical-brief.pdf
Так, дякую. Наскільки зрозумів Oracle Deep Data Security використовує спеціальні політики, які перевіряються під час виконання SQL та переписують запити таким чином, щоб забезпечити авторизацію на рівні рядків, стовпців — залежно від того хто виконує SQL запит, та чи цей запит безпечно сформовано.
Думаю, що це непогане рішення для забезпечення безпеки на рівні БД при використанні ШІ агентів. Документ, що запропонував Claude, це більше загальні підходи до безпеки при використанні ШІ агентів.
Просто завжди human loop
Так, human-in-the-loop дуже важливий при роботі з ШІ-агентами, його обов’язково треба додавати де це можливо. Zero Trust for AI agents це більше про фреймворк як зробити систему з агентами безпечною by design, і human loop це один з цих інструментів.