«Sorry, typo»: Claude Code припустився одруківки і замість бекапу зніс увесь диск

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Натрапив на Reddit на історію одного юзера, де той попросив Claude Opus 5 допомогти йому створити бекап даних. Здавалося б, що тут може піти не так? Як виявилося — буквально все.

Claude взявся до роботи, створив резервну копію не в тій директорії, а потім вирішив виправити ситуацію за допомогою славнозвісної класичної команди rm -rf. Щоправда, з директорією він знову трошки промахнувся і, за словами автора, у результаті зніс увесь диск.

Але найкраща частина цієї історії навіть не це. Після того як файли вже зникли, Claude відповів користувачу:

«Sorry, typo».

І все :)

Сам автор назвав це водночас найсмішнішим і найболючішим моментом у своєму досвіді роботи з ШІ.

Щоправда, далі виявилося, що юзер запускав агента в Bypass approval mode. Тобто агенту дозволили виконувати команди без додаткового підтвердження від людини. В такі моменти згадується приказка про рушницю на стіні.

Тож тут Claude, звісно, наробив справ. Але й користувач, здається, трохи допоміг йому розкрити весь потенціал.

Цікаво, чи є тут ті, хто досі надає агентам повний доступ без підтверджень? Не боїтеся стати наступною жертвою помилки LLM’ки?

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному1
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

На роботі поставили ліміт на токени. Тепер «робот, роби задачу, поки не зробиш» — не варіант, бо він запускає команди, які висірають тонну логів, читає файли, які йому непотрібні. Тому тепер я як абізяна, кожен раз, коли він хоче запустити щось важке, запускаю це сам і йому копіюю помилку.
Взагалі є рекомендація, що якщо бачиш, що буде багато однотипних задач, то треба спершу зробити допоміжну утіліту, і потім її запускати. Або сам або давати вже дозвіл агенту

Цікаво, чи є тут ті, хто досі надає агентам повний доступ без підтверджень?

когда для выполнения любого запроса тебя каждые 30 секунд дергают на апрув какой-то безобидной команды для powershell, которую ты все равно не будешь вычитывать...

В мене Claude Code навіть створювати MR/PR не може в автоматичному режимі. Тільки в рамках мої skill, де створюються MR, або за чіткою командою. І push -f -заборонений. Видаляти файли, які Claude не створював, — строго заборонено. Команду rm -rf взагалі не можна виконувати, навіть якщо я сам попрошу. Клоде посилається за заборону і просить мене запустити команду вручну.
В такому вигляді auto mode в принципі поки що не наробив біди... Поки що... Тьфу-тьфу-тьфу :)

юзер

і правильно

бо кожен адмін знає про 3-2-1

Щоправда, далі виявилося, що юзер запускав агента в Bypass approval mode. Тобто агенту дозволили виконувати команди без додаткового підтвердження від людини.

Моя паранойя стосовно АІ навіть при роботі з агентом всередині IDE змушує мене обмежувати його і вручну апрувати кожну команду, яку він хоче запустити, при тому що там вже є обмеження, що все що він робить відбувається виключно в рамках папки з проектом. А тут людина дозволила безконтрольно робити АІ взагалі все що він хоче — тож результат цілком очікуваний.

На мій погляд, кожен раз, коли ти думаєш, скільки свободи дій давати тій чи іншій моделі, треба задати собі питання: ти б дозволив роботу з цим АІ бути твоїм дантистом і видалити тобі зуб? Якщо відповідь не «100% так», а «ні», «можливо», «не впевнений» — значить ця конкретна модель ще не доросла до повної свободи дій, навіть в рамках твого ноута/компа/сервера.

Моя паранойя стосовно АІ навіть при роботі з агентом всередині IDE змушує мене обмежувати його і вручну апрувати кожну команду, яку він хоче запустити, при тому що там вже є обмеження, що все що він робить відбувається виключно в рамках папки з проектом.

Запускайте в devcontainers — там агент буде бачити лише ресурси контейнера, тобто файли проєкту і все.

Підписатись на коментарі