Новий Claude може здати вас поліції

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Нещодавно вийшов Claude 4, і в системній карті моделей ентузіасти знайшли функцію, яка, ймовірно, дозволяє моделі повідомляти відповідні служби, якщо хтось намагається згенерувати щось незаконне.

Сценарій звучить так: наприклад, якщо хтось просить модель сфальсифікувати дані клінічних досліджень, то Claude має надсилати сповіщення до управління з продовольства і медикаментів США.

Розробники клянуться, що в прод цю функцію не відправляли, але сам факт появи подібного функціоналу викликає багато питань.

Що ви про це думаєте? Це справді необхідно чи все-таки це перший крок до тотального контролю?

Теми: AI, Claude, моніторинг

Ctrl + Enter

Melnyczenko Mel 26.05.2025 14:24

в плані незаконних дій з «ші» взагалі скоро дуже «цікаво» буде. вже бачив що фотки паспортів досить реалістично генерять (мабуть якимись локальними LLM, не публічними сервісами), фотки документів, і т. д

цікаво, в який момент весь «справжній» контент почнуть підписувати чимось типу ЕЦП, щоб відрізняти від ШІ-сміття

Відповісти

Підтримати

Bohdan B 26.05.2025 14:23

Удачі компаніям, які хочуть замінити своїх співробітників LLMками :)

Vic Programmer 26.05.2025 14:43

Швидше вдача треба, двом хлопцям які засіли в гараж. В нашій індустрі завжди працює саме так. А IBM, Xerox та Bell labs за собою залишає лише великий спадок, з одного як робити безперечно треба фундамантальні досліди тощо, з іншого як то керівництво і структура керівництва — як робити ні в якому разі не треба.
BTW В Китаї вже організували гаражі де можна засідати, і в них вже є массові результати. Зокрема і LLM-ки теж, телефони : Huawei, Xiaomi, AIoT і т.д. середнього, бізнес та люкс сегменту ринку, Baidu і т.д. Між іншим створили массу софту і комплексних IT рішень під ключ, для ринку Південної Америки, тобто і комплексні промислові рішення, а не лише побутовий та офісний сегменти.

Bohdan B

Vic Programmer 26.05.2025 03:27

Але, Але. Вас погано, чути.
— путін! Бомба ! Тероризм !
— О! Ось тепер вас дуже добре чути.

Yegor Chumakov founder в startup 26.05.2025 02:34

Тому треба вчитись користуватись ollama та запускати ЛЛМки на власному залізі

Bot Bot 26.05.2025 14:26

Десь запалкав від щястя Джейсон Хуанг. Навіть топові 5090 чи 4090 далеко не все тягнуть, а якщо і тягнуть то дуже порізане що легше вже гугла чи потикати труп стек оверфлоу.

Yegor Chumakov

Ювженко Денис System Architect в Intellias 26.05.2025 00:02

Ну це було лише питанням часу, коли щось подібне почне з’являтися.

Відповіддю на це стануть сервіси, які гарантуватимуть, що будь-що, що ви згенерите, лишиться лише у вас.
Хоча й відповіддю на ці сервіси, стануть державні регуляції, які зобов’яжуть сервіси слідкувати за своїми користувачами і повідомляти поліцію або видавати історію промптів правоохоронним органам по запиту.
В свою чергу, відповіддю на це стануть ЛЛМ із «наскрізним шифруванням» або щось типу того, коли провайдер, а може й сама ЛЛМ, не зможуть однозначно затрекати контент запиту, а лише працюватимуть із метаданими токенів та шифрованими повідомленнями, де остаточна відповідь вже генеруватиметься на шифрованому клієнті, а сервер лише постачатиме необхідні дані.

Як завжди, почнеться гонка «списа і щита».

Про різні речі 24.05.2025 14:41

Це ще квіточки:
aboutdifferentthings.com/pro-shtuchnyi-intelekt

nerevar indoril 24.05.2025 15:04

Друже, досить спамити в кожному топіку своїм блогом.

Про різні речі

yvs2014 24.05.2025 15:38

«Квіточки» двух статей мало пов’язані. Відносно блог висновку «І в решті решт, машина компілює відповідь на основі матеріалів» — може скластися враження що мозок людини компілює відповідь на основі чогось іншого)