«Творці AI вірять, що він може вбити всіх до кінця десятиліття», — дослідник Anthropic звільнився через страх щодо неконтрольованого AI

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Джейкоб Коксон, дослідник Anthropic, який до цього працював в OpenAI, звільнився з компанії та заявив, що залишає індустрію через побоювання щодо гонки за самовдосконалюваним надінтелектом.

За його словами, провідні лабораторії рухаються до систем, які зможуть дедалі більше брати участь у створенні власних наступників, тоді як достатніх гарантій їхньої безпеки досі немає.

«Люди, які створюють штучний інтелект, щиро вірять, що він може вбити нас усіх до кінця десятиліття. Багато керівників та старших дослідників, можливо, навіть вигадують свої висловлювання в пресі, щоб вони звучали розумно, але я чую, як ті самі люди висловлюють страх приватно. Жодна інша діяльність людини не становить такого рівня небезпеки».

На думку Коксона, у міру розвитку такі системи можуть перевершити людей у дедалі більшій кількості сфер, отримати можливості для складних кібератак та доступ до реальних ресурсів.

Дослідник стверджує, що в OpenAI багато хто ще не до кінця усвідомив цивілізаційні ставки, а в Anthropic ризики добре розуміють, але компанія вважає, що мусить першою дістатися до мети, бо не довіряє іншим.

Із Коксоном погодився також інший науковий співробітник Anthropic Еван Гюбінгер. Хоча ризик від нинішніх моделей він вважає низьким, оцінює ймовірність того, що AI може призвести до загибелі всіх людей протягом наступного десятиліття, у понад 10%. За його словами, компанія намагається розв’язати проблему alignment, але поки не має готового плану.

Нагадаю, що сама Anthropic раніше публікувала матеріал про recursive self-improvement, де пише, що такого рівня автономності ще не досягнуто і він не є неминучим, але AI вже виконує дедалі більшу частину роботи над розвитком AI, і на це треба зважати.

Тож ситуація виходить зараз така — люди, які безпосередньо працюють над найпотужнішими AI-системами, одночасно будують їх та публічно попереджають, що не знають, як гарантовано контролювати значно потужніші системи в майбутньому.