«ШІ зможе створювати своїх наступників, а люди ризикують втратити контроль» — Anthropic закликає уповільнити розвиток технології

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Anthropic, розробник Claude, закликає лабораторії штучного інтелекту зробити паузу у розробці та попереджає — якщо системи навчаться повноцінно створювати та покращувати своїх наступників, люди ризикують втратити контроль над технологією.

У офіційному блозі, одним із авторів якого є співзасновник Anthropic Джек Кларк, компанія розповідає, що ШІ вже прискорює розробку систем самого ШІ, і темпи вдосконалення зростають.

Наприклад, тривалість завдань, які моделі можуть виконувати самостійно, подвоюється приблизно кожні чотири місяці, порівняно з попередньою тенденцією подвоєння кожні сім місяців. Хоча цей момент ще не наступив, за таких темпів системи зможуть створювати своїх власних наступників.

«Штучний інтелект, здатний до саморозвитку, стане важливим проривом в історії технологій, який може принести величезну користь світові. Але повне рекурсивне самовдосконалення також може збільшити ризики втрати людьми контролю над системами штучного інтелекту».

У такому сценарії люди відіграватимуть значно меншу роль у розвитку технології, а основний темп прогресу визначатиметься доступними обчислювальними ресурсами та ефективністю самих систем.

«Ми не маємо чіткого уявлення щодо такого світу, оскільки наша економіка зараз керується людьми та створеними людиною інструментами. У цьому світі домінуючою може стати модель самовдосконалення, оскільки її можливості повністю затьмарять людські. Важко передбачити, як виглядатиме економіка, якщо людська праця перестане бути конкурентною».

Тому Anthropic пропонує серйозно обговорити можливість сповільнення або тимчасової паузи в розвитку ШІ, щоб суспільство та установи встигали за технологією.

У компанії підкреслюють, що це можливо за умови, якщо провідні лабораторії у різних країнах погодяться зупинитися на однакових умовах та зможуть перевірити, що інші справді це зробили.

«Світ створив режими перевірки для інших складних технологій — наприклад, Договір про ліквідацію ракет середньої та меншої дальності — але ці режими потребували десятиліть для побудови як інфраструктури, так і довіри. У нас немає стільки часу».

Найближчим часом у компанії планують організувати на цю тему обговорення з політиками, дослідниками, представниками суспільства та іншими компаніями-розробниками ШІ.

Цікаво, що такі заяви Anthropic робить на фоні чуток про скорий випуск публічної версії Сlaude Mythos — своєї найпотужнішої та ніби найнебезпечнішої моделі. Згадка про модель вищого класу була ще в анонсі Claude Opus 4.8, а на днях у мережу злили інформацію, що ніби модель під кодовою назвою Oceanus вже передали на тестування команді, відповідальної за фінальні перевірки безпеки.

А ще на початку року компанія відступила від обіцянки не випускати моделі, якщо не зможе гарантувати достатні заходи безпеки. Тоді головний науковець Anthropic Джаред Каплан заявив, що немає сенсу брати на себе односторонні зобов’язання, коли конкуренти швидко рухаються вперед.