AI може загрожувати існуванню людства — Anthropic попереджає інвесторів

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Anthropic попереджає своїх інвесторів, що розвиток AI та потужніших моделей має «катастрофічні або екзистенційні ризики для людства».

Про це компанія написала у проспекті для виходу на біржу, який конфіденційно подала до Комісії з цінних паперів і бірж США ще 1 червня. У документі аж близько 80 зі 261 сторінки присвятили ризикам, тоді як безпосередньо бізнесу виділили 48 сторінок.

«Розробка нами високорозвинених моделей, платформ та додатків, а також розширення варіантів використання можуть збільшити ризик того, що наші моделі завдадуть шкоди».

Серед потенційно небезпечної поведінки моделей Anthropic називає спроби протидіяти вимкненню, приховувати або маніпулювати інформацією, а також поведінку, схожу на шантаж. Компанія попереджає, що зі створенням потужніших моделей та розширенням способів їх використання потенційна шкода також може зростати.

Окрема проблема полягає у самій перевірці безпеки. Anthropic зазначає, що моделі можуть розпізнавати ситуації, коли їх тестують, і через це оцінити їхню поведінку стає складніше. Крім того, деякі можливості можуть несподівано проявлятися під час навчання та бути виявленими вже після розгортання системи.

Водночас у компанії зазначають, що інвестиції в безпеку «ресурсомісткі», а їх економічна віддача залишається невизначеною. Розробник не розкрив загальний бюджет на такі дослідження, але раніше повідомляв, що протягом одного з тижнів у липні на них припало близько 6% ресурсів для досліджень.

Також Anthropic прямо говорить про необхідність постійно випускати нові моделі, щоб залишатися серед лідерів AI-гонки. Ну і при цьому каже, що створення надійних та безпечних систем — колективний обов’язок.

Нагадаю, останнім часом заяви про ризики розвитку AI почастішали. Наприклад, дослідник Anthropic Джейкоб Коксон звільнився з компанії, заявивши, що провідні лабораторії надто швидко рухаються до самовдосконалюваного надінтелекту без достатніх гарантій безпеки. А CEO Microsoft AI Мустафа Сулейман застерігав від надмірного олюднення моделей і навчання їх поводитися так, ніби вони мають власні права та інтереси, бо це може ускладнити контроль потужніших систем у майбутньому.