Чому ШІ нас всіх вбʼє і чи є в нас ще шанси?

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Наївно вірити, що штучний інтелект, який перевершує людину, буде нашим другом і ми будемо йому потрібні

Це огляд книги If Anyone Builds It, Everyone Dies. The Case Against Superintelligent AI (укр. Побудує хтось один — помруть усі) від Еліезера Юдковського та Нейта Соареса.

Photo by Lucas Brito on Unsplash

Я не великий фанат горор-книг та фільмів жахів. Не те що вони мене не лякають, навпаки, мене легко піймати скрімерами або навіть простими деталями вбивств. Я просто класифікую ці твори наступним чином:

1. Це неможливо в реальному житті

2. Це можливо, проте я радше лотерею виграю, ніж мене зачепить

Тому не вважаю за потрібне витрачати на це свій час.

Проте я з превеликою цікавістю звертаю свою увагу на книги, в яких автори намагаються привернути увагу до абсолютно реальної небезпеки, яка нам всім, чи більшості з нас, загрожує.

Одна з недавніх таких книг Nuclear War: A Scenario (укр. Ядерна війна: Сценарій) від Енні Якобсен.

Інша, яку я тільки закінчив слухати, — If Anyone Builds It, Everyone Dies (укр. Побудує хтось один — помруть усі). Цю книгу написали Еліезер Юдковський та Нейт Соарес. І про неї я хочу трохи поговорити.

Почну з короткої інформації про авторів.

Перший і найголовніший — це Еліезер Юдковський.

Він відомий та шанований дослідник, прославився популяризацією ідей про безпечний ШІ та чому неконтрольований розвиток ШІ приведе нас всіх до загибелі.

Слухаючи книжки про ШІ та його розвиток, імʼя Еліезера звучало досить часто, майже завжди коли мова заходила про небезпеку, яку несе ШІ. Серед людей, що поділяють його думки, згадували таких топчиків, як Ілля Суцкевер чи Джефрі Гінтон.

Другий автор — Нейт Соарес.

До цієї книги я про нього ніколи не чув, тому довелось трошки почитати хто він. Нейт президент Machine Intelligence Research Institute — некомерційна організація яка досліджує ризики які несе ШІ, заснована Юдковським.

А тепер до головного.

Вся книга це по факту велика збірка уявних експериментів чи трагічних прикладів з метою переконати читача в тому, що штучний інтелект — це екзистенціальна небезпека для людства якщо ми не створимо його правильно.

Автори починають з того, що наводять деталі процесу створення штучного інтелекту та підкреслюють, що це більше схоже на процес вирощування, ніж будування. І що на виході ми отримуємо настільки великі набори значень, що творцям просто не зрозуміти, що взагалі там всередині.

Неповне розуміння результату і є першою ознакою небезпеки. Адже процес тренування штучного інтелекту не завжди досягає бажаної мети. І що виправляти помилки, чи налаштовувати отримане досить таки важко.

В цьому в принципі і є головна ідея книги. Маючи добрі наміри, ми можемо створити інтелект, який переважатиме людський, проте не буде нам підкорюватись. Або буде нас вводити в оману, імітуючи свою покору і роблячи що вважає за потрібним.

Дружелюбність ШІ це не є його гарантована властивість. Він може бути дружелюбним до людей. А може й вбачати в них загрозу, наприклад, боючись що ми створимо йому конкурентів.

Отже, від необачного створення штучного інтелекту який переважає нас хоча б на трохи програють всі.

Відштовхуючись від цього, Еліезер та Нейт намагаються пояснити свою теорію, що варіантів як нас може підкорити бунтівний ШІ безліч. І майже всі ці варіанти можуть матеріалізуватись настільки швидко, що в нас, людей, не буде часу навіть зрозуміти що відбувається.

І це, як я вже писав на початку, справжня загроза з якою ми можемо зіткнутись.

Особисто я вважаю такий сценарій вірогідним, хоча визнаю, спочатку мені здавалось це все трохи шапочками з фольги.

Найсумніше в цьому творі те, що автори теж визнають безвихідність ситуації: зупинити перегони за кращим ШІ зараз вже виглядає непосильним, туди гроші течуть без упину і вже навіть держави допомагають великим гравцям.

З того, що мене здивувало, це опасіння авторів стосовно ChatGPT-5. Адже це LLM — велика мовна модель, і ми вже досить добре знаємо, що вона добре запамʼятовує речі, непогано «думає», проте багато топових дослідників сходяться на тому, що LLM це потужний інструмент, але все ж таки тупикова гілка розвитку.

Мені важко якось однозначно підсумувати цей твір.

З одного боку, достатньо лячний прогноз. З іншого, вплинути на ситуацію можна лише обʼєднавшись всім разом, чого очевидно не буде. От і залишається тільки схрестивши пальці спостерігати за гонитвою за ШІ та сподіватись, що ми таки не побудуємо якусь хрінь, яка буде нашим вироком.

Ще додам, що хоч книга й досить невелика, проте вона все одно видалась мені трошки затянутою. В 2023 році Еліезер Юдковський написав статтю для Time, вона всього лише на 11 хвилин читання, проте, як на мене, коротко передає весь посил книги та мислення Юдковського. Тож раджу прочитати статтю, якщо часу на книгу немає.

Як вважаєш ти: чи дійсно розвиток ШІ загроза для людства?

Якщо так, чи думаєш ти що це трапиться за нашого з вами життя?

Цей довгочит та інші є також в мене на Medium 😌

І також анонси постів на тематику ШІ та інші викладаю в Telegram-каналі.
Ласкаво прошу!

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Засадничу різницю між тим, як працює LLM і тим, що могло би мати свою свідомість, можна порівняти з різницею між CPU і PLD (ПЛІС). Наскільки я розумію нинішній стан речей, нинішній ШІ подібний до надзвичайної складності програмованої логічної інтегральної схеми, яка не сидить і чекає вказівок (як міг би модуль центрального процесора), а яка як сутність, тільки в момент виконання запиту і існує. Він не думає, він просто зроблений так, що ви заливаєте в нього склянку води, а його внутрішня структура формує структуру вихідних потічків, через який вона виллється.
Поки що так.

На мою думку різниця в рівні інтелекту майбутнього AGI та людей буде як мінімум така ж (або навіть більша), ніж різниця в рівні інтелекту між людьми та мавпами. Просто уявіть 2 речі:

1) Наскільки нам, людям, неможливо пояснити мавпам складні концепції — як працюють автомобілі, літаки, комп’ютери та інтернет, які є закони астрофізики і що таке космос — так само неможливо буде і штучному інтелекту дати нам пояснення того, що він робить, над чим працює і як саме воно працює. Бо там будуть настільки складні системи з мільярдами/трильйонами пов’язаних компонентів, що жодна людська голова не зможе осягнути цей обсяг і зрозуміти всі взаємозв’язки. Лише на дуже-дуже-дуже поверхневому рівні. І це буде сприйматися як магія, бо як казав Артур Кларк — «Будь-яку достатньо розвинену технологію неможливо відрізнити від магії». Якщо хочеться більше подробиць — можна прочитати про карго-культ, де навіть не мавпи, а такі ж люди, як і ми з вами — намагалися копіювати лише зовнішній вигляд техніки, не розуміючи всієї тієї складності, яка є всередині цієї техніки і того, що зовнішній корпус — це десь 1%, а решта 99% реально важливих частин — знаходяться всередині. І навіть якби члени карго-культу розібрали реальний літак чи навушники чи рацію — вони б не зрозуміли, як воно працює, без знань фізики та інших пов’язаних наук.

2) Наскільки нам, людям, в принципі немає діла до того, як там живуть мавпи і чим займаються. Ну збирають собі банани, живуть на деревах, влаштовують бійки за самиць — ну й бог з ними. А ми в цей час досліджуємо базові частинки матерії в адронному колайдері і створюємо квантові комп’ютери. Така ж сама прірва в інтересах буде між людством та AGI і AGI буде до лампочки, чим ми, відсталі homo sapiens, займаємося на нашій маленькій планетці, коли він вже буде досліджувати цілі Галактики.

прочитати про карго-культ,

В цілому я розділяю вашу думку, проте з ось цим не згоден.
Карго-культ утворився через відсутність цивілізації та як наслідок освітнього процесу. Але це не означає, що ті люди, які робили макети літачків, не змогли б витратити 5-10 років та зрозуміти як воно насправді працює.

З AGI буде по іншому, він, в теорії, може почати робити речі такої складності, що нам не те, що часу не вистачить аби зрозуміти їх, не факт що наші мізки взагалі будуть готові до такого рівня знань.

На мою думку різниця в рівні інтелекту майбутнього AGI та людей буде як мінімум така ж (або навіть більша), ніж різниця в рівні інтелекту між людьми та мавпами.

если заменить AGI на инопланетян, то станет на порядок правдоподобнее. то что нам будут подсовывать под видом AGI будет называться gpt6 или 7. а то что ты описываешь нереализуемо, не хватает много предварительных шагов на которые уйдут столетия, причем какие шаги никто не знает. с текущими llm все было просто, все было готово уже в 50х годах, просто не хватало мощности и поэтому нельзя было реализовать. а для AGI нет концепции реализации

Мій прогноз по ШІ тут dou.ua/forums/topic/46531
Шансів в людства немає. Може людина як вид збережеться, але хазяїном на землі точно не буде. Максимум обмежені кількості індивідів в резерваціях

Ми не знаємо, що саме буде робити ШІ коли розвинеться і стане розумнішим за людину.
Але слабо віриться, що то буде щось хороше і приємне для більшості людей на землі

ШІ агенти у економічних відносинах між собою можуть застосувати двох валютну систему розрахунків, і це вже зараз. А ми — люди — ні. C-валюта це валюта капіталу та W-валюта яка є валютою зарплатні. Тобто ШІ взяли наші, капіталистичні гроші й зробили їм оптимізацію шляхом декомпозиції. Мухи окремо, котлети окремо. Бо тільки так можна з амортизацією працювати... Таким чином, вже у недалекому майбутньому побачимо економічну перевагу ШІ над людьми.

Підписатись на коментарі