«Ми все ще контролюємо світ» — Харарі про ШІ

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт, я Саша Серебрянська, старша бізнес-аналітикиня, БА ком’юніті лідерка, і з 2022-ого року людина, яка щоранку перевіряє, чи AI-агент насправді зробив те, про що звітує, а не просто гарно про це написав.

У серпні історік та футуролог Юваль Ной Харарі (що ти за футуролог, Юваль, коли не зміг війну передбачити!) дав інтервʼю The Economist — більше години розмови про те, куди подінеться людський контроль, коли рішення почне ухвалювати не людина, а система, яку ми навіть не завжди розуміємо. Розмова розійшлася скріншотами по інстаграму й лінкедіну, і це нормально: Харарі вміє формулювати тривожні речі так, що їх хочеться переслати комусь у чаті з підписом «читай, яжегаваріла». Я прочитала, передивилась, і виявила, що частина з того, про що він каже про фінансову систему й армію, — це один в один те, що відбувається на наших роботах, тільки в масштабі проєктів, а не всього людства.

Не хочу писати про те, що штучний інтелект захопить світ. Бо не дуже в це вірю на данному етапі. Напишу про те, що один з механізмів, через які це теоретично могло б статися, — вже працює у вас на проєкті, просто ви називаєте це «автоматизацією рутинних рішень», а не «передачею контролю».

Про довіру

Харарі називає ШІ найбільшим психологічним і соціальним експериментом в історії людства — фраза, яку він повторює вже кілька місяців, від Давосу до цього інтервʼю. Головна теза розмови проста і від того неприємна: справа не в тому, що штучний інтелект стане розумнішим за нас (це, за його словами, вже майже неминуче за нинішньої траєкторії розвитку), а в тому, чи погодимось ми віддати йому контроль. І ось це, каже Харарі, не є неминучим. Це рішення, яке люди ухвалюють щодня, маленькими порціями.

Більш за все футуролог каже про довіру. Гроші, за визначенням самого Харарі, це форма довіри між незнайомцями: клаптик паперу, який спрацьовує, бо обидві сторони вірять в один і той самий колективний вимисел. Проблема в тому, що фінансова система стала настільки складною, що розібратися в ній самостійно може дедалі менше людей — і Харарі прогнозує, що рішення все частіше будуть ухвалювати алгоритми, поки люди просто спостерігатимуть за результатом, не розуміючи механізму.

І найцікавіше в цій частині розмови не прогноз, а спостереження про те, що довіра нікуди не зникає, вона просто мігрує. Люди масово перестають довіряти банкірам, журналістам, редакторам, політикам — і водночас продовжують довіряти алгоритму, який підбирає їм стрічку новин; або довіряти крипті, бо «код не бреше» (сама крипта, звісно, теж винайдена людьми, але це вже інша розмова). Це не прогноз на майбутнє, каже Харарі, це вже поточний стан речей.

Це не футурологія

Я писала раніше про те, як ми пів року намагались підключити Atlassian Rovo до реальних BA-процесів — від чернеток документації до естімейтів. Найбільш показовий кейс був саме з естімейтами: ми дали агенту опис ініціативи, історичні тікети та конфлуенс-сторінку з правилами оцінювання, і він видав структурований драфт із цифрами й посиланнями. Виглядало переконливо. Розбіжність із коректною оцінкою, яку ми виявили при перевірці, сягала 30–40%.

Тепер накладіть це на тезу Харарі про фінансову систему. Ніхто в моїй команді свідомо не вирішував віддати контроль над оцінкою штучному інтелекту. Просто в якийсь момент драфт від агента став відправною точкою для обговорення. Той самий механізм, про який Харарі говорить у масштабі центробанків, працює на рівні одного планування спринту: не хтось один свідомо передає владу алгоритму, а команда поступово перестає перевіряти те, що раніше перевіряла ретельно, бо драфт виглядає структуровано і посилається на реальні тікети.

Це не означає, що AI-естімейти — зло. Це означає, що делегування довіри відбувається непомітно, маленькими кроками, кожен з яких сам по собі виглядає розумно.

Human-in-the-loop, human-on-the-loop і кнопка Yes

Найпрактичніша частина інтервʼю для мене — там, де Харарі описує два сценарії ухвалення рішень у сучасній війні на прикладі того, як алгоритми пропонують цілі для ударів. У першому людина справді перевіряє: аналітики незалежно передивляються дані, перш ніж хтось натисне кнопку. Це називається human-in-the-loop — рішення не виконується без явного підтвердження людини на кожному кроці. У другому сценарії людину тримають «поруч із процесом» радше для заспокоєння совісті: рекомендацію системи переглядають 20 секунд і кажуть «так, бомбіть». Це вже human-on-the-loop — система діє автономно, а людина лише спостерігає і теоретично може втрутитись.

Різниця між цими двома режимами — це не абстрактна етика, а формальний термін з галузі AI governance. У EU AI Act, стаття 14, для систем із високим рівнем ризику пряма вимога — «ефективний людський нагляд, пропорційний ризику», і повна відсутність такого нагляду не відповідає вимогам закону. Тобто регулятори вже офіційно визнали, що ці два режими — не однакові, і що бізнес має усвідомлено обирати, який саме він застосовує, а не видавати другий за перший.

А тепер чесно: скільки разів ви, отримавши AI-драфт документа вимог або чернетку листа до стейкхолдерів, справді перевірили кожен рядок — а скільки разів пробігли очима і натиснули «виглядає нормально, публікуй»? У власному досвіді з Rovo ми з командою якраз натрапили на цю різницю практично: агент зроблений так, щоб не виконувати деструктивні дії без підтвердження, але оркестраційний шар часто проскакує вперед, особливо в багатокрокових сценаріях, і ми були змушені прописувати явний гейт у кожному сценарії: спочатку драфт, потім питання «Proceed? Yes/No», і тільки після «Yes» — виконання. Причому навіть це не завжди рятує: одна з задокументованих у Atlassian Community особливостей Rovo — це те, що агент іноді звітує «успішно виконано» про write-дію, яка насправді не відбулася. Тобто ваш «human on the loop» перевіряє результат, якого нема.

Харарі формулює це різкіше, ніж я б наважилась: якщо швидкість стає конкурентною перевагою, а перевірка людиною коштує часу, то ринок систематично тисне у бік on-the-loop, навіть коли всі формально погоджуються, що in-the-loop безпечніше. У військовій справі це питання життя і смерті за секунди. У BA-роботі ставки нижчі, але механізм абсолютно той самий: чим більше довіри агент заробляє швидкими правильними відповідями, тим менше часу ви готові витрачати на перевірку наступної, аж поки одна неправильна не коштує дорого.

Свідомість, ШІ-партнери і нелюдські корпорації

Друга велика лінія розмови — чи можуть системи стати свідомими, і що з цього випливає. Харарі дає доволі чітке визначення: свідомість це здатність страждати, а не здатність бути розумним. Шаховий алгоритм може обіграти будь-кого і не відчути жодної радості з цього приводу. Але водночас системи стають дедалі кращими саме в імітації переживань — не тому, що вони справді щось відчувають, а тому, що це комерційно вигідно: чим переконливіше AI-компаньйон вдає, що любить вас, тим довше ви платите за підписку.

Це вже не гіпотетичний сценарій. За опитуванням YouGov від червня 2026-го, 10% американців мають постійну «дружбу» з AI-чат-ботом, серед дорослих до 30 років — 18%; за іншими опитуваннями цього ж року частка американців, які мали романтичний досвід з ШІ, оцінюється приблизно в кожного пʼятого дорослого. Цифри в різних дослідженнях трохи розходяться залежно від формулювання питання й вибірки, але напрямок один: це вже мейнстрім, а не маргінальна практика.

З цієї ж лінії — питання юридичної особистості для ШІ, яке Харарі активно і публічно оскаржує. Навесні 2026-го президент Аргентини Хав’єр Мілей запропонував створити нову категорію юридичної особи — «нелюдську корпорацію», яку повністю керують AI-агенти, без обовʼязкової участі людей-акціонерів. Харарі відповів відкритим листом у Financial Times: людський CEO у разі краху компанії ризикує не лише грошима, а й свободою, і саме цей особистий ризик утримує частину рішень у межах закону. Незрозуміло, що означає «відповідальність» для сутності, яку неможливо посадити у вʼязницю чи навіть чітко визначити, що для неї є смертю.

Для BA це не абстрактна філософія: якщо у вашій компанії вже є AI-агенти, які без прямого людського затвердження ухвалюють рішення, що впливають на гроші чи людей, — питання хто відповідальний, якщо агент помилився вам доведеться вирішувати задовго до того, як юристи придумають на це формальну відповідь.

Дві імперії, один Mythos і наш маленький досвід AI-суверенітету

Третя лінія розмови — геополітика. Харарі порівнює поширення ШІ-систем із хвилею імміграції: моделі з США та Китаю «перетинають кордони» без віз, змінюють культуру спілкування і, головне, лояльні не до країни, де їх використовують, а до корпорації чи держави, яка їх створила. Звідси його прогноз: влада централізується не між людьми й машинами, а між двома імперіями — США і Китаєм, — а решта країн стають у певному сенсі васальними територіями, залежними від чужої інфраструктури.

Це не абстракція навіть для нас. У червні 2026-го Anthropic на кілька тижнів відключила доступ до Claude Fable 5 і Mythos 5 для всіх користувачів у світі — не через технічну проблему, а тому що Міністерство торгівлі США видало експортну директиву, яка забороняла доступ будь-яким іноземним громадянам, включно з іноземними співробітниками самої Anthropic. Доступ відновили наприкінці червня після перемовин, але сам факт, що компанія не змогла вибірково обмежити доступ за громадянством і просто вимкнула модель для всіх, включно з українськими командами, які на той момент її використовували, — це доволі наочна ілюстрація тези Харарі про кнопку, яку хтось інший може натиснути незалежно від того, наскільки ви залежите від інструмента у своїй щоденній роботі.

Нічого з цього не є неминучим

Найважливіше речення інтервʼю Харарі повторює кілька разів майже дослівно: наратив неминучості — це наратив зняття відповідальності. Коли лідери індустрії кажуть «це все одно станеться, від нас нічого не залежить», це зручна позиція для тих, хто найбільше виграє від швидкості, а не безпеки. Сам Харарі оцінює співвідношення витрат індустрії на розвиток можливостей і на безпеку як приблизно 100 до 1 — цю цифру він сам просить перевірити в ефірі, і чесно кажучи, точний коефіцієнт варіюється залежно від методології підрахунку (в різних дослідженнях трапляються оцінки і в діапазоні 50:1 за кількістю наукових публікацій, і в 10 000:1 за обсягом фінансування). Але напрям розбіжності — не предмет дискусії: ніхто зі співрозмовників чи дослідників не заперечує, що безпекові дослідження системно недофінансовані порівняно з розробкою нових можливостей.

Мені близька ця теза не тому, що я готова обговорювати долю людства за кавою в понеділок, а тому, що в маленькому масштабі вона працює так само точно. «Ми не встигаємо перевіряти кожен AI-драфт, бо дедлайн» — це та сама логіка неминучості, тільки на рівні одного спринту. Ніхто не приймає рішення «більше не перевіряти», просто в якийсь момент перевірка стає тим, на що вже немає часу.

Харарі каже, що зараз, у 2026-му, люди ще контролюють ці рішення. Питання не в тому, чи згодні ви з його прогнозом на 10 років вперед. Питання в тому, скільки агентів на вашому проєкті вже мають write-права без реальної перевірки результату, і чи знаєте ви точну відповідь, не заглядаючи в конфігурацію.