Чому я ШІ-скептик у державі
Привіт! Я Роман Ланський, CEO GovTech компанії Strimco. Працюю із державою вже майже десяток років, був радником по цифрі голови Митниці, МОЗ та головою IT-офісу МОЗ. Останні чотири роки керую компанією, яка працює з Ветеран Pro, Резерв+, Армія+, Міжнародним реєстром збитків для України та ще купою систем.
Уже пару років на кожній нараді з державними замовниками, звучить одна й та сама фраза: «А давайте додамо туди ШІ». Без нього проєкт ніби вже не виглядає інноваційним, навіть якщо ніхто до пуття не пояснить, навіщо він там. На цьому місці я завжди питаю — а яку саме проблему він вирішить?
Цей текст не про те, що ШІ в державі не потрібен. Він точно буде, нікуди ми від не дінемося і гальмувати цю еволюцію українські бюрократи не зможуть. Текст про те, чому я, попри участь у кількох проєктах з ШІ, залишаюсь скептиком щодо перспектив його впровадження.
Хто піде на розмову до дяді прокурора?
У бізнесі логіка впровадження ШІ гранично проста. У тебе є люди, які приймають рішення. Вони помиляються, скажімо, у 20% випадків, і ці помилки коштують грошей. Ти впроваджуєш модель, скорочуєш 90% персоналу, який займався рутинним прийняттям рішень, модель помиляється рідше — усі задоволені, P&L красивіший.
У держави інша арифметика. Тут ті самі 20%, 5% чи навіть 0,5% помилок — це не рядок у звіті про збитки, а конкретна людина, до якої прийде прокурор, внутрішній аудит або ДБР. Штучний інтелект допитати не можна. Немає кого викликати на допит, немає кого звільнити, немає з кого стягнути завдані державі збитки.
Свого часу на митниці я був долучений до ШІ-проєкту, який визначав код УКТЗЕД — це той самий код, від якого залежить, скільки мита платити за товар, і на якому традиційно найпростіше «домовитися». Модель навчилась за два тижні і згодом почала давати точніші прогнози, ніж рядові інспектори, і навіть точніші, ніж спеціальний підрозділ, який розбирає складні кейси. Але коли модель помиляється — а вона помиляється — спецпідрозділ не піде розбиратися до конкретного митного інспектора, у якого є ім’я, прізвище і персональна відповідальність. У моделі цієї відповідальності немає. І поки ми не вигадаємо, як юридично «упакувати» відповідальність за рішення ШІ — а поки що цього не вигадали ні ми, ні хтось за кордоном — увесь сектор буде буксувати саме в цьому місці, а не в питаннях того, чи вистачає GPU.
Детройтський урок: коли алгоритм помиляється, відповідальність залишається за людиною
Один із найвідоміших кейсів у сфері використання штучного інтелекту стався у США. У 2020 році поліція Детройта використала систему розпізнавання облич для аналізу нечіткого запису з камери спостереження після крадіжки в магазині. Алгоритм помилково визначив підозрюваним Роберта Вільямса — чоловіка, який не мав жодного стосунку до злочину.
Попри те що система лише показала ймовірний збіг, саме цей результат став підставою для подальших дій поліції. Вільямса заарештували біля його будинку на очах у родини та утримували під вартою понад добу. Згодом звинувачення повністю зняли, адже жодних інших доказів його причетності не знайшли.
Після цього випадку технологію розпізнавання облич почали активно критикувати правозахисники, а у 2024 році місто Детройт погодилося виплатити Роберту Вільямсу компенсацію та суттєво обмежило використання таких систем. Поліції, зокрема, заборонили проводити впізнання чи арешти, спираючись лише на результат роботи алгоритму.
Цей кейс показує важливу річ: проблема була не лише в помилці алгоритму. Навіть якщо система допомагає швидше аналізувати інформацію, остаточне рішення не може ґрунтуватися виключно на її висновку. Бо в публічному секторі відповідальність за рішення, які впливають на права людини, завжди має залишатися за людиною, а не за алгоритмом.
Бюрократія не хоче оптимізовувати сама себе
Є ще один шар опору, про який рідко говорять, хоча він, мабуть, найбільш людський і найбільш передбачуваний. Коли ти всередині якогось державного процесу серйозно оптимізуєш роботу за рахунок ШІ, і виявляється, що умовні 90% адміністративного складу, який готував пакети документів, раптом стають не потрібні в такому обсязі — ці люди не радіють прогресу.
Навіщо погоджуватись на систему, яка робить тебе непотрібним? У бізнесі скорочення персоналу — болюче, але зрозуміле рішення власника (і в колективу не залишається вибору). У держапараті це складніше: там немає єдиного власника з чіткою мотивацією на ефективність, зате є десятки людей із посадами, повноваженнями погодження і цілком раціональним інстинктом самозбереження. І коли рішення про впровадження ШІ проходить через їхні руки — на етапі погодження технічного завдання, бюджету, доступу до даних — цей інстинкт неминуче включається.
Додайте сюди низьку цифрову грамотність значної частини держслужбовців і неготовність топменеджменту — коли керівник не розуміє, що таке ШІ і які в нього ризики, але хоче «як у сусіда», щоб у проєкті теж «був ШІ». І ви отримуєте систему, яка на словах підтримує інновації, а на практиці саботує їх на кожному погодженні.
Дані важливіші за модель
У нас є давня і системна проблема в даних. Держава десятиліттями накопичувала їх у різних відомствах, за різними правилами й без особливої думки про те, що колись їх доведеться використовувати разом.
Той самий кейс з митницею: сама модель — дешева й швидка розробка. А от щоб дані під неї стали придатними для навчання, довелось на три місяці залучати 200 студентів митної академії, які вручну вичищали вхідний масив. Це нудна, непублічна, нецифрова робота, яка ніколи не потрапить у слайд презентації про «цифрову трансформацію», але без неї будь-яка модель або не працюватиме, або, що гірше, працюватиме — просто на брудній логіці.
А брудна логіка — це ризик набагато серйозніший за просто неточність. Модель, навчена на історичних рішеннях людей у корумпованій сфері, вивчить саме цю корупційну практику і відтворюватиме її з математичною впевненістю. Модель, навчена на упереджених рішеннях щодо мігрантів чи людей з низьким доходом, буде впевнено дискримінувати — просто тому, що кореляція в історичних даних це «підтверджує». Нідерландська податкова система, яка непропорційно часто визначала мігрантів як потенційних шахраїв, стала одним із найгучніших прикладів невдалого використання алгоритмів у державному секторі. Британський алгоритм, який під час пандемії замінив випускні іспити, систематично занижував оцінки учням із державних шкіл, водночас віддаючи перевагу випускникам престижних навчальних закладів.
ШІ працює настільки добре, наскільки якісною є інформація, яку ми йому даємо. Головна інвестиція сьогодні — це не нові моделі, а якісні державні дані, і про це майже ніхто не хоче говорити, бо це нудно і не напишеш у пресрелізі.
То де ШІ все-таки працює у державі?
Там, де рішення не змінює правового статусу людини, де є хороші дані і де завжди залишається можливість оскарження. Диспетчерська система швидкої допомоги, яка балансує близько 20 параметрів під час вибору бригади на виклик, — гарний приклад. Під час її впровадження МОЗ ставило за мету забезпечити доїзд бригади до пацієнта до 10 хвилин у містах. Уже у 2019 році в Києві 87,1% екстрених викликів були обслужені з доїздом бригади до 10 хвилин. До цього списку можна додати й систему «Дельта» з модулем розпізнавання техніки за відео з дронів.
Спільне в усіх цих кейсах одне: ШІ там не приймає остаточне рішення замість людини і не змінює правового статусу. Він скорочує шлях до рішення, підказує, ранжує, підсвічує аномалії — а фінальний клік і фінальну відповідальність усе одно бере на себе людина. Це не так ефектно звучить на конференції, як «ми впровадили ШІ, який замінив цілий відділ». Але це саме те, що реально працює в держсекторі сьогодні, і те, з чого варто починати, замість того, щоб одразу мріяти про повну автоматизацію судових рішень чи соціальних виплат.
Замість висновку
ШІ в державі вже нікуди не зникне. Питання не в тому, чи буде він, а чи готові ми до того, що за помилки все одно відповідатимуть люди, а довіру до автоматичних рішень доведеться вибудовувати роками, не місяцями.
Я скептично ставлюся до ШІ, який має вирішувати за людину. Але оптимістично — до ШІ, який підсилює людину, а не підміняє її. Десь тут і проходить головна межа, хоча підозрюю, що років за п’ять я перечитаю цей текст і посміюся з того, якою консервою був у
27 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівЯкась маячня. В Україні щоб прийшли прокурори, треба або дуже сильно нагліти і накручувати цифри в рази, або перейти дорогу якомусь чиновнику. На якісь 5% помилок ШІ (по факту це треба мати криві руки при конфігурації ШІ щоб робити 5% помилок в банальній класифікації чи підрахунках) ніхто навіть дивитися не буде. Накрасти можна на10-20% і ніхто дивитися не буде.
Ви напевне не працювали в середині держ.органів, й не зовсім розумієте як то працює й що малось на увазі
Коли AI компанії будуть брати юридичну відповідальність за результати роботи їх моделей, а страхові компанії будуть давати поліси для ШІ агентів, тоді можна буде реально оцінити економічну ефективність таких агентів. Вже 10 років чуємо, наскільки автопілот краще за людину водія, але страхові компанії не спішать підтвердити це своїми грошами.
тобто ти зараз стверджуєш, що у роботаксі Waymo немає страхового покриття? ))
Наскільки я знаю, в Каліфорнії для операторів автопілота вимагається покриття 5 млн $, що десь в 100х більше ніж стандартний страховий поліс. Ну і для Waymo я не знаю чи збираються вони колись продавати свій автопілот, чи в них модель B2B чи B2Gov.
10 років досвіду у фокусуванні на наслідках системного збою не дорівнюють розумінню його архітектури. Можна 10 років шукати відповідь на питання ’як посадити алгоритм у тюрму’, або можна за 5 хвилин реалізувати семантичну інженерію, яка знімає це питання на корені.
Згоден з висновками, але не з аргументами.
Якби людство вважало, що у високотехнологічних галузях прийнятна концепція «20%, 5% чи навіть 0,5% помилок», то зараз уся Земля була б суцільний Чорнобиль. Ось чому усе має бути під контролем і ось чому у кожної помилки має бути конкретні «ім’я, прізвище та посада» !
Перелічені аргументи «помилок ШІ» — це насправді добре відомі та задокументовані аспекти навчання нейромереж. Не існує ніякої містичної ноосфері, підключення до якої миттєво дає абсолютні знання — усі знання проходять через навчальні матеріали, як в людей так і в машин. Успіхи усіх відомих ШІ-моделей — це як раз історія пошуку та виправлення помилок. Антропік, Гугл, ОпенАЇ та інші вкладають мільйони доларів, щоб їхні продукти з повагою та без упередження ставились до бідних, мігрантів та чорношкірих.
Навчати з нуля нейромережу на пошук злочинців чи розпізнавати УКТЗЕД — це як намагатись малюка від народження навчати бути зварювальником чи помічником депутата. Можливо таким вузькоспеціалізованим вихованням можна створити ідеального працівника, але точно не в перші роки, коли людина ще не вміє ні ходити, ні розмовляти. Навчати власну нейромережу — це саме кожного разу намагатись навчати новонародженого!
Ось чому для ролі української державної ШІ команди Дії та Київстару замість «самописної» нейромережі обрали вже роками обкатану Gemma-4 з мінімальним відсотком когнітивних помилок в роздумах, на яку додатково зверху додають елементи контроля та перевірки. І хоча навіть так з першої спроби ще не буде достатньо ідеально, але кожне наше «повідомити про помилку» буде проаналізовано та призведе до покращення «навичок».
Не всі ІТ-системи відповідають за роботу АЕС чи за управління літаком. Є процеси, де помилка критична та має глобальний наслідок. Або дуже дорогий наслідок фінансово. А є процеси, де помилка це ок й має допустимі наслідки. Наприклад, на тій же Митниці у перевірках є поняття селективності призначення контролю, й він зазвичай2-3% від трафіку товарів. Відповідно допускається, що це ок не перевірити 97% товарів й приймається ймовірність мати там контрабанду, хибне декларування і т.д Тому ніт, згадана логіка
— хибна. Є процеси, де можна відпустити контроль й нічого страшного не трапиться.
А в контексті «самописних моделей» — то згоден на 300%, в т.ч. для згаданих проектів використовувались існуючі моделі, які донавчались та допилювались під відповідні задачі, але ніхто не робив щось із нуля. Роботи свої — надресурси, які не для масштабів таких проектів.
Держава, як організація людей, повинна управлятися теж людьми. У питанні впровадження ШІ в цей процес відповідь, на мою думку, проста — остаточне рішення повинна приймати людина, а не ШІ. Тобто навіть якщо ШІ зробить всю роботу, а людина лише натискає Approve — людина буде відповідальна.
Це в принципі стосується будь яких ієрархічних структур навіть без ШІ. Навіть в той самій ІТшці за певний аспект проекту відповідає окремий лід, а не рядові макаки. І якщо та частина проекту провалюється, то питати будуть з ліда, а не з макак.
З ШІ в державному управлінні повинно бути те саме. Над ним повинна стояти людина.
нацарював сто рублів та втік ©
чи «невтік» ... хз
За такою логікою в усіх детермінованих ІТ системах не може бути ніякої, повнох автоматизації — тільки контроль людини. Умовний обрахунок калькулятора ж ніхто не апрувить :)
В тому то й проблема що ШІ — недетермінована штука, у двох людей моєе бути різна відповідь на один й той же промпт.
а люди — істоти детерміновані і при однакових вхідних даних завжди приймають одне і те ж рішення? ))
яке ярке наклеювання бирок — щож у вас виходить — над кожною ланкою піраміди є хтось хто відповідає наступний, і т.д. — тобто всі в принципі виходять по вашому визначенню «макаки» (крім замикання тієї піраміди), у такому випадку навіть і запитувати якось незручно вже буде ким ви себе бачите у вашій піраміді
всім рулять рептилоїди. ми тільки «маленькі гвинтики» ;)
А ви думаєте що за умовний провал проекту над яким працювала сотня людей треба питати з кожного з цієї сотні, а не з менеджера команди?
Так, будь яка організація людей більше кількох десятків повинна мати якусь форму ієрархії де окремі обрані/назначені люди будуть направляти всіх інших що їм робити та ставити цілі. На цю тему є цілі дослідження з соціології. Навіть з історичної точки зору те що ми називаємо «цивілізацією» починається перед усім тоді, коли в суспільстві з’являється явна та виражена соціальна піраміда де є невеликий прошарок тих хто каже що робити і великої маси тих хто ці накази виконує (добровільно або не дуже). От у всяких папуасів повне егаліте — що рядовий мисливець що вождь живуть приблизно однаково, не в порівнянні з умовним селянином та феодалом і тим паче з сучасністю. І коли король баче що йому не надходить достатньо податків з якоїсь частини королівства — то питають перш за все у тамтешнього феодала. Коли якась частина проекту лагає порівняно з іншими — питають перш за все у ПМа/ліда. Коли сам проект збитковий то інвестори питають у СЕО, а не у мідла Миколи.
Тому подобається вам це чи ні, але майже усюди буде якась ієрархія «макак». Не може кухарка керувати державою.
Це не відносно форм організації та можливого розподілу відповідальності. Більш щодо відчуття існування в парадигмі «а не рядові макаки» безвідносно конкретного рівня ієрархїї, чи як у «За двома зайцями» обігрували щось на зразок — «махонькие-махонькие, як миші... пардон, кріси. А над ними єто же Человеееек!»
А, то ви на «макак» образилися? То просто форма виразу, не в плані що «ми люди малєнькіє», а в плані що це все та сама мавп’яча зграя з ватажком, його свитою довірених, сірою масою яка пливе за течією та кількома цапами-відбувайлами на яких можна звалити провали. Тільки у людей це в опенспейсах з кондиціонерами і називається красивими термінами щоб було не так неприємно для психіки тих, кого до корита не допускають. Ну і так, це не ригідна, а динамічна система, тому мій пойнт не в тому що ми тут миші які нічого не можуть, а там навєрху чєловєкі. Нічого принципово не заважає мені або вам опинитися в якийсь момент на вершині цієї піраміди, все залежить від наполегливості та удачі.
Ерунда! Всегда есть человек, который «взял на работу» ИИ. Вот он за него и отвечает
Так це ж і так прописано ж все в основах побудови АІ архітектур від будь якого вендора типу Anthropic. Бо якщо висновок допису це про скепсис і оптимізм до ШІ, то це просто факт же
Ви підняли досить цікаву тему, яка виходить далеко за межі виключно технологій та закону, а доходить до сфер етики, психології та філософії. Ось такі питання (без відповідей, суто для роздумів) у мене виникають стосовно описаного:
1) На які жертви готово піти суспільство заради суспільного блага? Уявімо, що у нас є 2 варіанти: перший — люди на митниці, які помиляються у 20% випадків і яких можна притягнути до відповідальності і АІ, який помиляється лише у 5% випадків, але якого не можна оштрафувати чи посадити у в’язницю. Також уявімо, що якщо порахувати невідновлювані збитки від помилок людей, то вийде 1 мільярд гривень на рік, а від АІ буде лише 250 мільйонів. Чи готові ми відкинути емоції та обрати економічно і матемаитично більш ефективний варіант, навіть при тому, що за помилки ніхто не буде відповідати? Чи ми все ж таки оберемо варіант з більшими витратами, але з варіантом когось звільнити й посадити?
2) АІ у сфері медицини. Якщо ймовірність успішної операції, яку проводить лікар — 70%, а ймовірність успіху операції, яку проводить АІ робот-хірург — 90%, до кого звернеться пацієнт? Обере той варіант, який дає більшу гарантію, але де не буде на кого подати до суду у випадку невдачі (отих 10%), або все ж таки обере лікаря-людину, хоч і з меншим шансом на успіх, зате з можливістю у разі чого подати на лікаря до суду.
Угу, напевне спочатку АІ має дуже сильно змінити побутове життя людей, аби змінилось (чи ні) сприйняття використання технологій — тоді й держава «наздожене» цю трансформацію. Або її не відбудеться, й спроби таких проектів помруть в сендбоксах :)
Ага
CEO!
ШІ у вигляді копайлота має бути у кожній складній системі де є запити, реєстр, генератор звітів, наприклад. Дивився інтерфейси усіляких реєстрів, форми пошукові на 100 контролів, тощо, якщо оператор зможе сформувати запит типу «покажіть мені усіх боржників аліментів яки зʼявилися за останній місяць але не мобілізовані чи не є у реєстрі померлих» чим це погано? Не завжди ШІ це десіжен енжин, це може бути транслятор чи рефайнер. І це по Парето 80 відсотків того що потрібно.
Тут згоден на 100%, таку модель й намагаємось адвокувати у багатьох наших проектах. Фактично, підготовка драфтів рішень, аналіз практики, опрацювання купи документів у різних дозвільних чи судових процесах — це все якісно підіймає ефективність процесів.
Але при цьому, найкращий спосіб прибрати корупційний фактор чи будь-який інший негативний із держ.процесу — це забрати звідти людину, тому хотілось би й мати інструментацій легалізації згаданого підходу де система приймає рішення
можливо цей новий хайп навколо decision/judgement models може привести до заміни людини, якщо модель можна прогнати формальним тестом який базується на законах та підзаконних актах і вона буде 100/100 обирати законне детерміноване рішення, то вже можна частково додавати її рішення у ланцюжок прийняття, хоч як рекомендацію. І якщо рекомендація такого автосудді буде зберігатися біля рішення чиновника, завжди можна на атестації чи у НАБУ запитати, чому рішення відрізняється )