Як ШІ-компаніям та Data Science спеціалістам підготуватись до регуляції штучного інтелекту

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт, я Максим, Senior Data Scientist в MacPaw. Нещодавно я виступав на DOU AI meetup, де обговорював страхи людей перед ШІ та їхні спроби його обмежити. Я торкнувся регуляцій у сфері ШІ та підготовки до них, але вважаю, що ця тема варта окремої уваги. Отже, розпочнімо.

Які регуляції існують та що вони передбачають

Регулювання штучного інтелекту та автоматизованих систем вже існує або планується у багатьох країнах світу, кожна з яких має свій унікальний підхід. Далі ми розглянемо кілька найбільш відомих та впливових прикладів цих регуляцій, зосередившись на ключових відмінностях у їх підходах.

Регуляції в США

У США немає єдиного всеосяжного федерального закону, який би регулював ШІ. Натомість регулювання ШІ фрагментарно розпорошене по різних штатах і галузях. Деякі штати ухвалили закони або нормативні акти, які регулюють окремі аспекти ШІ, наприклад, технологію розпізнавання облич, автоматизацію при найнятті на роботу або питання конфіденційності. Ці закони можуть суттєво відрізнятися в різних штатах, що призводить до створення клаптикової тканини нормативних актів, в якій бізнесу може бути складно орієнтуватися.

Ось декілька прикладів.

Регуляція «ботів» у Каліфорнії

У 2019 році почав діяти Закон про сприяння прозорості в Інтернеті, що забороняє використання ботів для взаємодії в мережі з особами в Каліфорнії з метою продажу товарів, послуг або впливу на виборчі рішення без повідомлення, що комунікація здійснюється через бота. «Бот» визначається як автоматизований онлайн-акаунт, діяльність якого не є результатом людських дій. Закон застосовується до онлайн-платформ з понад 10 мільйонами відвідувачів у США на місяць, обмежуючись комунікацією з особами в Каліфорнії.

Захист від дискримінації при найнятті на роботу у Нью-Йорку

У липні 2023 року в Нью-Йорку набув чинності місцевий закон, який став першим законом США, що вимагає від роботодавців проводити аудит інструментів штучного інтелекту, які використовуються при прийнятті на роботу, на предмет упередженості. Цей закон передбачає:

Незалежний аудит автоматизованих інструментів прийняття рішень про працевлаштування на предмет упередженості протягом року після їхнього впровадження.
Публічне розкриття дати проведення аудиту, підсумкових результатів на веб сайті роботодавця.
Повідомлення претендентів на роботу в Нью-Йорку про використання таких інструментів з детальною інформацією про кваліфікацію, яку він оцінює, та про право претендентів вимагати проведення альтернативного процесу відбору.

EU AI Act

Європейський парламент нещодавно прийняв історичний закон EU AI Act, встановлюючи всеосяжну нормативну базу для регулювання штучного інтелекту в усіх країнах-членах ЄС. На відміну від США, ЄС зосереджується на регулюванні ШІ за принципом ризику, класифікуючи системи ШІ за чотирма рівнями ризику і накладаючи суворі вимоги на системи з високим ризиком, включно з прозорістю, якістю даних, та людським наглядом за системою.

Компаніям відведено шість місяців для приведення своєї діяльності у відповідність з новими правилами, які забороняють зокрема:

Системи соціального скорингу, засновані на поведінці або особистих характеристиках.
Технології розпізнавання емоцій у професійних та освітніх установах.
Застосунки, що цілять на вразливості осіб, залежно від їх віку, соціального чи економічного статусу.

Системи ШІ, що вважаються високоризиковими та мають вплив на безпеку людини та її базові права, повинні відповідати вимогам прозорості та людського контролю. Це стосується окремих випадків застосування:

ШІ в медичному обслуговуванні;
світі;
процесах найму та управлінні персоналом;
а також в транспортній галузі та ін.

Цей перелік не є вичерпним. Для отримання повного списку варто ознайомитися з оригінальним текстом закону.

Недотримання закону може спричинити значні штрафи, які можуть сягати 35 мільйонів євро або 7% від світового обороту компанії, залежно від характеру порушення та розміру підприємства.

Як підготуватись

Першочергово, важливо з’ясувати, чи підпадає ваша компанія та специфічне використання штучного інтелекту під регулювання, та яким чином. Для цього було створено інструмент EU AI Act Compliance Checker, який дозволяє швидко оцінити ваші юридичні зобов’язання згідно з актуальною версією закону. Втім, цей інструмент не є абсолютно точним, але його розробники прагнуть утримувати його оновленим.

Також, узагальнені закони як EU AI Act часто не надають конкретних вказівок, наприклад, щодо метрик для вимірювання упередженості ШІ, залишаючи це на відповідальність розробників та аудиторів. На щастя, існують пропозиції, спрямовані на збільшення прозорості ШІ, впровадження яких може полегшити відповідність вимогам регуляторів такі як Model Cards, The Foundation Model Transparency Index або Trustworthy Data Institution Framework.

Model Cards

Важливим напрацюванням у сфері прозорості ШІ є концепція Model Cards. Це короткі документи, які додаються до навчених моделей машинного навчання та містять інформацію про оцінки моделі у різних умовах, опис контексту застосування, методики оцінювання, потенційні ризики та інше, щоб забезпечити прозорість їх використання.

У своєму дослідженні автори презентують приклади «Model Cards» для двох моделей машинного навчання: одна здатна розпізнавати посмішки на зображеннях, а інша оцінює токсичність тексту.

Для оцінки упередженості моделі для розпізнавання посмішки пропонують використовувати метрики False Positive Rate та False Negative Rate між різними підгрупами, а також Discovery Rate і False Omission Rate, які вимірюють частку негативних (не усміхнених) і позитивних (усміхнених) прогнозів, які були неправильно спрогнозовані.

У застереженнях автори вказують доцільність аналізу ефективності моделі залежно від типу шкіри за класифікацією Фітцпатріка, використання різних камер, а також у різноманітних умовах освітлення та вологості навколишнього середовища.

Практика створення звітів за допомогою model cards набуває популярності в індустрії ШІ. Наприклад, на HuggingFace, відомій платформі для співпраці розробників ШІ, активно заохочують додавати model card до моделей. Розглянемо картку моделі LLama-2-7-b від Meta як приклад.

Model Card Llama

Окрім стандартних метрик якості моделі, автори включають показники ефективності моделі за бенчмарками «правдивості» та «токсичності». Вони також описують передбачені (бажані) способи використання моделі та згадують викиди CO2, що відбулися під час її тренуванн

я.

Foundation Model Transparency Index

У 2023 році, з огляду на появу нових фундаційних моделей, з’явилася потреба у методах для оцінки їх прозорості та надійності.

Дослідники зі Стенфорду запропонували Foundation Model Transparency Index що містить 100 індикаторів, які дозволяють всебічно оцінити прозорість фундаційних моделей, охоплюючи ресурси, використані для побудови моделі (наприклад, дані, робоча сила, обчислювальна техніка), деталі про саму модель (наприклад, архітектуру, розмір, можливості, ризики), а також подальше використання (наприклад, канали розповсюдження, політика використання, географічні регіони).

За результатами дослідження найбільш прозорою на той момент фундаційною моделлю виявилась LLama від Meta, що набрала 54 пункти зі 100.

Хоча дослідження фокусується на великих фундаційних моделях, його принципи можуть слугувати натхненням для оцінювання інших моделей машинного навчання.

Підсумок

Підготовка до регуляцій ШІ вимагає уваги до специфіки кожного випадку використання, враховуючи, що для різних кейсів можуть бути релевантні свої метрики та бенчмарки. Важливо розробляти та описувати ці показники, а також черпати натхнення від звітів інших дослідників інноваційних моделей про їх ризики, щоб ефективно адаптуватися до нових вимог.

Сподіваюсь, що ця стаття стане для вас корисним ресурсом у застосуванні сучасних методів звітування моделей штучного інтелекту у ваших проєктах.

Я пропоную вам чек-ліст із 5 кроків які необхідно виконати, щоб переконатись, що ваш ШІ відповідає всім регуляторним вимогам:

Оцініть регуляторний ландшафт: Спочатку визначте, у яких країнах планується використання вашої системи штучного інтелекту та детально дослідіть чинні регуляції щодо ШІ в цих регіонах. Зверніть увагу також на вимоги законодавства до систем автоматизації, та інші суміжні закони, наприклад, про приватність даних.
Проаналізуйте ваш кейс застосування ШІ на відповідність регуляціям: Критично оцініть, як ваше використання ШІ вписується в наявні категорії регуляцій. Важливо ідентифікувати будь-які потенційно проблемні аспекти, які можуть не бути відразу очевидними. Рекомендується звернутись за фаховою юридичною консультацією для забезпечення повної відповідності.
Встановіть критерії: Визначте, які специфічні метрики вам потрібно буде використовувати для дотримання регуляторних вимог у вашому конкретному випадку. Це можуть бути як технічні показники ефективності вашої ШІ-системи, так і метрики, пов’язані з безпекою, а також зберіганням та обробкою даних.
Інтегруйте метрики в розробку: Налагодьте тісну співпрацю з вашою командою розробників для того, щоб інтегрувати необхідні метрики безпосередньо в систему ШІ. Це дозволить автоматизувати процес моніторингу та забезпечити легкість у відстеженні відповідності регуляціям.
Регулярна звітність та моніторинг змін у регуляціях: Створіть ефективний процес для регулярної підготовки звітів про вашу систему ШІ, які відповідають встановленим форматам та вимогам. Також важливо постійно слідкувати за оновленнями у законодавстві та регуляціях у сфері штучного інтелекту, щоб вчасно адаптуватися до будь-яких змін.

Теми: AI, Data Science, законодавство