Чи можуть ШІ-моделі усвідомлювати себе: відкриття та виклики
У ШІ-спільноті активно обговорюється нещодавнє дослідження Овайна Еванса з Університету Берклі. Він зосереджений на питаннях гарантування безпеки та передбачуваності великих мовних моделей (LLMs), а також досліджує їхню здатність до інтроспекції — можливості аналізувати власні внутрішні стани.
Згідно з його заявою, дослідження виявило, що
Додаю скрін його посту в Twitter (чи то вже X 😅), де він ставить важливе питання:
«Чи можуть LLMs використовувати свою здатність до інтроспекції, щоб повідомляти факти про себе, які не є частиною навчальних даних?»
Еванс відповідає на це запитання сам:
«Так — принаймні в простих задачах! Це має наслідки для інтерпретованості та морального статусу ШІ.»
На скріні також наведені приклади інтроспекції як у людей, так і в LLM:
«Інтроспекція у людей:
Боб спостерігає за поведінкою Аліси, але не знає, про що вона думає.
Аліса ж має доступ до своїх думок і знає їх краще, ніж Боб.
Інтроспекція у LLMs:
Модель B тренується на поведінці Моделі A.
Якщо Модель A може краще відповідати на запитання про себе, ніж Модель B, це свідчить про її здатність до інтроспекції.»
Що це означає на практиці?
1. Якщо великі мовні моделі здатні «розуміти» свої внутрішні стани, це дає змогу краще інтерпретувати їхню роботу.
Здатність ШІ пояснювати, чому він видав той чи інший результат, може значно підвищити довіру користувачів і дослідників до ШІ-систем, а також зменшити кількість непередбачуваних результатів.
2. Але якщо мовні моделі можуть мати щось на кшталт «самосвідомості», то виникає багато етичних питань! Наприклад, про їхні права та роль у суспільстві.
Також виникає питання, як ставитися до них, особливо якщо ця здатність буде розвиватися.
3. З іншого боку, інтроспекція може допомогти розробникам краще контролювати та покращувати моделі. Це дозволить знизити ризик неконтрольованої поведінки ШІ та дасть можливість виявляти помилки ще на етапах розробки.
Загалом, це відкриття може змінити наше уявлення про ШІ, зокрема його межі та можливості. При всьому цьому воно ставить більше питань, ніж надає відповідей.
P.S. До речі, в мережі багато скепсису щодо цього дослідження. Люди вимагають експертної оцінки третьою стороною, оскільки дослідники здаються їм зацікавленими. Проте вирішувати, чи довіряти цим даним, чи ні — вам.
18 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів