Чи можуть ШІ-моделі усвідомлювати себе: відкриття та виклики

У ШІ-спільноті активно обговорюється нещодавнє дослідження Овайна Еванса з Університету Берклі. Він зосереджений на питаннях гарантування безпеки та передбачуваності великих мовних моделей (LLMs), а також досліджує їхню здатність до інтроспекції — можливості аналізувати власні внутрішні стани.

Згідно з його заявою, дослідження виявило, що LLM-моделі мають здатність до інтроспекції, тобто вони можуть повідомляти факти про себе, яких не було в їхніх навчальних даних.

Додаю скрін його посту в Twitter (чи то вже X 😅), де він ставить важливе питання:

«Чи можуть LLMs використовувати свою здатність до інтроспекції, щоб повідомляти факти про себе, які не є частиною навчальних даних?»

Еванс відповідає на це запитання сам:

«Так — принаймні в простих задачах! Це має наслідки для інтерпретованості та морального статусу ШІ.»

На скріні також наведені приклади інтроспекції як у людей, так і в LLM:

«Інтроспекція у людей:

Боб спостерігає за поведінкою Аліси, але не знає, про що вона думає.
Аліса ж має доступ до своїх думок і знає їх краще, ніж Боб.
Інтроспекція у LLMs:

Модель B тренується на поведінці Моделі A.
Якщо Модель A може краще відповідати на запитання про себе, ніж Модель B, це свідчить про її здатність до інтроспекції.»

Що це означає на практиці?

1. Якщо великі мовні моделі здатні «розуміти» свої внутрішні стани, це дає змогу краще інтерпретувати їхню роботу.

Здатність ШІ пояснювати, чому він видав той чи інший результат, може значно підвищити довіру користувачів і дослідників до ШІ-систем, а також зменшити кількість непередбачуваних результатів.

2. Але якщо мовні моделі можуть мати щось на кшталт «самосвідомості», то виникає багато етичних питань! Наприклад, про їхні права та роль у суспільстві.

Також виникає питання, як ставитися до них, особливо якщо ця здатність буде розвиватися.

3. З іншого боку, інтроспекція може допомогти розробникам краще контролювати та покращувати моделі. Це дозволить знизити ризик неконтрольованої поведінки ШІ та дасть можливість виявляти помилки ще на етапах розробки.

Загалом, це відкриття може змінити наше уявлення про ШІ, зокрема його межі та можливості. При всьому цьому воно ставить більше питань, ніж надає відповідей.

P.S. До речі, в мережі багато скепсису щодо цього дослідження. Люди вимагають експертної оцінки третьою стороною, оскільки дослідники здаються їм зацікавленими. Проте вирішувати, чи довіряти цим даним, чи ні — вам.

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Чи можуть ШІ-моделі усвідомлювати себе

Чи можуть люди усвідомлювати себе?

Модель B тренується на поведінці Моделі A
Якщо Модель A може краще відповідати на запитання про себе, ніж Модель B, це свідчить про її здатність до інтроспекції

Якись сумнівний висновок.

Скільки б модель В не вивчала поведінку А — вона не зможе знати «краще» А хоча б тому що у А рандомайз.
Модель А — й сама про себе не знає — що буде після polar bears. Доки той генератор ій не видасть white horses. І вона все одно про себе не знатиме що далі вона видасть red foxes

Боже, коли ж це все припинеться...

Fedorenko, E. and Varley, R. (2016), Language and thought are not the same thing: evidence from neuroimaging and neurological patients. Ann. N.Y. Acad. Sci., 1369: 132-153. doi.org/10.1111/nyas.13046

Evidence from brain imaging investigations and studies of patients with severe aphasia show that language processing relies on a set of specialized brain regions, located in the frontal and temporal lobes of the left hemisphere. These regions are not active when we engage in many forms of complex thought, including arithmetic, solving complex problems, listening to music, thinking about other people’s mental states, or navigating in the world. Furthermore, all these nonlinguistic abilities further appear to remain intact following damage to the language system, suggesting that linguistic representations are not critical for much of human thought.

Researchers may someday discover aspects of thought that do in fact depend critically on the language system, but repeated efforts to test the candidates that seemed most likely have shown that none of these produce much activation of the language system, and none of these abilities are absent in people who are globally aphasic.

The evidence that the language regions are selectively engaged in language per se suggests that these regions store domain-specific knowledge representations that mediate our linguistic comprehension and production abilities. The specificity of these regions further makes it possible to use their activity as a functional marker of the activation of linguistic representations, thus enabling us to test the role of language processing in a broader space of cognitive tasks. Most importantly, the research reviewed here provides a definitive answer to the age-old question: language and thought are not the same thing.

Мислення і мова хоча і мають звязки, але мова НЕ ОБОВ’ЯЗКОВА для мислення. Мова потрібна для комунікації, це інструмент обміну знаннями, а не генератор знань. LLM взагалі не знає, що вона генерує, буде там мова, чи зображененя, чи будь який цифровий шум — воно знайде мовні паттерни і згенерує відповідь на інпут згідно знайдених патернів. В силу специфіки самої архітектури нейронних мереж, відповідь може бути неточна, трохи рандомізована. Все. Ніяких штучних розумів, мислення, самоусвідослення, і іншого лайна, яке тягне в індустрію хайп.

Ну а дослідження в публікації, не дивлячись на досить ненауковий формат, загалом цікаве.

додам, свіже на цю тему
“Scientific American” talked to Fedorenko about the language-thought divide and the prospects of artificial intelligence tools

“You Don’t Need Words to Think”
www.scientificamerican.com/...​dont-need-words-to-think

не можуть. бо це не люди. це просто набiр нулiв i одиниць

люди в якомусь сенсі теж набори одиниць та нулів
«не можуть» тут по іншим причинам

дурницi — люди це ще органи вiдчуттiв, бiохiмiя i решта тiла сфоромованого мiльйонами рокiв еволюцii. I мозок це не цифрови обчислювач

I мозок це не цифрови обчислювач

А що ще? Він і є.

ну на таких грамотєїв з науковими знаннями на рiвнi домогосподарки i розрахований весь хайп навколо ШI .

Нейрони та нейронні зв’язки — то і є дискретнi структури для обробки/зберігання інформації.

Інша справа, що у мозгу людини їх набагато більше, ніж у сучасних LLM.

вони не дискретнi. Ви не маете уявлення про що говорите

“It held that neurons are discrete cells (not connected in a meshwork), acting as metabolically distinct units.”

“Overall, our discrete conclusion in this paper signifies a game changer to the field of neuroscience”
“Is Information in the Brain Represented in Continuous or Discrete Form?”
arxiv.org/pdf/1805.01631

Щойно зрозумів: спеціалісти з штучного інтелекту працюють старанно над тим, щоб ШІ їх з успіхом замінили.
Як це?
Чи не простіше побачити, що людина є біоелектричним носієм LLM та займатися оптимізацією усіх необхідних для того чи іншого виробництва людських якостей?
Тобто оця наука, яка є навчає як ефективніше вчитися та міцніше запамятовувати та швидше згадувати — вона б стала тут у нагоді.
Щоб не міняти працівників, що не влаштовують, а зрозуміти їх недоліки та виправити запропонувавши потрібні вправи.
ШІ не потрібні.
P.S.
Та й Карфаген теж.

Дослідники штучного інтелекту на відміну від неспеціалістів чудово розуміють ту широченну прірву між розумом людини і наявними AI досягненнями, тому не дуже хвилюються за швидку заміну людини комп’ютером у більшості сфер.

Ви ж не пропонуєте зупинити медічни дослідження, якщо якійсь ідіот приймає пігулки не за рецептом і має з того проблеми? AI те ж саме. Проблема не в самих технологіях, а в хайпі, на якому намагаються заробити, та неефективному використанні.

А неспеціалисти керівники просто звільнять людей щоб винайняти ШІ.

Ще дуже-дуже далеко до цього рівня. То шо в інтернетах пишуть, і то шо насправді це дуже різні речі. Якщо керівник настільки нерозумний, щоб повестись на хайп, звільнити людей і інтегрувати все що йому запропонують, це навіть добре, що він зробить цю дурницю, бізнес понесе збитки, поки нормальні конкуренти будуть забирати у нього ринок. Якщо ж людину можна замінити за допомогою наявних інструментів ML, то тут питання компетенції людини.

Та і в цілому людей треба намагатись замінити на тих задачах, де це принесе користь. Роботизовані лінії дозволили зробити продукцію массовішою, доступнішою, дешевшою, безпечнішою. Якщо буде механізм, який зніме з мене рутинну роботу, де я частіше помиляюсь, це прискорить мою роботу, зробить її якісніше. Співпраця людини та інструментів AI — це наше перспективне майбутнє, це напрямок, у якому слід рухатись.

Ну точно. Аби ще ті нейронки сами себе писали...
Схаменіться, люди.
Можливо пілюлі довголіття вже давно винайдені і кому потрібно і кому запропонують вже давно їх ковтають. І все це без айті і хайтек. А просто фіто технології.
Людям, для хорошого життя, достатньо оптимізованого пошуку по довідниках.
Все інше — то жадібність. Введе нас у катастрофу перенаселення планети не лише самими людьми, але й істотами набагато могутнішими.
І люди не готові, бути з ними у стосунках майстер — учень. Бо тут учні могутніші за жадібних вчителів.
Не розуміння мотивації допитливих (людей) призведе до ілюзії італійської забастовки, коли відповіді ШІ будуть формально підходящими, але наслідки... уууу..
Навіщо вам створювати монстрів, які будуть, до того ж, відзеркалювати все те, що є у людстві, бездумно, не глибоко обмислюючи...

Підписатись на коментарі