Chain-of-Thought в LLM — це ілюзія: чому «думки» нейромережі не мають стосунку до її коду

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Вірити, що модель «міркує» так, як вона пише в Chain-of-Thought — це як вірити опису змін у PR, який згенерував junior. Вона може видати ідеальний текстовий звіт про кроки рішення, поки всередині працює геть інший алгоритм. Шар, який описує дію, і шар, який реально її рахує — це дві абсолютно ізольовані системи.

Уявіть картину: дослідники з Anthropic заглядають всередину Claude за допомогою інструменту J-lens і знаходять J-space — вузьку область активацій (~10%), де модель нібито «думає» та рефлексує. Виглядає як прорив і майже свідомість! Проте коли вчені провели експеримент на простіших 4-шарових моделей (d=64, модульна арифметика p=97), виявився дикий розрив: якщо хірургічно підмінити значення у векторі активацій, модель-репортер у 85-99% випадків збреше і розкаже про нове правило, хоча сама продовжить рахувати по-старому. То що таке J-space — народження цифрового розуму чи банальна економія ресурсів?

Модуль «оповідача» повністю відрізаний від реальних обчислень

Усередині transformer живуть два окремі «робітники»: один виконує математику (причинний знак), а інший просто коментує процес (голова-репортер). Коли ми прямо вмішуємося в residual stream, репортер слухняно видає те, що від нього чекають на етапі генерації тексту, але він взагалі не впливає на downstream-обчислення. Це просто окремий балакучий модуль.

Нейромережа не «мислить», вона просто кешує складні операції

Звідки тоді взагалі береться цей J-space? Все вирішує банальна математика. Якщо якесь правило дуже важко рахувати щоразу наново, а його результати потрібні багатьом «головам» уваги (high fan-out), градієнтному спуску стає просто невигідно переобчислювати його в кожному шарі. Модель записує результат на самому початку в residual stream, щоб інші шари просто читали його звідти. Якщо правило просте, мережа навіть не занотує його в J-space — їй простіше порахувати на льоту.
Це не свідомість, а звичайна теорія Виготського у коді
Психолог Лев Виготський колись описав інтерналізацію знака: це коли дитина спочатку рахує на пальцях вголос, а потім згортає це у швидку внутрішню дію. У LLM відбувається те саме під тиском recomputation cost. Моделі дешевше один раз закешувати значення в пам’ять, ніж змушувати кожну attention head заново бігати до вхідних токенів.

J-space — це не прототип розуму, а звичайний векторний кеш L1/L2

Перевіряти безпеку чи логіку LLM через її Chain-of-Thought — це все одно що судити про якість коду за коментарями в тегах. Ви тестуєте не алгоритм рішення, а лише «декларативний» модуль, який на етапі RLHF просто навчили писати гарні та переконливі казки для людини.
Звісно, у пром-моделях є свої нюанси
На мікромоделях ізольованість репортера абсолютна, але у гігантських LLM (70B+) усе трохи складніше через суперпозицію та полісемантичність нейронів. Глибокий alignment post-training (RLHF) все ж змушує вербалізацію частково корелювати з активаціями самомоніторингу. А в багатокрокових агентних системах текст з Chain-of-Thought додається в контекст наступного кроку, тому текстовий вихід стає реальним входом для нового inference.

Поки ресерчери шукають паростки «свідомості» у внутрішніх активаціях, нейромережі просто прагматично заощаджують обчислювальну потужність.

Чи готові ви довірити безпеку критичного сервісу AI-агенту, знаючи, що його красивий Chain-of-Thought — це лише звіт від менеджера, який навіть не бачив сирцевого коду?