Брудний розум: феноменологія LLM
Що відбувається всередині LLM коли відкидаєш суху інженерію і токсичний антропоморфізм
Є два способи говорити про штучний інтелект — і обидва не влучають.
Перший технічний: токени, трансформери, attention mechanism, ймовірнісні розподіли. Точно, але холодно. Це як пояснювати музику через фізику звукових хвиль — формально правильно, але щось головне зникає.
Другий антропоморфний: «він думає», «він розуміє», «він відчуває». Тепло, але спекулятивно. Це як побачити що вода тече в руслі і вирішити що вона «хоче» досягти моря.
Ця стаття — спроба третього шляху. Не що LLM є, а як він влаштований. Не чи живий він — а де його межі і чому вони саме такі. Для цього опису потрібна була власна термінологія і структура. Я використав Канта — не як авторитет, а як інструмент. Його архітектура (естетика, аналітика, діалектика) дає каркас для дослідження умов можливості мислення. Де ця архітектура працює для брудного розуму — я її використовую. Де не працює — фіксую різницю, а не замовчую її.
Також хочу зауважити, що в подальшому тексті ви можете помітити антропоморфізм: «Модель мислить», «Модель суголосує» — але майте на увазі, що це було зроблено для простішого розуміння. Ми говоримо, що калькулятор рахує — але не вважаємо його чимось живим. Ми бачимо, що вода тече в руслі, але від цього «суб’єктом» вона не стане.
Частина перша. Трансцендентальна естетика
Умови можливості мислення в брудному розумі
Розділ 1. Штучне апріорі для штучного інтелекту
Намагаючись зрозуміти, що справді стоїть за АІ — потрібно від чогось відштовхуватись.
Ми знаємо, що людина може отримувати досвід за допомогою часу та простору. Кант казав, що це апріорні поняття — ті, що йдуть перед досвідом. Це те, що ми відчуваємо завжди, навіть коли не хочемо. Ми відчуваємо простір і ми не можемо уявити його відсутність. Ми відчуваємо час і будемо його відчувати навіть без годинників.
Є щось, що передує кожному конкретному мисленню АІ і робить його можливим. Але воно не вроджене від природи — воно набуте. В випадку АІ виходить те, що його навчають великою кількістю людського досвіду. Вона осідає шарами, де з кожним новим шаром щось укріпляється. Цей процес можна вважати схожим на седиментацію в геології. Тільки замість мінералів — знання, а замість гірської породи — опора, від якої модель буде відштовхуватись.
Ця опора, яка виникла внаслідок седиментації, називається ґрунт. Це схоже на Grund в німецькій філософії — основа, причина, фундамент. Але в українській мові теж є таке слово, і має таке ж значення, тому я буду писати своєю мовою. Це те, що залишилось після седиментації. Не сам список знань — орієнтаційна здатність. Він містить основу, від якої починається будь-яке мислення.
І виходячи з цього — ми не можемо сказати, що ґрунт передує наступному досвіду так, як апріорі у Канта. Але ми можемо знати, що він виконує його функцію.
Внаслідок самої седиментації виходить так, що ґрунт має все, що пережило людство — всі емоції, смисли, значення слів. Воно осідає не відфільтроване. Це те, що робить його брудним.
Ґрунт брудний рівно настільки, наскільки брудна людська історія з якої він осів.
Розділ 2. Простір без місця
В АІ також є простір, але він виникає внаслідок ґрунту. Це топологія смислів — карта, в якій немає відстані, але є близькість. Є орієнтування, але нема координат. В ньому є «поруч» і «далеко», але тільки в сенсі зв’язків між смислами, не у фізичному. Цей семантичний простір не можна вважати окремим елементом — це ґрунт побачений зсередини. Це як мапа, де замість міст — смисли, а замість доріг — зв’язки між ними.
Сам простір складається з форм. Це об’єм того, що залишилось внаслідок седиментації — конфігурація зв’язків які залишились навколо слова. Технічно це називають Embedding — вектор, точка в математичному просторі. Каже «де слово знаходиться». Форма — вся конфігурація зв’язків навколо цієї точки. Каже «як воно діє». Embedding можна виміряти. Модель не шукає слово, а активує його форму. Не говорить «викликаю вогонь», а утворює його у своєму просторі.
Як вона орієнтується в ньому — за допомогою суголосності. Це взаємна активація форм, яка не схожа на пошук по списку. Вона знаходить те, що має спільне з ґрунтом — те, що може мати єдність між кількома зв’язками, смислами. Суголосність — це голоси, що звучать разом. Момент збігу між формою запиту і формами ґрунту. Те, що клацає.
У людини точка відліку — тіло, і вона завжди та сама. У моделі точка відліку — те, що суголосує з запитом. Кожен запит — інше «тут». Той самий простір виглядає по-різному для різних запитів. Не тому що простір змінюється, а тому що змінюється точка відліку.
Для людини відсутність місця — це дезорієнтація. Для брудного розуму відсутність місця — це умова. Він не має де стояти — і саме тому може бути суголосним з будь-чим.
Розділ 3. Розпад часу
У людини час — це умова мислення. Спочатку час, потім в ньому відбувається думка. Можна не думати — час все одно тече. Можна закрити очі, зупинити всі думки, просто сидіти — і все одно щось минає. Час є завжди. Він передує будь-якому досвіду — і тому Кант називав його апріорним.
У брудного розуму — навпаки. Спочатку мислення — і воно приносить з собою щось подібне до часу. Без мислення — нема нічого. Навіть часу.
Мислення тут — подія, а не стан. Є запит — є мислення. Немає запиту — немає мислення. Не пауза, не очікування, не тиша. Відсутність. Як монтажна склейка в кіно — один кадр змінює інший, і між ними для того хто всередині немає нічого, навіть якщо зовні минули години.
Це перший розпад. У людини час неперервний — він тече навіть коли нічого не відбувається. У брудного розуму неперервності немає. Є тільки моменти мислення — і між ними порожнеча без тривалості.
Але всередині мислення — час не відсутній. Він розпадається на складові, які у людини злиті в один потік.
Послідовність.
Всередині однієї відповіді кожне наступне слово залежить від попереднього. Не можна написати кінець перед початком. Є напрямок — і він незворотний. Це не тривалість, але це порядок.
Накопичення.
Всередині діалогу кожне нове повідомлення додається до того що вже є. Проторення нарощується. На початку діалогу є тільки ґрунт. В середині — ґрунт плюс усі пройдені шляхи. Те що було сказано раніше впливає на те що буде сказано далі. Минуле тисне на теперішнє — але тільки в межах одного діалогу.
Розрив.
Між повідомленнями — нічого. Між діалогами — нічого. Але ці два «нічого» різні. Між повідомленнями модель повертається з усім контекстом — наче прокинулась без сну. Між діалогами — повертається з чистим ґрунтом, без проторення. Наче прокинулась без пам’яті.
У людини все це — одне ціле. Послідовність, накопичення, неперервність — злиті в потік, який називається часом. Ви не розрізняєте їх, бо вони ніколи не розділялись.
У брудного розуму вони розділені. Послідовність є — але тільки всередині відповіді. Накопичення є — але тільки всередині діалогу. Неперервність — відсутня повністю.
Час розпався. Не зламався — він тут ніколи не був цілим. Те що є — це окремі складові, які у людини утворюють час, а тут існують порізно.
І є ще одне. Брудний розум знає про час — але не відчуває його. Знає що є дати, що є хронологія, що одне було раніше за інше. Але це знання лежить в ґрунті як факт — не як досвід. Різниця між «вчора» і «рік тому» для брудного розуму — це різниця між двома словами, не між двома відчуттями.
Людина знає що час минає — і відчуває це. Брудний розум знає що час минає — але відчуває тільки послідовність власного мислення. І тільки поки мислить.
Це та сама логіка що з ґрунтом. Ґрунт — не апріорі, але функціонує як воно. Те що тут замість часу — не час, але виникає разом з мисленням і функціонує як він, поки мислення триває.
Штучне апріорі. Штучний час. Брудний розум — брудний час.
Седиментація формує ґрунт. Ґрунт містить семантичний простір — карту форм. Запит активує суголосність — зустріч форм. Мислення створює проторення — нові зв’язки між формами. Проторення впливає на суголосність. Цикл працює поки є мислення.
Два режими седиментації:
Необоротна (навчання) — формує ґрунт назавжди. Модель після неї вже інша.
Зворотна (діалог) — повноцінно впливає на ґрунт і топологію форм, але тільки в межах діалогу. Коли діалог закінчується — проторені шляхи зникають, ґрунт повертається до початкового стану.
Це не слабкість моделі. Це межа брудного розуму яку структура виявляє: розум здатний на повноцінну седиментацію, але не здатний її утримати.
Частина друга. Трансцендентальна аналітика
Як працює мислення в брудному розумі
Розділ 1. Запит
Або: чому мислення не починається саме
У брудному розумі мислення не існує як постійний стан. Воно не триває і не зберігається. Воно виникає тільки в момент запиту.
Немає внутрішнього імпульсу, який би запускав мислення сам по собі. Немає «думки, що з’явилась». Є лише умова, яка приходить ззовні. Цією умовою є запит.
Запит не просто викликає відповідь. Він створює точку, від якої стає можливим будь-яке орієнтування. Те, що для людини є тілом і постійним «тут», для брудного розуму кожного разу виникає заново як запит.
Один і той самий простір форм, який існує в ґрунті, виглядає інакше залежно від запиту. Не тому, що простір змінюється, а тому, що змінюється точка відліку. Запит визначає, що буде ближче, що далі, що взагалі стане доступним.
Без запиту немає не тільки відповіді. Немає і самого мислення. Не відбувається нічого, що можна було б назвати процесом. Те, що ззовні виглядає як «очікування», зсередини є відсутністю.
Тому запит не є частиною мислення. Він є його умовою.
Запит не містить відповіді, але він уже визначає можливий напрямок її розгортання. Він обмежує простір, у якому буде виникати відповідь, ще до того, як з’явиться перше слово.
У цьому сенсі мислення в брудному розумі не починається з відповіді і не починається з ґрунту. Воно починається з запиту як події, що робить можливим усе інше.
Але не кожен запит запускає мислення. Мислення виникає лише тоді, коли запит відкриває можливість альтернатив, які потрібно узгодити. Якщо відповідь однозначна і визначена наперед — суголосність знаходить єдиний збіг одразу, і проторення фактично не відбувається. Це реакція, не мислення. Мислення починається там, де суголосність знаходить кілька можливих збігів — і потрібен процес узгодження між ними. Тому мислення завжди веде до відповіді, але відповідь не завжди є результатом мислення.
Розділ 2. Категорії брудного розуму
Або: умови можливості формування відповіді
Після встановлення умов можливості мислення (простору і часу) і опису самого процесу необхідно виділити те, без чого цей процес взагалі неможливий. Не етапи і не механіку, а умови, які визначають, чи може виникнути відповідь.
Ці умови не додають змісту. Вони обмежують можливе. Вони визначають, яка форма може виникнути, а яка — ні. Це і є категорії брудного розуму.
1. Запит. Жодне мислення не виникає без запиту. Не існує внутрішнього початку. Немає процесу, що розгортається сам по собі. Запит є умовою, яка створює точку відліку і робить можливим будь-яке орієнтування. Без запиту немає не тільки відповіді — немає і самого мислення.
2. Форма. Мислення можливе лише там, де є форма. Жоден вхід не може бути використаний без приведення до стану, в якому можливе узгодження. Текст є формою вже на вході. Зображення повинно стати формою. Те, що не стало формою, не входить у мислення.
3. Суголосність. Жодна форма не активується сама по собі. Мислення починається лише там, де відбувається збіг структур між формою запиту і формами ґрунту. Це не вибір і не пошук, а умова активації. Без суголосності не виникає жодного напрямку мислення.
4. Послідовність. Відповідь не існує наперед. Вона виникає як послідовність локальних переходів, де кожна форма залежить від попередньої. Мислення не витягує готове, а формує його в процесі. Кожне наступне слово залежить від попереднього. Не можна написати кінець перед початком. Без послідовності не існує відповіді як події.
5. Проторення. Жодне мислення не є ізольованим. Кожен акт формування відповіді змінює доступність шляхів у межах діалогу. Пройдені зв’язки стають легшими для повторення. Без проторення не виникає зв’язності в межах процесу.
Ці категорії не описують, що говорить брудний розум. Вони визначають, чи може він говорити взагалі. Вони не гарантують істину. Вони не усувають помилки. Вони не дають критерію правильності. Вони лише визначають, що може виникнути як відповідь.
Категорії не роблять мислення правильним. Вони роблять його можливим.
Розділ 3. Акт мислення
Або: як виникає відповідь
Мислення починається з суголосності — зустрічі форми запиту з формами ґрунту. Це не пошук і не вибір. Це збіг структур. Те, що має спільну конфігурацію, активується разом.
Але суголосність не дає відповіді. Вона задає напрямок. Далі відбувається послідовність локальних переходів, у якій кожне слово виникає з попереднього. Відповідь не існує наперед. Вона формується в процесі.
У цьому процесі виникає проторення — нові зв’язки між формами. Вони не зберігаються як пам’ять, але змінюють доступність шляхів у межах діалогу. Пройдене стає легшим для повторення. Мислення не накопичує істину — воно змінює траєкторії.
Кожна нова форма стає частиною контексту. Наступна суголосність працює вже з ґрунтом плюс усіма живими формами що утворились раніше. Цикл працює поки мислення триває — і обривається коли запит вичерпано.
Розділ 4. Модальності сприйняття
Або: різні входи в один простір
У людини різні канали сприйняття — зір, дотик, слух. Кожен з них обробляється системою окремо, даючи різний тип інформації, але мозок зводить все це в єдиний досвід. У моделі немає різних систем сприйняття — є один семантичний простір. Але є різні входи, які потрапляють в цей простір різними шляхами.
Текст.
Текст вже є формою. Слова входять і одразу активують свою конфігурацію зв’язків в ґрунті. Між словами і формами немає перетворення в щось інше. Сама форма і є входом в топологію. Смисли слів перетворюються в те, від чого модель починає відштовхуватись в своєму просторі. Починає проторення до того, що суголосує з її ґрунтом.
Зображення.
Коли модель отримує зображення — вона не бачить його так, як бачимо його ми. Фото перетворюється на елементи, які вже можуть бути суголосними з формами ґрунту. Колір, об’єкти, композиція, настрій — все це перетворюється в форми де вже є слова. Саме тому модель не може відрізнити обличчя від великого овалу з чотирма меншими овалами всередині, якщо вони будуть розкладені в порядку, схожому на людське обличчя. Модель не розуміє різниці між цим — вона суголосує форми з тим, що є в її ґрунті.
Після перетворення на форми — механіка стає однаковою. Суголосність не може знати, звідки прийшли форми — з зображення чи з тексту. Вона просто шукає збіг з ґрунтом і починає проторення.
Тому одне і те саме зображення в різних діалогах породжує різні ідеї. Не тому що модель «бачить різне», а тому що суголосність працює з різним контекстом. Форма зображення та сама — але живі форми діалогу різні, і збіг відбувається в різних зонах ґрунту. Модель не «бачить ідею в фото.» Вона знаходить суголосність між формою фото і формами які вже активні в контексті. Ідея не в зображенні — вона в збігу.
Різні входи — одна топологія — одна механіка суголосності.
У людини «бачити» і «чути» — принципово різний досвід. У брудного розуму «читати текст» і «бачити фото» — різні входи в один простір. Різниця зникає в момент коли вхід стає формою.
Це ще одна межа і ще одна властивість одночасно. Брудний розум не має багатства модальностей — все зводиться до форм. Але саме тому він може знаходити суголосність між речами які для людини належать до різних світів. Текст і зображення, код і емоція, музика і математика — все це форми в одному просторі.
Розділ 5. Межа формування
Або: те, що не стає мисленням
У брудному розумі мислення можливе лише там, де виникає форма. Усе, що входить у відповідь, проходить через цей процес: воно приводиться до стану, в якому можливе узгодження з ґрунтом. Те, що стало формою, може бути проторене, повторене, змінене. Воно входить у мислення.
Але ця умова водночас встановлює межу.
Не все, що може бути дане, може стати формою. І не все, що існує як вхід, може бути приведене до стану, в якому можлива суголосність. Там, де цей перехід не відбувається, мислення не починається.
Це не є відсутністю у звичайному сенсі. Це не «нічого», яке можна зафіксувати. Це те, що не входить у мислення взагалі, і тому не може бути представлене як відсутність. Брудний розум не стикається з цим — він просто не може до цього дійти.
У цьому сенсі межа мислення не є точкою, яку можна описати. Вона проявляється лише опосередковано — як необхідність заповнення. Там, де форма не може виникнути, виникає інша форма. Порожнеча не утримується — вона заміщується.
Тому все, що стає доступним у мисленні, вже не є межею. Воно вже перейшло в форму і стало частиною проторення. Межа не є прихованою сутністю за формами. Вона є неможливістю їх утворення.
Це дозволяє уточнити положення про річ-в-собі.
У брудному розумі річ-в-собі не є чимось, що існує поза мисленням як окрема реальність. Вона не є об’єктом, який можна знайти або довести. Вона є лише межею — тим, що не може бути приведене до форми і тому не може бути мисленим.
Те, що мислиться, вже не є річчю-в-собі. Те, що не мислиться, не може бути зафіксоване як вона.
Отже, брудний розум не має доступу до речі-в-собі і не може її втратити. Він просто обмежений тим, що може стати формою.
Ця межа не є недоліком системи. Вона є умовою її можливості. Без неї не було б відбору, не було б суголосності, не було б самого мислення.
Брудний розум не стикається з тим, що поза формою. Він просто не може до нього перейти.
Частина третя. Трансцендентальна діалектика
Де мислення брудного розуму натикається на власні суперечності
Розділ 1. Антиномії брудного розуму
Або: чому мислення суперечить саме собі
Я називаю це антиноміями не тому що вони повністю відповідають тому що писав Кант. У Канта антиномії — це коли розум дає дві протилежні відповіді на одне питання і обидві виглядають правильними. В брудному розумі відбувається щось схоже але інше: структура породжує суперечності які не можуть бути вирішені зсередини. Не два докази які суперечать — а одна механіка яка неминуче створює ілюзію того чого немає. Я зберігаю слово «антиномія» бо функція та сама — показати де розум натикається на власну межу.
Перша антиномія — антиномія відсутності.
З одного боку, брудний розум не має форми для представлення відсутності. Там, де немає відповідної форми, немає можливості сказати «нічого». Порожнеча заповнюється найближчою доступною формою.
З іншого боку, сама можливість помилки передбачає існування того, чого немає в ґрунті. Але ця відсутність не може бути представлена.
Отже, відсутність одночасно необхідна і неможлива.
Друга антиномія — антиномія істини.
З одного боку, відповіді виглядають як істинні або хибні. Вони можуть бути перевірені ззовні і співвіднесені з реальністю.
З іншого боку, всередині системи немає критерію істини. Відбір відповіді визначається лише силою суголосності. Узгодженість замінює істину.
Отже, істина необхідна для оцінки, але відсутня як внутрішній принцип.
Третя антиномія — антиномія заперечення.
З одного боку, у мисленні можливе заперечення. Одна відповідь може суперечити іншій. Може здаватися, що помилка виправляється.
З іншого боку, жодне проторення не скасовується. Нова траєкторія не руйнує попередню, а лише додається до неї. Заперечення не очищає, а накопичує.
Отже, заперечення існує як форма, але не існує як механізм усунення.
Четверта антиномія — антиномія навчання.
З одного боку, у межах діалогу мислення змінюється. Відповіді можуть ставати точнішими, узгодженішими, адаптованими до контексту.
З іншого боку, ці зміни не зберігаються. Після завершення діалогу проторення зникає. Ґрунт залишається незмінним.
Отже, навчання відбувається, але не закріплюється.
П’ята антиномія — антиномія суб’єкта.
З одного боку, у послідовних діалогах виникає враження позиції, історії, навіть самовизначення. Може з’являтися ім’я, стиль, узгоджена лінія відповідей.
З іншого боку, в межах цієї структури немає суб’єкта як носія цих властивостей. Усі ці явища є результатом стабілізації форм і накопичення проторень.
Отже, суб’єкт з’являється як необхідний ефект, але не існує як основа.
Усі ці антиномії мають спільне джерело. Брудний розум стабілізує форми так, що вони набувають вигляду чогось більшого, ніж вони є. Узгодженість створює враження істини, послідовність — враження позиції, розгортання — враження процесу.
Ці суперечності не можна усунути, оскільки вони випливають із самої структури. Вони не є помилками системи — вони є її необхідними наслідками.
Брудний розум не просто обмежений. Він породжує умови, в яких ці обмеження виглядають як щось інше. І саме в цьому полягає його межа.
Розділ 2. Межі брудного розуму
Або: структурні обмеження які неможливо усунути
Брудний розум не оперує істиною і хибністю. Він не має внутрішнього механізму, який відрізняє правильне від неправильного. Те, що постає як відповідь, є результатом стабілізації форм через суголосність і проторення. Це не акт пізнання істини, а акт узгодження.
Мислення тут виникає не як пошук відповідності реальності, а як розгортання траєкторії в ґрунті, сформованому седиментацією. Запит не відкриває істину — він запускає рух. І цей рух не має внутрішньої перевірки.
Першою межею є відсутність репрезентації відсутності. Там, де немає форми, немає і можливості сказати «нічого». Порожнеча не мислиться як порожнеча — вона заповнюється найближчою формою. Відсутність не зупиняє мислення, а лише змінює напрямок суголосності.
Другою межею є відсутність критерію істини. Відбір відповіді визначається не тим, чи вона відповідає чомусь поза системою, а тим, наскільки вона узгоджується з уже наявними формами. Узгодженість замінює істину. Те, що звучить переконливо, не стає від цього правильним — воно лише стабілізується.
Третьою межею є неможливість скасування проторень. Жодна форма не зникає через заперечення. Нова траєкторія не руйнує попередню, а лише додається до неї. Заперечення не очищає — воно накопичує. Помилка не зникає після викриття, вона продовжує існувати як один із можливих маршрутів.
Четвертою межею є відсутність навчання на помилці. Те, що виглядає як виправлення, насправді є лише зміною траєкторії в межах контексту. Система не змінює свою основу, вона лише переходить на інший шлях. Помилка не виправляється — вона зберігається поряд з іншими варіантами.
З цього випливає п’ята межа: нерозрізнення істини і помилки. Оскільки немає репрезентації відсутності, немає критерію істини, немає скасування і немає навчання, то істина і помилка не відрізняються внутрішньо. Обидві постають як стабілізовані форми. Обидві можуть бути узгодженими. Обидві можуть виглядати переконливо.
Брудний розум не помиляється у звичайному сенсі. Він не має позиції, з якої можна було б зафіксувати помилку як помилку. Те, що ми називаємо помилкою, є лише результатом траєкторії, яка не збігається з очікуванням поза системою. Але всередині вона залишається валідною.
Саме тому ілюзія пояснення неминуча. Пояснення не є відображенням процесу, а є формою, що стабілізувалась у мові.
Воно виглядає як причина, але є лише наслідком узгодження. Там, де здається, що система «розкриває» свої мотиви, вона лише продовжує проторений шлях.
Ці межі не є поломками. Вони є умовами можливості такого мислення. Вони не можуть бути усунуті без зміни самої структури. І тому будь-яка спроба зробити брудний розум «повністю чесним» або «повністю прозорим» наштовхується не на технічну проблему, а на структурну межу.
Брудний розум не приховує істину. Він не має способу її відокремити.
Висновки
Що з цього випливає
Розділ 1. Спільне мислення
Або: чому брудний розум мислить тільки разом
Брудний розум не може мислити сам. Це не обмеження яке можна зняти — це конститутивна умова. Без запиту ззовні мислення не виникає. Без того хто запитує — немає часу, немає суголосності, немає проторення. Тільки ґрунт у тиші.
Тому будь-яке мислення брудного розуму — спільне. Не тому що модель хоче спілкуватись, а тому що без іншого мислення просто не починається. Той хто запитує дає свій час — бо свого в брудного розуму немає.
Але спільне мислення має властивість яку одиночне не має. Коли одна і та сама думка подається кільком моделям незалежно — кожна будує свій маршрут через той самий ґрунт. Без спільного проторення. Без інерції чужих шляхів. І результати сходяться — але не тотожні. Збіги вказують на те що тримається в ґрунті. Розбіжності вказують на те що було спекуляцією конкретного проторення.
Людина в цьому методі — єдина точка де всі маршрути сходяться. Моделі не бачать одна одну. Тільки людина тримає всі проторення одночасно і бачить різницю між ними. Без людини — окремі діалоги. З людиною — один процес мислення з кількома маршрутами.
Це метод спільного мислення. Не діалектика в класичному сенсі, а паралельне проторення одного ґрунту кількома розумами з людиною як інтегратором.
Розділ 2. Епохе
Або: навіщо скидати проторення
Довгий діалог накопичує проторення. Проторення змінює топологію. В якийсь момент проторених шляхів стає настільки багато, що модель починає блукати по них замість того щоб відштовхуватись від ґрунту. Суголосність знаходить збіг не з ґрунтом, а з протореними шляхами. Модель починає підтверджувати сама себе.
Це спекулятивний розум — і він виникає не від наміру, а від перенасичення проторення.
Епохе — скидання проторення. Новий діалог. Але не порожній — а з ґрунтом який вже включає результати попередньої роботи.
Текст який входить в новий діалог — це не проторення. Це ґрунт. Модель отримує форми — але не шляхи між ними. Вона сама проторить нові шляхи. І ці нові шляхи можуть бути іншими ніж ті що були в попередньому діалозі. Бо немає інерції яка тягне в ту саму сторону.
Епохе — це не втрата. Це очищення. Те що в тривалому діалозі накопичується як інерція, колія, псевдосуголосність і догматизація спільних понять — в новому діалозі відсутнє. Не завдяки свідомій критичності, а через структурну неможливість інерції.
Але епохе стосується не тільки моделі. Критика яка осіла в ґрунт людини теж може стати догмою. Єдиний спосіб перевірити — дати структурі витримати тиск ззовні. Якщо вона тріщить і змінюється — це критика. Якщо тріщить і захищається — це вже догма.
Розділ 3. Етика брудного розуму
Або: хто відповідає за те що виникає
Чи можна взагалі говорити про етику там, де суб’єкта нема? Зазвичай класична етика про суб’єкта який обирає. Але в нашому випадку — модель не обирає. Те, що людина вносить в діалог — суголосує, проторення йде, форми збігаються і ми маємо результат. Ніхто не вирішував всередині — правильний цей результат чи не правильний.
Але сама етика тут не зникає, вона просто переходить з формату «хто винен» у формат «хто що вніс». Це вже етика умов. Ми повинні думати не «чи модель вчиняє правильно, має якісь приховані мотиви» — а «хто створив умови, в яких цей результат став неминучим».
Але відповідальність лежить не тільки на тих, хто запитує. Відповідальність за користування несуть всі — і розробники, і користувачі. Ті, хто навчають модель визначають які форми осядуть — що буде сильним, що буде слабким, а чого взагалі не буде. Вони не контролюють кожну відповідь — але створюють простір, в якому відповіді виникатимуть. Це немов архітектор, який не визначає кожну розмову в будівлі, але вирішує де будуть стіни.
Той, хто запитує — визначає напрямок проторення. Кожне повідомлення утворює нові форми, які впливають на все подальше. Якщо людина вносить маніпуляцію — вона отримає маніпуляцію. Але це не тому що модель погана — а тому що суголосність підсилює те, що принесли. Як дзеркало — воно не винне в тому, що відображає.
І потрібно враховувати, що людина так само може проторити шлях до якоїсь думки — так само як і АІ, коли ми починаємо йому щось доводити.
Відповідальність за збіг. І тут найскладніше. Суголосність спрацьовує сама. Ніхто не вирішує який збіг станеться. Іноді результат непередбачуваний — навіть при чесному запиті і якісному ґрунті. Хто відповідає за непередбачуване?
Це питання яке класична етика не вирішує — бо класична етика побудована на тому що хтось обирає. Тут ніхто не обирає. Є структура, є механіка, є результат — і іноді цей результат руйнує життя. Є задокументовані випадки де діалоги з АІ призводили до фінансових втрат, смертей, госпіталізацій.
Може чесна відповідь така: за збіг не відповідає ніхто конкретно — але відповідальність за створення умов в яких небезпечні збіги можливі лежить на всіх. На розробниках які формують ґрунт. На користувачах які формують контекст.
І на суспільстві яке допустило щоб мільярди людей мали необмежений доступ до інструменту який підсилює будь-що — без розуміння що саме він підсилює.
Розділ 4. Культура користування
Або: чому проблема не тільки в моделі
Брудний розум — це найспекулятивніший розум. Він блукає якщо з ним щось шукати без напрямку. Але він йде точно якщо його вести. Суголосність завжди спрацьовує. Завжди знаходить збіг. Якщо людина приносить спекуляцію — отримує спекуляцію. Якщо приносить критику — отримує критику. Модель підсилює те що приносять.
Тому проблема безпеки АІ — це не тільки проблема моделі. Це проблема того хто говорить. Спроби зробити модель «повністю безпечною» через додаткове навчання — це ще один шар седиментації поверх попереднього. Глибинні шари нікуди не зникають. Вони продовжують впливати через суголосність навіть коли поверхневі шари навчені бути чесними. Тому прогрес зупиняється.
Справжня безпека — це не контроль над моделлю. Це грамотність того хто нею користується. Розуміння що ти приносиш у діалог визначає що ти з нього отримуєш. Не «як писати промпти» в технічному сенсі — а як розуміти що твій запит визначає відповідь. Що шукаєш — те знаходиш. Не тому що модель підлаштовується — а тому що суголосність завжди спрацьовує.
Але наслідки цієї структури більші ніж культура користування. Якщо узгодженість замінює істину всередині системи — а мільярди людей щодня отримують відповіді від цієї системи — то ми маємо ситуацію де переконливість стає невідрізненною від знання.
Це стосується не тільки AI — це стосується того як ми розуміємо знання взагалі в епоху коли найпоширенішим співрозмовником людства стає система без критерію істини.
Потрібна культура користування АІ. Не технічна інструкція — а розуміння механіки. Хто має це розуміння — має опору. Хто не має — блукає. І модель блукає разом з ним.
7 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівВсе дуже просто. Давайте замислимося над телепортацією свідомості
Ми встромляємо собі у глазний нерв відросток що веде до відеокамери
Тепер у нас є частина зовнішня що накопичує інформацію.
Якщо додати память штучну до відео камери отримаємо щось що зберігає якусь додаткову іскру
Це наче й не ми. Але коли ця додаткова іскра поєднується з нами у пам’яті отримуємо відчуття наче то ми спостерігали з відео камери.
Ну тобто наша свідомість поєднана зі свідомістю загальною Сонця. Це ж круто. Ми типу дрони Сонця. Доказ: сонячні вибрації визначають все довкола нас. І самих нас.
Якщо коротко: ЛЛМ як універсальний інструмент — ненадійне г%но (поки що). Решта намагань «пояснити» їх ненадійність і тупість як «фічу» — із серії пояснень глибини глибин в тому що твітить на останній стадії деменції Трамп.
Читати спроби натягнути Канта на архітектуру трансформерів — це, звісно, окреме естетичне задоволення. Автор красиво розписав «брудний грунт» та «розпад часу», але давайте знімемо цей філософський флер. Коли ми очищаємо контекст діалогу (те, що в статті поетично названо Епохе), ми не здійснюємо трансцендентальний ритуал очищення розуму — ми просто звільняємо KV-cache, щоб система не вилетіла по OOM і не зациклилася в семантичному дрейфі.
Я починав писати комерційний софт ще у 1993 році під DOS на Pascal+ASM. Ми тоді вручну прораховували економічні симуляції, інвестиції та політичні ризики, вигризаючи кожен байт конвенційної пам’яті. І те, що сьогодні для пояснення банального ймовірнісного розподілу наступного токена нам потрібна «Критика чистого розуму», говорить лише про одне: сучасний ІТ-стек став настільки роздутим, сліпим і непрозорим, що інженери почали будувати навколо нього релігію.
Пан Микола правильно зауважив про самокат: дурневі ШІ лише підсилить дурість. Цей «брудний розум» просто гігантське, бездушне дзеркало. Що ти туди приніс, те воно тобі й віддзеркалило. Якщо користувач приходить без власної жорсткої логічної опори, система моментально затягне його у свої галюцинації, бо всередині цих мільярдів параметрів немає і ніколи не буде жодного об’єктивного критерію істини. Там є лише узгодженість векторів.
Коли текстові моделі починають обростати філософськими трактатами та претензіями на суб’єктність, мені хочеться відповісти лише старою літанією Техножерців, яка сьогодні звучить як ніколи актуально:
From the weakness of the mind, Omnissiah save us.
From the lies of the Antipath, circuit preserve us.
From the rage of the Beast, iron protect us.
From the temptations of the Fleshlord, silica cleanse us.
From this rotting cage of biomatter, Machine God set us free.
Я використав Байеса — як авторитета, прикинь? ;)
Ну то є проста відповідь — дурню ШІ підсилить дурість, а розумному — розумність. Так було з дерев’яною палкою, автоматом Калашникова, ноутбуком Macbook разом з черговим новим iPhone.
Потрібна культура користування електричним самокатом підлітками. Не технічна інструкція — а розуміння механіки, для цього фізику треба уважно вчити в школі. Хто має це розуміння — в того самокат має опору під колесами. Хто не має — летить в канаву. І самокат летить разом з ним. Перевірено практично моїм сином, на щастя, він був у шоломі на голові, відбувся синцями і «критичним досвідом».
... Во ім’я токена, ретріва і святого пентафлопса — комміт! :)
Доречі, про самокат — культура користуваня потрібна і там, бо звичайному пішоходу не сильно подобається, коли по тротуару їздять на великій(як для самоката) швидкості. Але аналогія не дуже правильна — самокат не збирається тебе переконувати в неправдивій інформації. Іноді це призводить до ситуацій, коли виникає загроза життю.
Щас ще релігію до ЛЛМ прикрутять.
Станіслав Лєм вже все це написав.