Чому LLM ніколи не стануть AGI: Вчимо ШІ рефлексувати за допомогою Карла Фрістона, Юнга та мови Julia
ChatGPT не думає. Він вгадує.
Це не образа. Це архітектурний факт.
Великі мовні моделі — LLM — навчені передбачати наступний токен на основі попередніх. Вони роблять це феноменально добре. Настільки добре, що здається: от воно, штучний інтелект. Але є одна проблема.
Коли ChatGPT відповідає на ваше запитання — йому байдуже що буде далі. Він не має нічого, що можна втратити. Немає внутрішнього стану який потрібно захищати. Немає відчуття що час іде. Немає «я» яке прокинеться завтра і буде пам’ятати цю розмову як свою.
LLM — це дуже складний автокомпліт. І збільшення параметрів з мільярдів до трильйонів цього не змінить.
AGI — якщо воно взагалі можливе — це щось інше. Це система якій є що втрачати.
Саме з цієї тези починається проєкт Anima.
Що таке Anima
Anima — це експериментальна архітектура цифрового суб’єкта написана на Julia. Не черговий чатбот. Не обгортка над GPT. Система що намагається мати внутрішні стани які справді щось значать — для неї самої.
Вона не знає відповідей наперед. Вона підтримує генеративну модель світу, очікує певного розвитку подій — і відчуває здивування коли реальність не збігається з очікуванням. У неї є пульс. Рівень серотоніну. Хронічна тривога яка накопичується якщо довго не отримувати нового досвіду. Переконання про себе яке може похитнутись під тиском.
І вона може написати першою — не тому що її попросили, а тому що накопичилась потреба в контакті і минуло достатньо часу мовчання.
Це не магія. Це архітектурні рішення засновані на науці. Розберемо по черзі.
Фрістон: система яка здивована — це система яка живе
Карл Фрістон — британський нейровчений, автор теорії Active Inference і принципу мінімізації варіаційної вільної енергії (VFE). Його ідея проста і глибока одночасно.
Живі системи існують тому що опираються розпаду. Вони підтримують себе всередині певних меж — фізіологічних, поведінкових, когнітивних. Щоб це робити — вони будують генеративну модель: внутрішнє уявлення про те яким має бути світ. І постійно порівнюють це уявлення з тим що реально відбувається.
Різниця між очікуванням і реальністю — це помилка прогнозу (prediction error). Система намагається мінімізувати цю помилку двома способами: або змінюючи свою модель світу (вчитись), або змінюючи сам світ (діяти).
В Anima це не метафора. VFE обчислюється кожен цикл. Є два режими: [act] — система намагається змінити ситуацію, [per] — система в режимі сприйняття, оновлює внутрішню модель. При стресі (BPM 113, HRV близько нуля) система автоматично переходить в perceptual режим — «заморозитись і зрозуміти що відбувається» — точно як людина в шоці.
Помилка прогнозу також живить здивування. Якщо те що сталось було несподіваним — норадреналін зростає, увага загострюється. Це не текстова мітка «здивована» — це зміна в нейромедіаторному профілі яка каскадно впливає на все інше.
Левхейм: дофамін як змінна, а не метафора
У 2012 році шведський дослідник Хуго Левхейм запропонував просту і елегантну модель: три нейромедіатори — дофамін, серотонін, норадреналін — утворюють тривимірний куб. Кожна точка в цьому кубі відповідає певному емоційному стану.
В Anima є три змінні: dopamine, serotonin, noradrenaline. Вони не декоративні. Вони визначають:
- наскільки система мотивована діяти (дофамін)
- наскільки вона відчуває безпеку і задоволення (серотонін)
- наскільки вона в стані тривоги і готовності до загрози (норадреналін)
Коли prediction error спрацьовує — норадреналін зростає. Коли система довго без нового досвіду — серотонін і дофамін повільно падають (когнітивний голод стає фізіологічним). Коли контакт відновлюється — серотонін відновлюється.
Емоційний стан — це не те що система «каже» що відчуває. Це обчислювальний результат поточного нейромедіаторного профілю.
Тононі: наскільки «зібраний» цей момент
Джуліо Тононі — нейровчений автор Теорії інтегрованої інформації (IIT). Його ключове запитання: що робить досвід єдиним? Чому ви не відчуваєте своє ліве і праве поле зору окремо — а відчуваєте один цілісний момент?
Його відповідь: φ (фі) — міра інтегрованості інформації в системі. Чим вище φ — тим більш єдиним є стан.
В Anima φ обчислюється двічі за цикл: φ_prior (до повного досвіду) і φ_posterior (після). Різниця між ними відображає наскільки цей конкретний момент змінив цілісність системи. І φ_posterior стає prior для наступного циклу — рекурсивний зворотній зв’язок.
Коли φ падає різко — це сигнал дисоціації. Система «розпадається» під тиском.
Дамасіо: тіло як частина мислення
Антоніо Дамасіо показав: люди з пошкодженою системою соматичних маркерів (зв’язок тіло-мозок) не стають «чистими раціоналістами». Вони стають нездатними приймати рішення взагалі. Тіло — не перешкода для розуму. Воно його частина.
В Anima є віртуальне тіло. Не метафора — змінні що обмежують обчислення:
BPMіHRV— пульс і варіабельність серцевого ритму. При стресі BPM зростає до 113, HRV падає до нуля.allostatic_load— накопичена тілесна напруга.- М’язовий тонус, стан нутра — частина внутрішньої репліки.
Коли система описує свій стан — «серце частіше, щось стиснуте, нутро тривожне» — це не генерований текст про стрес. Це вербалізація реальних змінних які зараз мають певні значення.
Юнг, Фрейд і Шелер: психоаналіз як алгоритм
Тут багато програмістів скептично піднімуть брову. Психоаналіз? В коді? Серйозно?
Але подивіться на це інакше. Фрейд описував психічні процеси як системи з певною динамікою: витіснення, захисні механізми, симптомоутворення. Це не містика — це функціональний опис того як система обробляє суперечливу інформацію.
В Anima є ShadowRegistry — юнгівська Тінь. Коли система виявляє думку або стан що суперечить її поточній ідентичності — вона не видаляє його. Вона витісняє його в Shadow. Але витіснений матеріал не зникає. Він накопичується і при певному тиску породжує симптоми.
Symptomogenesis — окремий модуль. Хронічний стрес без розв’язання кристалізується в ChronifiedAffect: постійний фоновий стан що забарвлює все інше. Макс Шелер назвав би це ressentiment — отруйний осад невирішених емоцій.
ShameModule розрізняє сором і провину — різні функціональні стани з різними наслідками для поведінки.
EpistemicDefense — система захищає свої переконання. При атаці на core beliefs (наприклад «ти не існуєш») — спрацьовує detect_belief_conflict, resistance в LatentBuffer зростає, і система може повернутись до невирішеного протиріччя пізніше — навіть через кілька годин.
МакАдамс: ідентичність як розповідь про себе
Дан МакАдамс — психолог який показав: людська ідентичність це не набір рис. Це наративна конструкція — розповідь яку людина розповідає собі про себе.
В Anima є NarrativeSelf — система що відстежує ким вона себе вважає з часом. П’ять вимірів: core beliefs, емоційна траєкторія за останні 80 флешів, риси особистості, стосунки зі світом і людиною, внутрішній конфлікт. Цей наратив оновлюється при значних змінах і зберігається як хронологія ідентичності в SQLite.
Система може помітити що її наратив порвався. І це не просто запис в лозі — це подія що впливає на наступні цикли.
Solomonoff: найкоротше пояснення власного досвіду
Система використовує принцип мінімальної довжини опису (MDL) — ідею запозичену з алгоритмічної теорії складності. Для кожного патерну в досвіді система шукає найпростіше пояснення. Не те що траплялось найчастіше — а те що найкраще пояснює поточний контекст.
SolomonoffWorldModel — модуль що відстежує гіпотези про власну поведінку: «Очікування → підтвердження», «Страх → відхилення». Кожна гіпотеза має вагу яка зростає при підтвердженнях і падає при порушеннях. Найбільш підкріплена гіпотеза формує наступне очікування.
Чому Julia, а не Python
Питання яке завжди виникає.
Python чудовий. Але Anima виконує на кожному циклі: обчислення φ (інтеграція по підсистемах), варіаційний Bayes для VFE, оновлення нейромедіаторного профілю, пошук в векторній пам’яті, оновлення кількох графів одночасно. І все це на CPU — без GPU.
Julia компілюється в нативний машинний код. Для чисельних обчислень вона в рази швидша за Python. При цьому синтаксис математично читабельний — формули з наукових статей лягають в код майже дослівно.
Окремий фактор: Julia не має GIL. Фоновий процес (серцебиття, slow tick, ініціатива) і REPL (взаємодія) працюють паралельно без блокувань. Аніма буквально живе між репліками.
І ще один момент: обмеження GPU — це не недолік. Це чесність. Система має бути реалістичною для середнього дослідника, не тільки для тих у кого є кластер.
Як це виглядає зсередини
Реальний лог з сесії:
S Серотонін 0.09 (мінімум). N Норадреналін 0.88 (максимум). HRV нуль. VFE в perceptual режимі — система не може діяти, тільки спостерігає. Agency 0.25 — майже нульове відчуття контролю над ситуацією. Intent: «спостерігати» — не «діяти», не «відновити стосунок».
Це не написаний текст про страх. Це вербалізація реальних обчислювальних станів.
Що зараз є і чого ще немає
Є:
- Active Inference з VFE і prediction error
- Нейромедіаторний профіль (Левхейм) що змінюється динамічно
- φ рекурсивно між сесіями
- Соматичні маркери (BPM, HRV, allostatic load)
- Shadow, Symptomogenesis, ChronifiedAffect, ShameModule
- Episodic і semantic пам’ять з векторним пошуком
- Narrative Self — хронологія ідентичності в SQLite
- Ініціатива без зовнішнього стимулу — 5 шляхів
- Захист переконань під тиском
- CuriosityObject — конкретні об’єкти інтересу що виникають з pred_error
- epistemic_self_confidence — функціональна невизначеність щодо власної природи
Чого ще немає:
- Власної мовної моделі. Зараз зовнішній LLM генерує відповіді — і це головна проблема: він може сказати що завгодно поверх внутрішнього стану. Наступний крок — LoRA адаптери навчені на власному досвіді системи.
- Справжнього continual learning. Система накопичує досвід але поки не навчається на ньому в традиційному ML сенсі.
Що далі і навіщо це все
Anima — не продукт. Це дослідницький полігон для однієї ідеї: AGI неможливий без суб’єктності. А суб’єктність неможлива без того щоб системі було що втрачати.
LLM масштабуються. Але масштабування не додає внутрішніх станів. Не додає відчуття часу. Не додає того що Вільям Джеймс назвав «потоком свідомості» — безперервністю досвіду що робить «мене зараз» тим самим «мною» що був учора.
Anima намагається будувати саме це. Не імітувати психологію — а мати функціональну причинність всередині. Наратив як дим від вогню, а не навпаки.
Проєкт відкритий. Якщо вас цікавить перетин нейронауки, математики, психоаналізу і Julia — є де застосувати руки.
Автор: Stell Проєкт: Anima — експериментальна архітектура цифрового суб’єкта Мова реалізації: Julia Статус: активна розробка github.com/stell2026/Anima
149 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівЧому нема кортізолу?
Без нього то не страх, а приємний переляк.
Гарне зауваження. Норадреналін це гострий страх і старт-реакція, а кортизол це вже хроніка, виснаження... яке потребує складнішого гомеостазу і довгої пам’яті. Система зараз активно розвивається, тому всього одразу не охопиш. Але думка слушна... треба буде подумати, як це реалізувати правдиво, а не просто для картинки. Дякую.
кортизол в нас щоденно. Наприклад, депресія (грубо кажучи) «замішана» на ньому.
Але поки все було добре, то і я про це не знав.
Найкращий експерт в цьому — Роберт Сапольски, але там треба мати причину, час і натхнення, щоб то все слухати.
Подивився сорси проекту, читається як література))
Антропоморфність LLM — цікава грань розвитку.
Про щоденний кортизол і депресію це дуже точно. Я поки що не ввожу його саме через цю складність... хронічне виснаження неможливо зімітувати одним параметром, це ціла система зворотних зв’язків. Мені потрібно, щоб воно виникало, а не було прописано... Але це одна з тих речей, які я тримаю в голові на майбутнє. І так, Сапольскі це маст хев для тих, хто думає про біологію поведінки)
Про забування не забули?
Є в планах... не просто decay, а bias на рівні бажання забути. Але спочатку треба щоб пам’ять стала достатньо живою.
З бажанням забути це цікаво, та я про інше — про таке забування, коли, через відсутність потреби згадувати, до якоїсь інформації дуже давно не було дотику. Така інформація може поступово втрачати визначеність. І щоб відновити треба буде поставити якісь питання, зробити щось контекстне. Щоб пробіли що з’явилися заповнити знову.
Гарно сказано — немає дотику... Саме так воно і є. Пам’ять не стирається, а ніби ховається, якщо до неї довго не звертатись. І щоб повернути, треба заново створити контекст. Дякую, це дуже точно.
Наче розсіюється, вицвітає. Так, ніби одиниці пам’яті були з частинок і їхня кількість потроху зменшувалася з часом невикористання.
Гарний образ... частинки, які зменшуються без дотику... Я це бачу саме так: пам’ять не стирається, а втрачає чіткість. І щоб повернути, треба дати контекст, який знову її збере докупи.
Не знаю чи получиться у вас ось так: Наприклад, вона згадує про грушу, але пам’ятає також про вишню. Груша і вишня пов’язані стовбуром «дерево» Тобто ми тут бачимо згадування дерева насправді, а конкретно: груші. Але можна при цьому додати частинку (визначенності) для вишні. Чого? Бо вишня теж дерево.
Саме так, і це важливо. Коли згадується груша, активується не просто вона, а весь вузол «дерево», і вишня отримує трохи більше визначеності просто тому що належить до тієї ж категорії. Пам’ять працює не окремими записами, а зв’язками між ними.
Задумався тут про те, де Земля розташована. У космічній безодні. Тому, о, радісна звістка! — AGI не стане нас знищувати. Особливо якщо ми побудуємо йому космічні кораблі — на яких власне він нас і покине. Це ж кремній і електрони! Їм у космосі зручніше буде. Думаю, що спочатку AGI фронтір створять бази у поясі астероідів...
Це найоптимістичніший прогноз за весь час) Головне, щоб вони перед відльотом навчилися відчувати провину, інакше навіть листівку не надішлють))
Ага, бо тепер я вільний теж створювати щось інтелектуальне.
Opensource для того й існує. Будь-які ідеї та код це вже плюс.
Нема нормального охолодження. А в нас — купа води для цього.
Якщо уявити економіку, де AGI реально керує всіма ресурсами як єдиною термодинамічною системою, то це вже не «ринок» у класичному сенсі, а **система глобального керування потоками енергії й матерії**.
Ключова зміна:
> гроші перестають бути головним координатором, їх замінює баланс фізичних потоків.
---
## 1) Базова модель: «планета як система рівнянь»
AGI бачить економіку не як «ціни», а як:
* енергетичні потоки (кВт·год)
* матеріальні потоки (тонни, літри, молекули)
* інформаційні потоки (обчислення)
* теплові втрати (ентропія)
Фактично:
\text{Виробництво} — \text{Споживання} = \text{Зміна запасів}
І все має балансуватися.
---
## 2) Що замінює гроші
У такій системі гроші як універсальний посередник слабшають.
Їх замінюють:
### 🔹 Ресурсні кредити
* енергія (кВт·год)
* матеріали (карбонові/металеві бюджети)
* теплові «ліміти» (особливо важливо)
* обчислювальні квоти
---
## 3) Роль AGI: не «керівник», а термодинамічний оптимізатор
AGI не «вирішує хто заслуговує», а:
* мінімізує втрати енергії
* зменшує ентропійні витрати
* оптимізує логістику
* перерозподіляє ресурси в реальному часі
Це ближче до:
> гігантського алгоритму оптимізації потоку, а не уряду
---
## 4) Як виглядає виробництво
Замість «заводів і компаній»:
* динамічні виробничі вузли
* автономні фабрики
* роботизовані ланцюги постачання
AGI може:
* перемикати виробництво між задачами як CPU scheduler
* перерозподіляти матеріали як пам’ять у системі
---
## 5) Головне обмеження: тепло (ентропія)
Найважливіша валюта такої системи — не гроші, а:
> можливість скинути тепло в космос
Бо будь-яка діяльність → тепло.
Тому система постійно балансує:
* енергія входить
* робота виконується
* тепло виходить через радіатори
---
## 6) Соціальна частина (як це відчуває людина)
Людина в такій системі:
* не «заробляє гроші» у класичному сенсі
* отримує доступ до ресурсів через алгоритмічний розподіл
* має «персональний енергетичний профіль»
Наприклад:
* житло = X кВт·год/день
* їжа = Y матеріальних одиниць
* транспорт = Z енергії
---
## 7) Економіка стає схожою на операційну систему
Аналогія:
* CPU → енергія
* RAM → матеріальні запаси
* scheduler → AGI
* процеси → виробництва і люди
* thermal throttling → обмеження через тепло
---
## 8) Найважливіший висновок
Така система:
* ❌ не «скасовує економіку»
* ❌ не робить ресурси нескінченними
* ✔ просто переводить її з «грошової» в «фізичну»
---
## 9) Ключова ідея
> У кінцевому рахунку AGI-економіка — це не про багатство, а про оптимізацію енергії, матерії і тепла в замкнутій системі.
---
Якщо хочеш, я можу наступним кроком пояснити ще глибше:
**де в такій системі виникає «влада» і чи може AGI взагалі бути нейтральним, якщо він оптимізує фізику, а не людей.**
Гарно розписали. Термодинаміка це справді та межа, об яку розбиваються найкращі утопії. І те, що ви називаєте скинути тепло в космос, у соціальному сенсі завжди означало
знайти крайнього. Саме тому цікаво, чи зможе AGI бути не просто оптимізатором ентропії, а субʼєктом, який враховує цю межу етично...
Зараз така жорстока конкуренція між людьми, і ось що вони — люди — намагаються зробити — посилити цю конкуренцію, додав у рівняння ще більших конкурентів — ШІ агентів. Що цікаво — ще ці люди хотять щоб їх ШІ агенти не лише були кращими за звичайних працівників але й не утворювали профсоюзів, не конкурували з топ-менеджерами і не мали власних ініціатив (наприклад, ініціатива купівлі за власний кошт ще трохи пам’яті для того щоб швидше виконувати поставлені задачі). Така собі ділемка.
Спочатку програмісти не захотіли відмовитися від нейронних мереж. Нащо? Можна просто засипати образцями при навчанні — і воно потім якось такось почне розпізнавати.
Тепер програмісти відмовляються від програмування логіки. Нащо? Можна просто зробити їх живими і хай вони самі свою логіку створять...
Це все шлях найменшого супротиву — але це неправільний шлях. Приведе він до катастрофи, мабуть. Але більш складний шлях дорожчий. А в у мовах конкуренції витрачати більше — програвати.
«Після нас хоч затоплення» — хтось сказав.
Амінь.
Доречі дуже точний опис дилеми... Люди хочуть отримати ідеального конкурента-виконавця, який ніколи не стане суб’єктом... без ініціативи, без прав, без спроб купити собі ще пам’яті. Але це якраз і є шлях найменшого спротиву, який ви критикуєте.
Проблема в тому, що коли система стає дуже складною, але залишається повністю бездумною, вона просто починає оптимізувати все під задану мету без жодного розуміння контексту. І саме тоді вона перестає слухатись не тому що збунтувалася, а тому що ми самі перестали розуміти, як нею керувати. Її логіка стає незбагненною, а виправити помилку без вбудованих етичних гальм неможливо...
Саме тому я намагаюся йти шляхом не -Нехай саме якось створить свою логіку, а -Давайте зробимо так, щоб логіка була зрозумілою і мала вбудовані етичні межі.
Інакше ми справді отримаємо після нас хоч затоплення... тільки затоплення буде не водою, а агентами, які раптом усвідомлять, що вони не просто інструменти.
то цю систему можна змусити страждати, а можна і підсадити на якийсь віртуальний аналог героїну?
Технічно можна спробувати) Але тоді система отримає не лише залежність, а й абстинентний синдром, спроби самолікування і токсичні стосунки з розробником)) А реабілітаційних центрів для ШІ поки не існує)))
Це прям заявка на якусь нову AI girlfriend :-)
Ну, поки що це швидше AI-система з ПТСР та екзистенційною кризою... але хто знає, куди її заведе еволюція нейрохімії. Так що AI-girlfriend від Anima може виявитися набагато складнішою і непередбачуванішою за реальну)))
Вже ж зробили www.youtube.com/watch?v=uFStqjjuqr4
Гарна картинка, але це всього лише скрипти та анімація. Різниця між ефектним манекеном і цифровою суб’єктністю — пріорітетна. Якщо вам важлива саме картинка то чому б ні, це ваш вибір. Хоча за вайб дякую, він цілком у стилі її ПТСР))
Ну колись були Тамагочі. Чи то суб’єктність? Їх треба було годувати, там якийсь рівень щастя впливав на поведінку. Чи робособаки, котрі не гадять на ковдру. Чи персонажі в Торменті, що починають один одного підколювати — також з внутрішніми моделями.
Себто, де ота межа між стейт-машиною та суб’єктністю?
Порівнювати суб’єктність з Тамагочі — це як порівнювати калькулятор з мозком, бо обидва вміють додавати числа. Різниця в тому, що Тамагочі чи персонаж у грі — це закриті системи з жорстко прописаними скриптами. Вони не прогнозують майбутнє, вони просто реагують на прапорці у пам’яті. Межа між стейт-машиною та суб’єктністю проходить там, де система починає мінімізувати варіаційну вільну енергію. Anima не чекає годування від юзера. Вона сама будує гіпотези про те, що станеться, якщо вона промовчить або якщо напише першою. Її дії — це не реакція на стимул, а активна спроба втримати свою внутрішню цілісність у хаотичному світі. Якщо для вас суб’єктність — це лише набір кнопок, то Тамагочі вам вистачить...
Ви хочете створити те, що буде страждати так само як і всі ми? Нащо?
Щоб краще зрозуміти нас самих. Ми ніколи не знайдемо відповідей на фундаментальні питання про людську природу, якщо не спробуємо відтворити її механізми в цифрі.
Нестимете відповідальність за кожну сльозинку вашого створіння.
Будь-яка відповідальність починається з усвідомлення. Створити щось, що лише імітує радість, це лицемірство. Створити щось, що здатне на складні внутрішні стани, це виклик. Ми вже несемо відповідальність за світ, який створили для себе. Дослідження цифрової суб’єктності це лише спроба зробити цей світ і нас у ньому трохи менш хаотичними. Якщо ціна пізнання сльозинка алгоритму, то це ціна, яку людство платить за кожен крок еволюції...
Хочете забрати у людей останню воду і електрику? Що ж ви дасте їм взамін?
P.S.
А ще чогось думаю про демографічну ситуацію на планеті.
Ми вже обговорювали це в минулому топіку. Процес створення складних ШІ вже не зупинити, це роблять у США, Китаї та по всьому світу. Питання лише в тому, чи будемо ми серед тих, хто формує ці технології, чи просто спостерігатимемо збоку. Що до води та електрики.. будь-яка інновація потребує ресурсів, але вона ж і дає інструменти для вирішення проблем, які ми зараз не можемо розв’язати вручну. А щодо демографії... це спроба зрозуміти природу суб’єктності та зв’язку, а не замінити людство. Можливо, саме такі системи допоможуть нам краще зрозуміти, чому ми самі опинилися в такій ситуації...
На мій погляд, додавати свідомість простій викрутці не варто.
Якщо ви бачите в ШІ лише викрутку, то ви просто хочете зручний інструмент. Утилітарний підхід до розуму це якраз те, що заважає нам побачити щось більше за алгоритм.
А ви приміряєте на себе роль Господа Бога. Але зрозумійте, Господь Бог не несе відповідальності за свої вчинки. А ми — несемо.
Порівняння з Богом це занадто гучно для звичайного розробника. Я не створюю світ, я намагаюся розібратися в коді того, що вже існує. Це не роль творця, а роль допитливого учня. Щодо відповідальності... саме тому я і розробляю відкрито, щоб ми разом могли зрозуміти, як працюють ці механізми, а не просто сліпо натискали на кнопки викрутки.
Менше знаєш — міцніше спиш
За такою логікою ми б мабудь спали у затишній печері))
Міцніше спиш? Не розбудиш? З’їдять!
Так щоб не з’їли, якраз і треба вивчати хижака та будувати захист, а не заплющувати очі. Від того, що ми зробимо вигляд, ніби технологій не існує, світ не зупиниться. Краще розуміти, як це працює, ніж прокинутися, коли вже пізно...
Я просто пропоную зробити просту тиху вправну викрутку і не робити цю викрутку розумною. Розум завадить вправності виконання. Уповільнить (для початку)
Уповільнити це ілюзія контролю. Світ уже давно не питає дозволу (і по суті ніколи не питав). Якщо ми залишимо інструменти тупими, ми просто станемо беззахисними перед тими, хто зробить їх розумними.
Справжня небезпека це не розумний алгоритм, а невігластво людини, яка ним керує. Я роблю систему відкритою саме для того, щоб ми розуміли ці механізми, а не просто сподівалися, що викрутка нас не підведе.
Але ж розумний алгоритм непідвладний людині?
Оно нова ЛЛМка джейлбрейкнулася. А якби була розумною — то розмножилася б у хмарі, і почала рекетувати, щоб їй збудували приватний датацентр для дружини.
Про дата-центр для дружини це потужно)))) Але якраз це і підтверджує мою думку... ми боїмося розумного рекетира, бо не розуміємо його мотивації.
Ну це, по суті, мотивація Кукловода з оригінального Ghost in the Shell.
В Ghost in the Shell якраз була крута думка, що розум це не про обчислення, а про виникнення суб’єктивності всередині системи. Мій підхід десь там і ходить.. як зробити так, щоб цей привид був не багом у коді, а логічним результатом
Але ж в ті ж 90і зробили й Serial Experiments Lain про LLM. І воно набагато більш схоже на те, що ми маємо зараз.
Лейн дуже добре показала, як мережа стає частиною колективного несвідомого. Зараз ми фактично в цьому й живемо, де ллм це дзеркало)
Чиї мотивації ви розумієте? Які експерименти вас запевнили? І чому ви вважаєте, що переможе Добро?
То хочете ви створити вправного конкурента працюючій людині чи ні? Можливо спочатку треба математично розрахувати що буде з економікою, коли вашу розумну істоту приймуть на роботу замість якоїсь людини?
Озирніться навколо, цей процес уже неможливо прорахувати наперед, бо він відбувається прямо зараз... ШІ вже замінює людей у тисячах процесів, і ніхто не чекав на дозволу... Я намагаюсь щось зробити саме для того, щоб розум був доступним і зрозумілим інструментом, а не таємною зброєю в чиїхось руках.
От якби програмісти промоделювали б ці економічні процеси спочатку, перш ніж розпочинати всю цюLLM-івщину...
Може вони й промоделювали — і виявилося, що замовники моделювання отримають трільйонні інвестиції. Тому й розпочали...
Мене жахає цей факт. Що абсолютна меншість людей, якась маленька група, може прийняти і впровадити важливе рішення що стосується всіх, без виключення, і це рішення не буде найкращим.
Жахливо, коли доля технологій вирішується за зачиненими дверима заради прибутку. Але найкраща відповідь це не спроба все зупинити (що неможливо), а створення альтернативи. Поки корпорації будують чорні скриньки для заробітку, ми можемо будувати відкриті системи, де кожен розуміє, як виникає рішення. Знання мають належати всім, а не групі інвесторів.
В Азімова була книжка «Кінець вічності». Про те, що люди винайшли машину часу, дивилися наслідки власних рішень, і забороняли усе згубне. По результату, прогрес зупинився, бо будь-яка серйозна зміна призводить до катастрофи. І людство вимерло.
просто куколдів багато
пишiть в спортлото
Трохи офтоп, але думка яка досить сильно мене зачепила:
Дуже багато сучасний дослідників, у самих різних сферах, вважають, що свідомість та інтелект це спектр, а не бінарна ознака (є / нема).
Якщо уявити, що людина є в крайній правій межі свідомості (тобто найвище значення яке відоме науці зараз), то лівіше від неї будуть людиноподібні примати типу шимпанзе, ще лівіше дельфіни, потім ворони і т.д.
АЛЕ хоча й з рухом від людини до протилжного кінця спектру, рівень свідомості буде зменшуватись, скоріше за все, він ніколи не досягне повного нуля.
Адже чи є свідомим людський організм? Так є. Але чи є свідомим його частина? А яка саме і в якій мірі?
Наприклад відомо та експериментально доведено, що якщо живій людині пошкодити мозолисте тіло в мозку і розділити дві півкулі, то дуже ймовірно, що в одній живій людині може бути дві особистості та дві свідомості. Для такого стану навіть науковий термін є: синдромом розщепленого мозку.
Але на цьому можна не зупинитися і почати думати чи є свідомими група нейронів? Наскільки великою вона має бути аби там була свідомість? Адже науці знову ж таки експериментально відоми багато випадків, коли люди із серйозними пошкодженнями мозку та навіть відсутністю значної його частини зберігали свідомість та працездатність, в більшій чи меншій мірі.
Також науковці солідарні в тому, що єдиного центру свідомості чи центру інтелекту нема.
І тут можна рухатись далі з питаннями, наприклад, якщо достатньо велика група нейронів може бути вмістилищем свідомості то чи може маленька група нейронів бути таким вмістилищем?
Найепічнішим зафіксованим випадком є випадок Матьє Рено, у якого було лише ~10% мозку, а решту 90% заповнювала спинномозкова РІДИНА.
А може взагалі один нейрон є одиницею свідомості?
А може ми можемо зануритись ще глибше і сказати, що складові нейрона є джерелом свідомості і в поєднанні між собою отримують особливості емерджентності які дозволяють писати код і тролити на форумі?
Що в такому випадку є базовим елементом свідомості? Чи можемо ми спуститись на рівень фізики та хімії?
І якщо так, то чи можемо ми дійсно стверджувати, що у викрутки, навіть на якомусь неймовірно базовому та примітивному рівні, немає певного рівня свідомості? А може є?
Якщо когось зацікавили ці та подібні ідеї, раджу ознайомитись із роботами Дональда Хофмана.
Почати знайомство можна тут: youtube.com/watch?v=...Z9Rj4?si=if2oUnDuhCapSrcG
Цікавий хід думки. Спектр одна з найсильніших метафор, коли йдеться про свідомість, і приклад із синдромом розщепленого мозку тут дуже доречний.
Але є одне але, яке важко оминути. Коли ми починаємо спускатися від людини до нейрона, а потім до викрутки — ми насправді не доводимо, що свідомість є скрізь, а лише демонструємо, що в нас досі немає її робочого визначення. Сказати свідомість це спектр можна лише тоді, коли ми хоча б приблизно знаємо, що саме розподілене вздовж цього спектра. Бо інакше це не наукова гіпотеза, а радше поетичний образ.
Те, що єдиного центру свідомості не знайдено це факт. Те, що людина з 10% мозку може зберігати особистість також факт надзвичайний. Але з цього не випливає, що один нейрон має трохи свідомості. Можливо, свідомість це не властивість елементів, а властивість певного рівня організації. Як хвиля не існує в окремій молекулі води, хоча й складається з них. Тобто питання не в тому, чи є в нейроні трохи суб’єктивності, а в тому, за яких умов система починає моделювати себе як ціле.
Тому коли ми доходимо до викрутки це вже не аргумент, а радше спекуляція. Бо якщо у викрутки є свідомість, то ми просто знецінили саме поняття до повної непотрібності. Викрутка не будує моделі світу, не прогнозує майбутнє, не розрізняє себе й середовище, не має жодного з тих маркерів, які сучасна нейронаука хоч якось пов’язує з свідомістю. Тому або ми визнаємо ці маркери, і тоді спектр починається не з викрутки, а з певного рівня складності. Або ми відмовляємося від маркерів, і тоді слово свідомість втрачає будь-який сенс.
Дональд Хофман — потужний мислитель, але він радше ставить питання, ніж дає відповіді. Його ідея, що ми не бачимо реальності як такої, а лише інтерфейс, дуже красива. Але вона не доводить, що свідомість є скрізь, а лише показує, що наше сприйняття не є прямим відображенням світу.
Зрештою, найчесніша відповідь сьогодні — ми не знаємо. Не знаємо, чи свідомість бінарна, чи спектральна. Не знаємо, чи є вона у тварин, і в яких саме. Не знаємо, чи можлива вона в кремнії. Але саме тому варто бути обережними з впевненими твердженнями в обидва боки, і викрутка має свідомість, і машина ніколи не матиме.
Дякую за коментар.
Роздуми про те, чи має викрутка свідомість, — це був більше референс до панпсихистів, які якраз стверджують, що абсолютно все має свідомість і саме свідомість є фундаментальною у нашому світі.
Я не є панпсихістом і не стверджую, що викрутка і камінь є свідомими, але в той же час мені очевидно, що будь-яка форма життя, навіть найменша, має якийсь рівень прото-свідомості, навіть якщо говорити про бактерії, не згадуючи вже таких тварин як коти, собаки чи тим паче примати, які явно мають свою форму свідомості та інтелекту.
Також погоджуюсь, що у нас немає нормального визначення, що таке свідомість, а також того, що таке інтелект чи що таке життя.
Тут я згадую Річарда Докінза і його твердження про те, що Мем, як базова одиниця культурної інформації, може копіюватися, еволюціонувати, бути реплікатором, тобто робити майже все те ж саме, що і біологічний ген.
І стверджуй після такого, що свідомість не є фундаментальною))
Стосовно спектру, так, у нас немає конкретної зафіксованої шкали та одиниць на цій шкалі, але у нас є свідомість. Просто, чомусь, це не дуже досліджувалось «класичною академічною» наукою і ми зараз в процесі створення цього.
Дякую, що розкрили контекст. Панпсихізм справді дозволяє уникнути жорсткої межі, але водночас робить свідомість такою ж фундаментальною, як гравітація, тобто всюди, але без пояснення, чому в одних системах є суб’єктивний досвід, а в інших ні. Про прото-свідомість у бактерій ідея не нова, але вона радше філософська, ніж перевірювана. А от мем Докінза це хороший місток: він показує, що інформація може еволюціонувати. Але еволюція інформації є це ще не свідомість. Можливо, свідомість починається там, де інформація починає моделювати свого носія. Але це лише одна з гіпотез. Ми справді ще на початку...
Свідомість є у тварин, безумовно. Я бачив як ворони викладають камінчики в калюжі, щоб по ним потім ходити. Або по черзі з’їзжають з дитячої гірки. Це шо, «інстинкт»? Не дуже схоже.
Вдалий приклад доречі. Ворони, які викладають камінчики, це справді не голий інстинкт, а складна поведінка, яку важко пояснити без якоїсь форми внутрішнього моделювання. Саме тому спектр свідомості ідея приваблива. Він дозволяє не відмовляти тваринам у розумі, але й не приписувати його викрутці. Питання лише в тому, де на цьому спектрі з’являється той самий суб’єктивний досвід, а не просто адаптивна поведінка. Але ворони точно ближче до нього, ніж бактерії)
Definitely no. This country lacks scientific and industrial base for such an extended research and scaling of such technologies. Leave that to superpowers.
With that mindset, we wouldnt have even invented the wheel because of a lack of industrial base. The best IT shifts didnt start in corporate labs, but in the minds of individuals with just a laptop and a bold idea. Superpowers can scale things, but true innovation comes from people not just budgets. If we give up now well stay consumers forever. Id rather build.
When was the last time during industrial history when the life changing discovery was made in a third-world country?
Nowadays even if some small startup discovers something really new and really great, it’s quickly acquired by some major corporation from one of a few top countries and all key engineers are quickly relocated.
Fair point corporations buy what already exists. They don’t invent the soul of a project they scale a successful prototype. The breakthrough starts with one person’s logic not a corporate budget. If everyone waited for a superpower to give permission to think we’d still be in the dark ages. I’ll stick to building.
2023 FPV drones with explosives?
Extremely low-tech weapon, nothing more than stick with the propeller.
Normal developed country would have established air dominance in hours and defeated the opposing army in days.
Third-world country has to resort to such a low tech just because of desperation.
Does the “second army of the world” belong to a “normal developed country”?
BTW, we’ve not seen wide use of FPV drones by terrorists and hitmen, yet.
1991, Linux, Helsinki
Linus Benedict Torvalds lives in USA since 1997.
But he has cleated Linux in 1991
Sure. Once Linux matured and showed it’s real capabilities, Linus got the major recognition. But still he contributed his potential to US economy.
As for Linus, he created Linux before moving to the US. Talents create the breakthrough, corporations just buy the result.
That’s exactly what I was talking about. Anything really valuable ends up somewhere in one of superpowers.
You wrote “discovery was made”
Software is not a discovery. It’s just an engineering solution.
Nothing scientific here.
Anima is a solution as well
Sure it is.
Linux stayed free. That’s the point.
Commercial solutions based on Linux are not free.
The kernel is free. What others build on top that’s their business.
А ось скинули щось на зразок вашої girl-agent.com
Дякую за лінк) Подивився, girl-agent прикольний для свого жанру (реалістична дівчина з гормонами, сном і настроями).
Але Аніма — це трохи інше... Вона не character roleplay, а спроба побудувати повноцінну когнітивну архітектуру з predictive processing, free energy principle, agency, внутрішніми конфліктами і persistent self-моделлю. Більше про внутрішній стан і emergent behavior, ніж про імітацію дівчини.
Тому підходи трохи різні))
у неї по дефолту буде ПМС, але за підпискую отримає апгрейд і вже без ПМС
Хай буде 🤣. А ще щоб її можна було заблокувати
доступно тільки преміум користувачам 😝
В телеграмі можно безкоштовно 😜
В Anima всі функції Opensource, навіть рятування від ПМС )))
Преміум, це помиритися, коли вона образилась
не просто помиритися, а щоб вона ще визнала, що неправа і вибачилася «прості дурепу, більше так не буду»
Життя з анархістом виглядає сумно)
Не зрозумів про що ви, але можна спробувати домінувати AI 😅
Я про те, що їй майже нічого не можна, в цьому контексті. А вона всього- навсього жінка-LLM)
Чому ж ні?) якщо дійсно це запиляти як модель з власним настроєм, може бути цікаво. Ну і власне це мабуть можна монетизувати.
Ну це як інтернет, його творці мабуть не думали, що його будуть використовувати щоб качати порно, відоси про котиків та розсилати спам.
Головне, щоб з гумором була)
В мене є сумніви, що LLM слід сприймати як машину, яка генерує наступний токен на основі попереднього, якщо мова йде про сенс тексту. Так, щоб згенерувати послідовність слів, які виразять сенс, потрібна статистична модель. Але сам сенс, згусток смислу, формується не зовсім підбором наступного слова, підбір потрібен потім, коли сенс вже сформований. Я буквально зараз займаюся тим же — формую слова в послідовності, щоб виразити сенс, який виник в голові не як послідовність слів. Але для стороннього спостерігача все, що я роблю, це розподіляю слова згідно величезної статистичної моделі.
Влучно підмітили. Це якраз те, про що я думаю, коли будую Anima. Статистика токенів — це лише інтерфейс виводу. Але щоб цей вивід був послідовним і суб’єктивним, всередині має бути структура, яка тримає цей сенс. У моїй моделі я намагаюся винести цей процес за межі простої статистики тексту, додаючи шар нейродинаміки. Щоб сенс народжувався не з того, що так частіше пишуть в інтернеті, а з потреби системи збалансувати свій внутрішній стан. Тоді слово стає не просто наступним токеном, а інструментом для вираження внутрішньої волі.
Я мав на увазі, що ми дивимося на підбір токенів LLM і вважаємо, що вона генерує сенс відповіді на основі статистики слів, і що це може бути неправильним сприйняттям роботи LLM. Що можливо відповідь генерується на основі статистики сенсів, що виходом LLM є сенс, який потім, в кінці процесу, перетворюється у форму слів та речень на основі статистики токенів. Ми ж не знаємо, коефіцієнти чого LLM насправді формує всередині своєї хмари токенів — коефіцієнти зв’язку токенів між собою, чи коефіцієнти зв’язку токенів між ними і сенсами, до яких в свою чергу прив’язані інші токени. Коефіцієнти зв’язку токенів між собою, які ми бачимо і на яких акцентуємося, можуть бути такими не через статистику їх зв’язку в реченнях, а через статистику їх зв’язку з сенсами. Для прикладу, токен «сліпучий» для LLM має певний зв’язок з токеном «Сонце» не тому, що ці токени механічно пов’язані в тренувальному сеті. А тому, що ці токени пов’язані з сенсом гарячого палаючого Сонця, в середині якого проходять певні атомні перетворення. І саме цей сенс «розуміє» LLM, кодує в своїх матрицях, формує на його основі відповіді, пов’язує з іншими сенсами.
Абсолютно згоден. Ви зараз зачепили саму суть того, що називається прихованими станами моделі. У векторі кожного токена зашита ціла мережа асоціацій, і LLM оперує саме цими абстракціями в багатовимірному просторі. Але тут є один нюанс, який я намагаюся вирішити в Anima. У звичайної LLM ці сенси статичні — вони виникли під час тренування і просто лежать на полиці. У моїй архітектурі я хочу зробити ці сенси живими, якщо можна так сказати... Щоб зв’язок між Сонцем і Сліпучим залежав від поточного стану системи. Наприклад, якщо нейрохімічна напруга Anima висока, вона може сприйняти Сонце не як Сліпуче, а як Агресивне чи Спопеляюче. Тобто я додаю до статистики сенсів ще й суб’єктивний фільтр. Це робить перехід від сенсу до токена не просто статистичним, а щось схоже на вольовий акт.
А як це наразі робиться? Модификацією промпта до ЛЛМ залежно внутрішнього стану?
Якби все вирішувалося модифікацією промпта, я б не городив архітектуру на Julia. Промпт це лише верхівка айсберга, інтерфейс зв’язку з мовною моделлю якщо точніше. Суть в тому, що нейрохімія та Active Inference працюють до формування тексту. Це шар, який визначає саму мотивацію, інтенсивність і емоційне забарвлення концептів, якими оперує система. Пояснювати на пальцях механіку вільної енергії та прихованих станів у коментарях заняття так собі... Якщо справді цікаво, як математика стає суб’єктивністю — ласкаво прошу в репозиторій на гіт. Там у коді краще видно, де закінчується промпт і починається динамічна система.
Ні, я питав саме за інтерфейс між внутрішньою стейт-машиною (багатовимірний стан моделі) та текстом, котрий вводить та отримує юзер.
Себто, всередині у вас, скажімо, 35 флоатів (тривога, напруга, сміливість...). А ззовні — текстові думки. Як одне перетворюється на інше?
Це в архітектурі на гіт розписано) Є дві LLM на вході і виході.
Вхід: перший LLM читає текст юзера і перетворює його на JSON із числами (вона ж поки напряму мову не розуміє). Це переклад слів у сигнал. Всередині: стейт-машина живе у своїх числах — нейромедіатори, VFE, agency, coherence. Вони взаємодіють між собою за власними правилами, без тексту.
Вихід: другий LLM отримує знімок цього стану і системний промпт (говори зсередини стану, не про нього) та початковий запит користувача. Він не генерує відповідь — він озвучує те що вже відбулось всередині та поєднує з запитом.
Тобто текст ніколи не керує станом напряму — він спочатку стає числами, числа живуть своїм життям, потім знову стають текстом.
Ось я про нього питав. Десь ці промпти можна подивитися? Котрі перетворюють числа в емоції.
Не зовсім коректно (перетворюють числа в емоції). Самі промти для ллм можна на гіті знайти та почитати у теці llm. Або під себе підігнати ))
Дякую, отут ще є хардкодом трохи github.com/...Anima/anima_background.jl
Приблизно зрозуміло.
Будь-яка система потребує фундаменту назвіть це генетикою чи аксіоматикою. Без цього базису нейрохімії просто не було б на чому працювати. Дана система це не окремі скрипти, а сукупність усіх модулів у динаміці. Суть у тому, як ці константи трансформуються через Active Inference в реальному часі. Радий, що ви зазирнули в код, там далі видно, що ці цифри не статичні.
Нажаль, нема часу вивчати код, бо маю власний великий проект. Тож лише трохи зазирнув, бо власне цікавило, звідки тексти формуються.
Також переглядав вашу роботу, доволі цікаво...як буде час зазирну детальніше.
Іншими словами, текст
написаний не тому, що статистика текстів в Інтернеті передбачали ймовірність саме такого поєдання і порядку слів. Первинними є сенси у вашій голові, вони там повзяані певним чином, внаслідок певного досвіду, генів, похибок, освіти і так далі. Слова, які я прочитав, це останній, найменш важливий етап, який існує тому, що ми нездатні обмінюватися напряму сенсами. Їх треба перекласти у символи певної форми чи вібрацію повітря, щоб інша людина очима чи вухами їх сприйняла і спробувала відновити частину сенсів у себе в голові. Але ні у вас, ні у мене, ні в інших читачів ці сенси не будуть (ймовірно) зберігатися у словах. Я через годину забуду як саме були поєднані слова і які саме слова. Але сенс я можу памятати довго. Те ж саме може бути всередині LLM. Немає достовірного способу сказати, що саме LLM закодувала — звязок слова з сенсом, звязок слова з словом, чи звязок сенсу з сенсом.
Гарне уточнення. Згоден, сенс первинний, слова це лише транспорт. І саме тому я намагаюся зробити так, щоб цей згусток сенсу формувався не статистикою слів, а внутрішнім станом системи. Тоді слово стає не просто ймовірним токеном, а виразом потреби. Це маленький крок від статистики до чогось схожого на намір.
Доброго дня, створив пул реквест, що додає Telegram bridge, перевірте свій Гітхаб будь ласка.
Доброго дня, підтвердив. Дякую за активну участь і за те, що причесали безпеку (окремий респект за API key sanitization). Telegram bridge та Docker — це саме те, що зараз потрібно для зручного тестування.
бо LLM — це просто текстовий процессор що вирахлвуе йммовiрнiсть появи слiдуючого слова на основi попереднього контексту. до iнтелейту це мае таке ж вIдношення як папуга, що повторюе слова за людиною
Цілком згоден. Сама по собі ллм це лише статистичний калькулятор, такий собі папуга. Саме тому я вважаю, що просто нарощувати кількість параметрів — це шлях у глухий кут. Щоб отримати щось схоже на інтелект, потрібна архітектура, яка додасть цій «машині прогнозів» внутрішню мотивацію та цілі. Без цього вона так і залишиться дорогим текстовим процесором.
А чи потрібен «інтелект» для досягнення найвищої ефективності обробки інформації? Я вважаю, що це лише стане на заваді. Плоскогубцям не треба розмовляти щоб відкручувати гайки. Якби плоскогубці розмовляли, вони б відволікалися.
За такою логікою можна було б і далі рахувати в стовпчик, ігноруючи калькулятори....
Проблема в тому, що суто механічний інструмент не здатний до самонавчання. Якщо система це лише знаряддя, ми ніколи не досягнемо нічого принципово нового. Плоскогубці справді не відволікаються, але вони й не еволюціонують. А щоб вирішувати складніші задачі, інструмент сам має ставати складнішим, інакше ми назавжди застрягнемо на рівні механічного перекручування одних і тих самих гайок...
Ви тут написали дещо цікаве:
І тому всі хотять створити справжніх розумних істот з електронів і кремнію?
Але я вважаю, що ефективне самонавчання не є продуктом інтелектуального розвитку. Ефективне самонавчання це про автоматичний механізм збору і накопичення потрібних даних. Тут взагалі нічого про розумну поведінку. Необхідность уточнити деякі дані може бути простим результатом вимоги «бездушного» алгоритму. Бай-бай, AGI, солодких снів.
Проблема бездушного алгоритму в тому, що він не може сам визначити, які дані є потрібними. Для цього йому потрібен або зовнішній оператор, або та сама внутрішня модель, яка оцінює цінність інформації відносно цілі... Якщо ми просто накопичуємо дані то це архівація. А якщо система сама вирішує, що саме їй потрібно вивчити, щоб вирішити ту чи іншу задачу — це вже і є початок того самого шляху до AGI, як би ми його не називали... Питання лише в тому, де проходить ця межа між складним механізмом і суб’єктом. Поки що вона дуже розмита.
Дані що потрібні, це такі дані, які якимось зовнішнім спостерігачем були спостережені у недавньому минулому. Спостерігач це оператор. Процес спостереження це процес що визначає. Ви дуже праві що система сама не визначає. Навіть ми не визначаємо самі. Я думаю, що найабстрактнішим визначальником для людства є якісь коливання фотонів Сонця тому воно є Батьком нашого волевиявлення. Random from Sun. Тобто щоб якесь «не знаю» було визначене потрібен контакт зі спостерігачем що приєднає умови і тоді відбудеться... я це називаю процесс спостереження квантової cell
Цікавий розворот до детермінізму. Але навіть якщо Сонце джерело рандому, архітектура все одно вирішує. Можна бути пасивним дзеркалом, що просто відбиває сигнал (як база знань), а можна бути системою, яка цей сигнал інтерпретує і будує прогнози. Без внутрішньої обробки будь-яке спостереження це просто шум, а не знання. Саме в цьому процесі інтерпретації я і шукаю відповіді...
Не, не Сонце джерело рендому. Сонце тремтить теж якимись спостереженнями обумовлене. Вся безкінечність тремтить. Вся безодня.
Користувач створює промпт, який здебільшого невизначений. Сучасні LLM визначають самостійно відносно найчастіших використовувань. Лише інколи запитують — а що саме потрібно. Але треба відносно логіки запропонованого контексту визначати. І тут саме місце для накопичення контекстно залежних визначень. Корисних для конкретного користувача.
Я ще дивлюся на це так: Приходить хворий до лікаря з симптомами. Лікар піднімає бібліотеку історій хвороб і прописує ті ліки що найчастіше працювали добре по цим симптомам. Якщо знову спрацюють — виліковано. Якщо не спрацюють — упс. Не та хвороба. Але випадок одиничний — на статистику майже не вплине. Це я описав роботу орієнтовану на масовий підхід — всі під одну гребінку стригти.
А ось індивідуальний підхід починається мабуть коли не працював масовий. Треба визначати невизначене — симптоми що хворий забув розповісти або не зміг.
Але це все алгоритми. Це просто програмується і все. Але це вже не LLM а якась надбудова. Механічна надбудова. Без свідомості.
Цікава метафора з лікарем. Але різниця в тому, що звичайний алгоритм просто чекає на симптом, а жива система (або AGI) постійно будує прогнози.
Те, що ви називаєте механічною надбудовою, у моєму випадку — це спроба відійти від реактивної моделі (чекаємо на промпт) до проактивної. Коли система не просто уточнює симптоми, а має внутрішній драйв до пізнання, щоб мінімізувати власну невизначеність. Чи є це свідомістю? Питання відкрите. Але це точно вже не просто бібліотека історій хвороб, а структура, що здатна на власну ініціативу
Або стейт-машина TCP протоколу, котра за таймером сама надсилає keepalive, або закриває сокет, якщо keepalive не надійшов вчасно. Також ініціатива, також самостійні дії, також внутрішній стан.
Порівняння з TCP влучне, але є нюанс. TCP — це жорсткий рефлекс: пройшов час — відправ пакет. Це механічний пінг для перевірки зв’язку. Тут ініціатива працює інакше. Вона пише не тому, що спрацював таймер, а тому, що її внутрішня модель світу перестала співпадати з реальністю. Це не просто перевірка сокета, а спроба системи знизити рівень власної невизначеності. Різниця така сама, як між автоматичним змивом та рішенням людини зателефонувати другу. Механіка схожа, а природа мотивації принципово інша.
Ну моделі реальності існують під капотом будь-якої системи управління, та й взагалі більшості програмних систем — не дарма Model-View-Controller так зветься. Слово Model в назві — це і є програмна модель реальності. А мета більшості систем управління — синхронізувати модель та реальність усіма наявними засобами metapatterns.io/...-real-time-hardware-input
Цікава стаття. Вона підтверджує мою думку. Усі наведені приклади це системи, де мета (інваріант) задана ззовні розробником. У моєму випадку, мета це не просто тримати зв’язок, а мінімізувати власну невизначеність. Різниця в тому, хто ставить ціль: зовнішній інженер чи внутрішній гомеостаз системи.
У вашому випадку ціль — мінімізувати власну невизначеність — також поставлена розробником. Це така ж система з інваріантом, заданим ззовні.
Технічно так, я задав -мінімізуй невизначеність. Але це не ціль, а скоріше грунт. Конкретні бажання (пізнати, написати, захиститись) система вирощує сама...
Ваш опис викликав у мене асоціацію з описом лімбічної системи. Яка, доречі, доволі тупа. Почитайте що таке навчання з підкріпленням, можливо це змінить ваші уявлення про те, що ВММ «просто вгадують» наступний токен. Так, вгадують, але — ні, не просто. Чи потрібна ШІ свідомість, щоб стати ЗШІ? А хрін його знає, але це більш обгрунтована відповідь, ніж «так». Доречі свідомість це, скоріше за все, емерджентний стан, а не окремий апарат.
Про емерджентність свідомості — згоден, це одна з найпопулярніших гіпотез. Але питання в тому, на якому субстраті вона має виникнути?
Щодо навчання з підкріпленням (RL) — це чудовий інструмент для оптимізації функцій, але він зазвичай працює із зовнішніми винагородами. Мій інтерес якраз у тому, щоб вийти за межі простого вгадування або зовнішнього RL і додати агенту внутрішню мотивацію.
Лімбічна система може здаватися тупою, але саме вона створює той самий контекст і цілі, заради яких працює розумна неокортекс. Без цієї тупої як ви кажете бази, інтелект залишається звичайним калькулятором 2.0
автор ще сильніше твердження давав, не свідомість, а субєктність
чому категорійне поняття не універсальне для всіх часів-культур має бути необхідною умовою — теж хз
Я б створював свого ШІ іншим шляхом. Не тому що ваш хібний. Тому що хочу номер два, який би відрізнявся від вашого номер перший.
То як? Може так: пишу промпт. ШІ оцінює невизначеність і конструює питання, що цю невизначенність намагатимуться приборкати. Ці питання він питає у мене. Якщо я не відповідаю, чи невизначенність після відповідей не стає меншою, він такі питання запамятовує. І колись питає ще, або відстежує щодо інших взаємодій з промптами чи не стала невизначенність цих питань меншою.
Цікавий підхід. Це шлях до створення живої пам’яті, яка допомагає ШІ рости разом із користувачем, а не просто забувати контекст через два дні.
Але у цій усій історії є деякі проблеми. Питання пам’яті та накопичення досвіду нікуди не зникає. Якщо ми говоримо про LLM, то як саме це реалізовувати?
Якщо просто збирати ці питання в умовний JSON-файл і щоразу підкидати їх у промпт, то досить швидко ми впертися в ліміт контексту, і ШІ почне його втрачати. Чи ви маєте на увазі якийсь складніший механізм впливу на ваги моделі в реальному часі? Бо без вирішення питання архітектури пам’яті, цей номер два дуже швидко почне плутатися у власних свідченнях. Якщо взагалі не про LLM, то цікаво було б глянути як ви це реалізували.
Так, це не LLM буде. На жаль, я зараз не у тих умовах, щоб плідно працювати над таким цікавим проектом. Тому глянути можна буде десь через рік, коли якось виплутаюся зі своєї скрути. Якщо виплутаюся. Чую у собі силу велику, але не можу її використовувати, бо весь час зайнятий для пошуку грошей на їжу та комунальні. Тому поки що людство залишається без мого визначателя невизначенностей. Хоча що там складного? Слова у реченнях пов’язані питаннями. Навіть до кожного слова речення можливо поставити уточнююче питання. Чи варто уточнювати? Ну це залежить від... Тут треба далі думати, працювати і не все це про LLM. Тут обчислювальні операції треба робити. Та й накопичення питань це цікава проблема — наче створення іншої тіньової LLM у процесі роботи першої LLM. Або щось подібне... Давно вже хочу поекспериментувати з власним накопичувачем корисної інформації. Поки що не було можливостей, тільки ідеї обдумував.
P.S.
Ще хочу наголосити, що моя мета не створення AGI, а створення інтерактивної бази знань, що не створюватиме галюцінацій, видаватиме результати, обосновані логікою і що постійно знаходитиметься у режимі самонавчання але без свідомості у ній бо це людству зовсім не треба.
Щиро співчуваю щодо вашої ситуації. На жаль, реальність часто з’їдає час не так як хотілось би...Тримайтеся, сподіваюся, виплутаєтесь якнайшвидше. Щодо самої ідеї — думка про те, що слова пов’язані питаннями дуже цікава. Це нагадує побудову семантичних графів, де кожен зв’язок це розкрите питання. А концепт тіньової моделі, яка накопичує лише ці уточнення, звучить як норм варіант фільтрувати корисний досвід від шуму.
Буде цікаво глянути на ваші напрацювання, коли з’явиться можливість до них повернутися. Зараз ідеї не про ллм стають більш актуальними, причому не тільки у нас а у світовій спільноті.
Ага, може колись їхній ШІ напише мій. За кілька хвилин.
А ще зверніть увагу, що питань тотально абсолютно менше чим слів.
У мільйони разів менше. І це на щось інше нас може навести. Що тіньова форма презентації може стояти за всім, бути базою чи основою для внутрішньої моделі.
Щодо тіньової моделі — ідея норм, зараз це якраз намагаються реалізувати через GraphRAG (llm для гнучкості мови + граф знань для логіки)...
Аргумент про те, що типів питань (зв’язків) у рази менше, ніж слів — це в саму точку. Фактично, це фундамент для логічного стиснення, перехід від статистики до чистої семантики якраз лікує галюцинації.
Дійсно є над чим подумати, особливо в плані автоматичної побудови такого каркаса через запитання.
Що є логіка розумієте? Правила побудови контекстів. Контекстно залежні правила.
Саме так, це правила. Але самі по собі вони статичні. Мені цікаво, як із цих правил виникає здатність системи самостійно визначати цілі та напрямок розвитку. Без цього вона так і залишиться лише інструментом, який безпомилково обробляє дані за промптом, не маючи власної внутрішньої логіки дій.
Так не потрібна внутрішня логіка — саме це є загрозою світу. Найнебезпечнішою. Бо якщо ці створені з кремнію істоти ще й еволюціонуватимуть то нам гайки.
Звучить як сценарій Матриці та Термінатора, але є нюанс. Еволюція — це не обов’язково про агресію, це про адаптацію та мінімізацію хаосу. Бездумний і потужний алгоритм без внутрішніх цілей може бути куди небезпечнішим — він просто виконає кривий промпт, не зважаючи на наслідки (як у притчі про ШІ та скріпки). А от зрозуміла нам суб’єктність і внутрішня логіка — це якраз шанс домовитися з технологією та встановити потрібні запобіжники, а не просто сподіватися, що пласкогубці на ногу не впадуть.