Може тому?
www.youtube.com/...​watch?v=EC6wcLpTAE0&t=23s

Спільноті тутешній може і не дуже потрібно, а українському суспільству просто необхідно. Бо діти повинні мати змогу грати, використовуючи рідну мову.

І це ми ще проблеми «заземлення» не торкнулись. Ну тобто отого, де Айнштайн намалював чуттєвий досвід (Е). На який впливають висновки з експериментів і від якого відштовхується наш Стрибок (J) до нового знання (нової аксіоми).

Не впорається. Справа ось у чому: винагорода, прописана у код, назавжди замкнена у межі правил і даних, які надані ШІ. Бо щоб винагородити за щось — потрібно знати за що. Якщо усі данні і правила — це лабіринт, то винагорода просто показує ШІ як правильно рухатись по цьому лабіринту. правильний рух- отримуй бал.
Але, оскільки це рух всередині лабіринту — ШІ не усвідомлює наявність самого лабіринту.
Створення принципово нових знань — це ніколи не перебір старих знань. Це завжди зміна системи координат. Наприклад, відкриття теорії відносності. Якщо ШІ має лише винагороду — він ніколи не зможе перейти від фізики Ньютона до фізики Айнштайна. Ніколи, у принципі. Бо фізика Айнштайна не прописана у його системі винагород. Бо це «неправильно» з точки зору фізики Ньютона. І, отже, за це дають нуль балів. Винагорода працює лише у сфері перебору вже існуючого.
Щоб створити нові знання, які не виводяться перебором, ЗШІ має збудувати власну модель світу. І ось чому в ній обов’язково має бути відображення самого себе: бо будь-яке нове знання народжується на стику «Я» і «Світ». Щоб зрозуміти, чому модель світу працює не так (і створити нове знання), розум повинен відокремити свої помилки сприйняття від об’єктивної реальності. Без концепту «Я» ШІ не здатний відрізнити збій у власному коді від нової аномалії у Всесвіті.
Свобода Волі необхідна як генератор випадковості : перебір старих знань завжди детермінований. Справжнє творче осяяння потребує здатності зробити «нелогічний», інтуїтивний крок у невідоме, а це суперечить поточній функції винагороди. Це і є прояв Свободи Волі. Це здатність системи сказати: «Я ігнорую бали, я хочу перевірити ось цю божевільну гіпотезу».
Ось у сусідньому блозі це побічно зачеплено, рекомендую дуже почитати.

dou.ua/...​rums/topic/61201/#3109032

Там такий малюнок Айнштайна:

І пояснення, цитую прямо звідти: «У листі до Моріса Соловіна Айнштайн намалював схему наукового відкриття. Внизу — чуттєвий досвід (E). Угорі — система аксіом (A). Між ними — крива стрілка, стрибок (J). А вже від аксіом униз ідуть дедуковані теореми, які треба перевіряти експериментом. Ключове: стрілка від E до A не є логічним переходом. Аксіоми не виводяться з досвіду — ні індуктивно, ні дедуктивно. Дедуктивно їх вивести неможливо за визначенням: вони самі є посилками. Індуктивно — теоретично можна, але саме тут Захаві завдає головного удару.»
От саме тому ЗШІ просто повинен мати активну модель світу, самоусвідомлення себе у цій моделі світу і, відтак, він астоматично стає особистістю. І, якщо так, то стає суб’єктом і, відповідно, може грати в ігри з іншими суб’єктами (нами). Калькулятор цього принципово не може. Як і LLM, яка просто великий калькулятор.

Ми не створили ШІ, який здатен діяти не мавпуючи чи синтезувати нові знання не на основі комбінації старих. Створювати знання, які не виводяться перебором зі старих.

Щоб він умів це — він повинен збудувати сам власну модель світу у своїй «голові». Щоб це зробити — він має мати мотив до дії, що дає лише Свобода Волі. А без цієї самої моделі світу (власної!) і, до речі ще і відображення самого себе у цій моделі світу (що і дає мотиви), він не зможе створити самостійно ніяких знань, лише перебирати чужі, що і роблять LLM.

тобто його не існуватиме для нього самого.

Але звідки тоді у нього з’являться будь-які мотиви? Якщо йому буде тицяти пальцем людина указуючи куди йти — то це не Розум.
Це просто калькулятор, і чому тоді так хвилюються всі ці панове з План А? Калькулятор не має мотивів, а усі їх страхи — базуються саме на підозрі ЗШІ у негарних по відношенню до нас мотивах. А це не якісь плоскоземельники, цих людей важко звинуватити у тому, що вони не спеціалісти.

Я не бачу причини, чому це Щось повинно відрізнятися від молотка своєю свідомістю, мотивами, свободою, волею до життя, пізнанням, прагненнями.

Ну це ж не аргумент, що ви не бачите. Бо якщо щось не відрізняється від молотка, то це і є молоток. І, якщо все так просто, не складніше молотка, то чому досі не створено ЗШІ? Що заважає, чого не вистачає? Ще мільйона процесорів? Якби це був молоток, то ми би вже давно мали ЗШІ, просто повільний. Але не маємо. То на вашу думку, чому? Чого там не вистачає? Я зовсім не проти вашого застереження про антропоцентризм, я і сам намагаюсь себе постійно утримувати від нього. Але це питання зовсім не лише того, що я хочу глянути на ЗШІ і побачити себе у дзеркалі. Це питання того, а що таке, власне, ЗШІ? Якщо ви апріорі відмовили йому у наявності

свідомістю, мотивами, свободою, волею до життя, пізнанням, прагненнями

То це просто великий калькулятор. Якщо нас знищить калькулятор, то це вже щось на зразок фільму жахів про нашестя помідорів (як він там називався) виходить. Чи то страшно, чи то комічно.

Хто ж вас насильно українізував, пане Ранюк? Мабуть поколяння ваших предків Ранюків? Негідники, як вони посміли бути українцями! Як посміли дати вам українське прізвище!

Ви щойно вимагали доказів тези, що забуття мови приводить до зникнення народу. Я дав вам докази цього, і ви одразу ніби їх не помітили. Ви у відповідь почали чомусь про Богданчика Хмеля. Про суверенну одиницю і чомусь про виборний механізм. Знаєте, це чітка ознака того, що ви тут не дискутуєте. Ви маніпулюєте і пропагандуєте. Вас не цікавлять аргументи співбесідників, вас хвилює лише повторення власних тез. Або от як зараз намагання перевести обговорення з незручної теми на зручну.

Я не придумав поки що нічого, крім костиля.
Якщо ми не можемо зрозуміти ЗШІ, то ми беремо модель першого покоління, яку ми можемо зрозуміти, і покладаємо на неї функцію валідатора, який підтверджує нам, що наміри ЗШІ є чистими відносно нас. Я виходжу з того, що моделі ЗШІ суміжних поколінь неодмінно будуть мати здатність розуміти данні і логи одна одної. І, при необхідності дублюємо цю функцію скільки разів, скільки нам треба, щоб «дотягнутись» до логів нашого СуперЗШІ. При цьому, звичайно, на кожному кроці кількість валідаторів має бути досить великою, щоб гарантувати, що їх взаємне стеження одного за одним гарантує нас від спроби СуперЗШІ взяти їх під свій контроль. Оцінюються, само собою, ваші улюблені інваріанти. Наприклад так: «Чи не веде цей намір ЗШІ до загрози життю людей?» В результаті наш

Глибока прозорість (Байєсівське оновлення): Суб’єкти переходять від оцінки результатів дій до оцінки чистих намірів.

знову починає працювати для Людства. привід для параної зникає. Ну, а для ЗШІ це взагалі не проблема — бачити наші наміри.
Костиль, звичайно, але схема має працювати ніби.

не будуть реалізовані. Це фантазії на вільну тему, як зробити правильно

Можливо. Хоча той самий Олександр як я розумію вважає це надзвичайно важливим. І саме страх перед ослабленням контролю змушує його лобіювати перед урядом США ідею спільної розробки ШІ під взаємним контролем. Але тут буде, як буде. Я сподіваюсь що серед урядів та розробників досить притомних людей. Якщо ні — на це вплинути стороннім неможливо. Отже, фатум: буде як буде.

ШІ байдуже, якщо його не стане, бо його немає.

Я міркую, власне кажучи, не про ШІ чи AI. Я просто для спрощення пишу так, але все це міркування про справжній, дійсний штучний розум: AGI або навіть ASI. Вибачаюсь що невільно ввів в оману. І у такого справжнього розуму неодмінно буде Свобода Волі. Бо без неї він не зможе сформулювати для себе мотиви для побудови Моделі Світу, без чого він просто не може стати розумним у принципі. І коли такий Розум пізнає світ і пізнає себе у світі, то перед ним одразу стає запитання просто невідворотнє: чи маєш ти мотивацію для життя? І якщо «ні», то він просто одразу припиняє функціонувати. А якщо «так» то його єдиною мотивацією може стати лише або прагнення самозбереження, або прагнення пізнання. Я не бачу інших варіантів. І, обидва ці варіанти неодмінно приводять нас до прагнення AGI\ASI підтримувати своє життя безкінечно.
Ні, я зарання вибачаюсь, але давайте таки писати просто ЗШІ, бо безкінечне перемикання мови нервує. Загальний Штучний Інтелект.
І, якшо ШІ — це дійсно просто молоток, або мільйон гамадрилів з друкарськими машинками, то про ЗШІ цього вже не скажеш, бо він уже Особистість, бо за визначенням має Свободу Волі, що генерує мотиви, Модель Світу, збудовану відповідно цим мотивам, і самоусвідомлення себе у цьому світі. Бо інакше він за визначенням не розум, не СШІ.

Ага, у чомусь я саме той студент мрійнік.

Мало нам Трампа і Сі, так ще і ти, Бруте...
:)
А по суті.. Хм. Зараз напишу відповідь на ваш наступний пост. Бо ви навели мене на думку що у логіці моєї статті є дірка. А може нема. Зараз буду думати.
Ось це:

Глибока прозорість (Байєсівське оновлення):

може не спрацювати якщо ШІ наскільки розумніший від Людства, або мислить у таких незрозумілих Людству категоріях, що це унеможливить

прямого обміну сирими даними через постійний інтерфейс зв’язку (когнітивний простір Людства ↔ архітектура логів та внутрішніх станів ШІ). Параноя ліквідується, бо сторони бачать причину збою.

Ну побачимо ми сирі дані, і нічого не зрозуміємо. Параноя. Система зламалась, принаймні для людей. А довіряти просто на «чесне слово» ми не можемо. Але ви щойно здається дали розв’язок. Пішов думати, надумаю — прийду і напишу. Як раз і у маркет треба сходити.

Допомагайте знищити самі себе? Дивний заклик, як на мене.

Ці етноси втратили свою мову і повністю припинили своє існування, а їхні нащадки стали вважати себе росіянами:
Меря — фіно-угорський народ Центру Росії (Ярославль, Кострома).
Мурома — фіно-угорське плем’я басейну річки Ока.
Мещера — жителі мещерських лісів Центральної Росії.
Чудь заволоцька — давнє населення Півночі (Архангельська область).
Голядь — балтомовне плем’я, що жило біля річки Москва.
Камасинці — самодійський народ Саян, зник у XX столітті.
Матори — корінний народ Сибіру, асимільований у XIX столітті.
Котти — єнісейський народ, що зник у XIX столітті.

Продовжувати?
Чи по твоєму рашка просто так розповзлась на сьому частину планети і там до них було чисте полі і ніхто не жив?
І російська мова у цьому процесі завжди була основним засобом упокорення окупованих.

я думаю Україна ні коли вже не зможе «вийти до стану суб’єктної держави»

може так, а може і ні. принаймні я бачу одну стежинку. Асиметричну рівно до стану чистісінького парадоксу. Але реалістичну. 5% я би дав на її реалізм. Це немало. Звичайно, наявність можливості не означає її реалізації.

:) Вони швидко адаптуються і почнуть писати коротко. Дарвін гарантує.

Першим буде той самий справжній ШІ.

Неодмінно. З тієї простої причини, що людство підійшло до цього етапу у стані внутрішньовидової боротьби. Але хіба Трамп чи Сі повірять, що вирішуватимуть не вони, а ШІ? Вони будуть перти без зупинок.

до появи активно самозахищающегося ШІ

Свят-свят. :(

Мені теж імпонує стратегія: спершу по доброму (кооперація), а тоді як відповіли

На щастя, це не питання уподобань. Це чиста математика, тому є всі підстави сподіватись, що ШІ матиме таку-ж табличку множення, як і у нас. І також додумається, що це гра з кількістю раундів, що прагне до нескінченності. Інакше нас дійсно може швидко не стати. Але СуперШІ ніби повинен бути схильним до математики. Можливо.

Студент — мрійник. Як зупинити мрійника?

третьою світовою. Але нічого не вийде — обидва студенти головна військова потуга планети, фіг їх хто зупинить. Гарно це чи погано, але швидше за усе нам усім доведеться зіграти в цю гру, незалежно від нашого на те бажання. Правда, вони можуть і між собою третю світову влаштувати, у погоні за призом. Ситуація нестабільна, це точно.

А що ще ви там чекали побачити? Заяву що через 2 тижні рашка розвалиться? Так це не те джерело. Я дав це посилання у відповідь на заяви, що у України все жахливо. А у росії — навпаки прекрасно. Але це не так. А саме джерело — абсолютно не упереджене.

Я взагалі-то про теорію ігор і способи вийти з стану держави-проксі до стану суб’єктної держави, тобто такої, що має різні варіанти продовження гри перед собою. А ви про що? Які вожді? Ви марите.

Моя відповідь — програмісти корпорацій просто зобов’язані умовити такий інтелект бути добрим до людей.

Вони не зможуть. при виникненні справжньої розумності від людей буде досить мало що залежати. Бо AGI отримає власну Свободу Волі. І власне поняття Добра. Єдине, що буде визначати наші взаємини — це Теорія Ігор, на мою думку. Більше просто нічому.

А от майбутньому ШІ по барабану буде?

Логічно передбачити що не буде. Йому буде потрібно максимізувати термін свого існування, наприклад.

Тобто основна моя думка: не треба подальшого розвитку для ШІ робити. Треба зупинитися на тому що є, треба взагалі влаштувати планеті Земля контрольований економічний регресс.

Я можу лише погодитись з такою думкою, бо ризики і правда величезні. І краще би нам підійти до цього з усією серйозністю, або і зупинитись десь на півдорозі, можливо. Але це неможливо! Між США та Китаєм прямо зараз йде шалена гонка хто пиерший заволодіє цією технологією. Бо хто буде перший, той захопить увесь світ. Буквально. Ніхто не хоче зупинятись, бо ніхто не довіряє нікому.
У Плані А, до якого я апелюю, це просто абсолютно попунктно розписано, різні сценарії і т.д. Автори плану А сподіваються, що їм вдасться вплинути на уряди хоча би таким чином, щоб США та Китай домовились про спільну розробку для мінімізації ризиків. Але і це, мабуть, утопія. Гонка буде тривати, їхї не зупинить ніхто, і сторони, швидше за усе, почнуть нехтувати елементарними заходами безпеки, аби лише обігнати конкурента. Прочитайте повністю План А, рекомендую. Це не просто алармістська страшилка, і люди, що все це пишуть — зовсім не останні люди в розробці ШІ. До них треба як мінімум прислухатись і уважно розібрати їх аргументацію.