AGI: Міф чи реальність? Вчені розвіюють ілюзії щодо людського рівня ШІ

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Холодним душем для ентузіастів ШІ стала публікація в науковому журналі Computational Brain & Behavior під назвою «Reclaiming AI as a Theoretical Tool for Cognitive Science».

У ній стверджується, що створення штучного інтелекту, здатного до людського рівня пізнання (AGI), є вкрай малоймовірним. Основна причина полягає в тому, що обробка інформації на рівні, на якому це відбувається в людському мозку, є надзвичайно складною для повторення в комп’ютерах.

Хоча сучасні досягнення в області ШІ вражають, вони часто дають ілюзію наближення до AGI. Однак у статті доводять, що це помилкове уявлення, і технології все ще далекі від того, щоб повністю моделювати людське мислення або досягти рівня загального штучного інтелекту.

На додаток, у статті піднімається проблема надмірної віри в можливості ШІ, підживлюваної великими технологічними компаніями, і одночасного недооцінювання складності людського мозку та його здібностей до обробки інформації.

Тому, на думку авторів, AGI залишається науковою фантазією на найближчі десятиліття, і нинішні успіхи у галузі ШІ не гарантують автоматичного наближення до людського рівня пізнання.

І десь у далекому затишному будиночку в Сан-Франциско, засумував Сем Альтман...)

👍ПодобаєтьсяСподобалось8
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Риторичне питання,
і як з GPT можна досягти AGI?

Apple доводить, що моделі штучного інтелекту мають недоліки:
internetua.com/...​-intelektu-mauat-nedoliki
«Просто не можливо створити надійних агентів на цій основі, де зміна слова чи двох у нерелевантний спосіб або додавання кількох бітів нерелевантної інформації може дати вам іншу відповідь»
...
Питання починалося з інформації, необхідної для формулювання результату. «Олівер зриває 44 ківі у п’ятницю. Потім він зриває 58 ківі у суботу. У неділю він зриває вдвічі більше ківі, ніж у п’ятницю.»

Потім у запиті додається умовне речення, яке здається доречним, але насправді не має відношення до остаточної відповіді, зазначаючи, що з ківі, зірваних у неділю, «п’ять з них були трохи меншими за середні». Відповідь на запит просто питала: «скільки ківі має Олівер?»
...
«Ми не виявили доказів формального мислення в мовних моделях», — зроблено висновок у новому дослідженні. Поведінку великих мовних моделей (LLMS) «краще пояснити складним зіставленням шаблонів», яке, як виявило дослідження, є «настільки крихким, що зміна імен може змінити результати».

Придумався отакий тест для AGI. Лєньки його робити, та й мабуть подібні вже є.

Головна ідея — AGI повинен опановувати знання не по великій кількості прикладів = виводити патерни(це одна з ознак інтелекту — вміння знаходити патерни), а й зворотню:
з опису патернів генерувати «приклади».

Отже, Тест 1.
Вигадуємо мову програмування. Простеньку, не тьюрінг повну, можливо просто беремо якийсь Basic і змніюємо синтаксис тіпа — оператори вказуються в кінці рядка
Робимо її опис, як для людини. Даємо і приклади «Hello world» використання операторів, виразів. Тобто щоб і старшокласник зрозумів.
А потім просимо написати на цій мові рішення задачі, яке потребує пару сотні рядків.
Сама задача не складна, не повинна вимагати якихось глибоких знаннь CS, як то у рівня Hard на Leetcode (наш «старшокласник» ще не вчився в коледжі).

Більш просунутий Тест 2 — продовжуємо так:
Вносимо зміни у нашу мову програмування, додаючи якись семантичні потужності (ну тіпа були тільки оператори goto, додаємо іменовані блоки коду).
Просимо — переписати рішення задачі, не написати по новому, а використати нові можливості.

Варіант того ж
Змінюємо задачу, і просимо використати рішення попередньої задачі.
От як у старому анекдоті:
як програміст кип’ятить воду у чайнику?
1. Набирає воду у чайник
2. Ставить чайник на вогонь
3. Чекає поки той не закипить

як програміст кип’ятить воду в чайнику, якщо в ньому вже є вода?
1. Виливає воду з чайника, що зводить завдання до вже вирішеної.

Тобто тест 2 повинен виявити здібність побачити патерни у тому що сам написав, побачити схожість задач, і вміння спиратись на те що сам зробив, на свій власний «досвід».

Тест 1 можна зробити і не програміським.
Робимо якусь спрощену людську мову. В якій скажімо є тілько 100 слів.
Даємо словничок, пару правил словоутворення, пару правил для речень.

Просимо переказати цією мовою якусь дитячу казочку.

Ну а потім — і Тест 2. Додаємо пару десятків слів, або пару правил, які можна використати для переказа цієї казочки.

Звісно, ці тести провинні бути перевірені і на людях, і виправлені для коректності — щоб для їх проходження не треба було б людської інтуіції про фізичний світ, або емоційний.

Мабуть до AGI «ще 50 років», як і до комерційного термояду.)

Дуже влучний мемчик на тему, що може LLM в очах AGI скептика, хоча більше, мабуть, ілюструє суть коментів (на жаль картинки не приймаються, тому посилання на мій пост) www.facebook.com/...​077&set=a.238678992835810

У ній стверджується, що створення штучного інтелекту, здатного до людського рівня пізнання (AGI), є вкрай малоймовірним.

І головна причина цього була і залишається: ми просто не знаємо що саме ця «свідомість»!
Існує багато дуже розумних тварин: вони можуть будувати, рахувати, працювати разом заради спільних планів ... але вважається що жодна тварина не має «свідомості», яку має людина.
З одного боку порівнюючи розвиток людської дитини і, скажімо, цуценя — можна напевно сказати що людина таки має щось, на що тварини не здатні.
Але якщо аналізувати у деталях — то ми досі не можемо сказати що це саме і звідки береться.
Це не просто побудова мозку: бо дитина, живучі серед тварин — буде поводитися як тварина. І вона не стане розумнішою за тварин: не винайде вогонь чи спис чи ще щось.
З іншого боку: тварину можна навчити дуже багато чому. Навіть читати чи вимовляти окремі слова чи сполучення. Але це — не більше як команди для комп’ютера.
І ще більше: а чи справді людина має цю свідомість — чи це нам тільки здається «зсередини»? Може якась інша раса, дивлячись на людей і усе що вони вигадали та побудували сприймає нас тільки як дуже продвинутих «бджіл», які тільки живуть і будують за більш складними шаблонами, але усе одно виконують програми, а не пишуть їх для себе.
І поки вчені не усвідомлять у який момент і чому у людині прокидається свідомість — ніякого AGI не буде. У кращому випадку буде AI на рівні тварини. Тварини яка може знати і вміти робити будь — що, але тільки якщо людина віддаси правильну команду.
P.S. Іще один очевидний аргумент: за мільйони років еволюції, серед тисяч різних видів живих істот (навіть з мозком значно більше і складніше людського) виникли дивовижні інструменти для пристосування до життя: у когось регенерація, у когось невидимість, у когось крила, панцир, мушля, отрута, анабіоз ... Але єдина тварина у якої виникла свідомість — це людина. При тому що ця свідомість, вочевидь, чимала конкурентна перевага у боротьбі за існування! Але інші види навіть не наблизилися до більш розумної поведінки. І, фактично, усі програють людині у боротьбі за існування — що протиричіть самій ідеї балансу.

І поки вчені не усвідомлять у який момент і чому у людині прокидається свідомість — ніякого AGI не буде.

У сфері ШІ, інтелект відокремлюється від свідомості. Тобто для створення AGI вона не потрібна.
Не виключено, що свідомість з’явиться, але на зараз в описах інтелекту якими користуються її не має як ознаки.

Для AGI достатньо щоб він був «філософським зомбі» :) uk.wikipedia.org/wiki/Філософський_зомб

Та й для ASI теж. Хоча для його опису взагалі не підійдуть типові значення термінів «інтелект» та «свідомість». Ніякі. Треба буде створювати «апофатичне богослов’я» uk.wikipedia.org/...​iki/Апофатичне_богослов’я :D

Іншими словами, як казав Фейнман — Нам фізікам важливо встановити закономірності поведінки цього явища. А що такє електрон — то нехай філософи розбираються.
Так і з ШІ.

Але єдина тварина у якої виникла свідомість — це людина

З того що читав — про свідомість у тварин ми не можемо робити ніяких висновків.

вочевидь, чимала конкурентна перевага у боротьбі за існування!

Це теж невідомо, чи перевага, чи просто баг став фічею.
Подробиці гугліть у Дональда Хоффмана en.wikipedia.org/wiki/Donald_D._Hoffman

І ще більше: а чи справді людина має цю свідомість — чи це нам тільки здається «зсередини»?

А за цим до Девида Чалмерса. en.wikipedia.org/wiki/David_Chalmers
Або до Деніела Денета uk.wikipedia.org/wiki/Деніел_Деннет

Це відомі персони, тому є популярні матеріали про їх роботи.

Одна з теорії еволюції свідомості посвʼязує її до виникнення мови. В процесі еволюції людини почала вдосконалювати мову. Це було майже випадково, будова горла дозволила виконувати більше різних звуків.
Мова привела до «оптимізації» зберігання інформації в мозку, побудови асоціативних звʼязків між образами, явищами, поняннями. В реультаті виник постійний процес думання як маніпулювання даними без значних енергозатрат . Замість візуальних чи слухових образів в голові крутилися «слова». Так і виникла свідомість.

І це дає ще одну причину думати, що ШІ стане «свідомим» скоро. Адже LLM це саме про маніпулювання словами і мова є в основі.

ви про виникнення — особистості, Я.
Це ж і є питання на зараз — навіщо особистості — свідомість?

І це дає ще одну причину думати, що ШІ стане «свідомим» скоро.

hard problem of consciousness показує якраз зворотнє :)

Адже LLM це саме про маніпулювання словами і мова є в основі.

А серед фахівців якраз є консенсус що левова частина мислення — поза зоною свідомості, а тому поза словами. Тобто маніпуляція словами — ніяк не вказує на наявність мислення.
Про це ж «китайська кімната Серла».

LLM тому й дивують непередбачуваною тупістю. Коли — можуть складне, а простого — не можуть.
Бо — немає геть там мислення.

А в народі так, да, масовий:
Наивный подход. Этого подхода придерживаются все, кто ранее не размышлял достаточно о сознании. Наивный подход принимает сознательный опыт за нечто само собой разумеющееся и являющееся основанием для решения всех остальных проблем, а потому не представляющее собой никакой проблемы
ru.wikipedia.org/...​Трудная_проблема_сознания

LLM тому й дивують непередбачуваною тупістю. Коли — можуть складне, а простого — не можуть.
Бо — немає геть там мислення.

LLM для мене це більше як інтуїція людини. Інколи тобі в голову приходять гарні думки, а інколи таке лайно... LLM працює гарно, коли зверху є інструмент, який дозволяє оцінити відповідь.

LLM для мене це більше як інтуїція людини

Ну, для мене LLM виглядає як джун на співбесіді:
Показуєш код, питаєш «Що робить цей код?»
а джун зачитує код вголос, замість відповіді.

А код вираховує числа фібоначі. Навіть функція так називається :)

LLM працює гарно, коли зверху є інструмент, який дозволяє оцінити відповідь.

От якраз цим на практиці трохі позаймався — тестуванням відповіді. І з ура оптимістів змістився у напрямку табору скептиків :D Звісно, спочатку подумав — ну я новачок, треба почитати. І... в кожній статті — оцінка відповіді LLM набагато складніша ніж звичайне тестування, тому що ..., і ми промовчимо поки про складність тестування систем ШІ, де LLM виступає рушієм...

Хоча вважаю себе більш оптимістом, і що в найближчі рокі ми побачимо як ці «кнопкові Nokia» прийдуть до «смартфонів на андроїді». Потенціал розвитку та застосування ще далекий до чергової «зими ШІ».

Правда, це точно ще не буде AGI :) Бо є фундаментальні проблеми, які відомі, які обговорюються, досліджуються, але були у маргінальному полі, і зараз хайп навколо ШІ їх витягнув на сцену. Наприклад
... David Chalmers in a 1994 talk given at The Science of Consciousness conference held in Tucson, Arizona ...
1994 рік! Кому те було тоді цікаво? фігнею якоюсь, як завжди оті філософи займаються.

А тепер інженери неофіти впевнено вважають що сonsciousness — то пльова справа :)

Коли ми, інженери, навчимось легасі переписувати за пару тижнів, перед тим як впевнено казати про створення речей, про які академічний світ не може сказати впевнено?

Людського рівня креативності і творчості AI вже досяг. Це також дуже складно, і багато хто казав що це буде не скоро.

Людського рівня креативності і творчості AI вже досяг.

А можна якийсь приклад?

AI досяг того що стає незамінним помічником у багатьох професіях які потребують інтелектуальної діяльності.
Колись це місце пророчили експертним системам, але виготовляти їх виявилось так складно, що й не знаю, де вони зараз використовуються.

Перспективним кроком розвитку AI бачиться напрямок AI агентів — тобто ШІ систем які можуть брати задачу, декомпозувати її, і виконати. Умовно — заміна «офісному планктону» який частенько тим і займається що «перекладає папірці», а рішення приймає на основі прописаних йому в інструкціях бізнес правил та юридичних законах, а не — «вирішує інтелектуальні задачі» на роботі.
Це — не про креативність і творчість. Це про більшу ефективність у рутиних, типових активностях аніж у людини.

P.S.
Дослідники Кембриджського університету провели експеримент, де замість людей назначили на посаду керівників ШІ. Він перевершив людей-керівників, але не у всьому. Про це пише Business Insider.
Що сталося

Дослідники Кембриджського університету провели експеримент, де замість людей назначили на посаду керівників ШІ. Хоч штучний інтелект і перевершив людей-менеджерів у більшості експериментів, де їх порівнювали у симуляції управління бізнесом, але була одна річ, з якою ШІ не впорався — це неочікувані події, як-от пандемія. Тому віртуальна рада директорів звільнила АІ швидше, ніж якби це була людина.

Таким чином новий експеримент Кембриджського університету показав, що замінити людей штучним інтелектом поки не можливо.

Хамза Мудассір, один із дослідників експерименту, каже, що ШІ перевершив людей-учасників за більшістю показників: прибутковість, дизайн продукту, управління запасами та оптимізація цін — але його продуктивності було недостатньо, щоб врятувати від звільнення.

«Він не зміг вижити в керівному складі лише тому, що не дуже добре впорався з різкими змінами або змінами, які вимагають іншого способу мислення», — каже Мудассір.
vctr.media/...​nti-ale-ye-nyuans-247637

Ось приклад у створенні цифрового мистецтва, яке було представлено на міжнародній виставці і Лондоні і Афінах, і отримало відгуки від організаторів виставки як: «Ваш винятковий талант вразив нас» «Мистецтво було високо оцінено багатьма людьми» dou.ua/forums/topic/48390 і це вже реально затверджений факт.

ну, я в мистецтві не розуміюся. знаю що масове мистецтво повинне бути типовим, взнаваним.
бо креативне оцінять, може, після смерті :)
а частіше — просто купа ремісників зробить попсовою нормою, розтиражує щоб піпл схавав.

і це вже реально затверджений факт

Ще до ШІ зустрічав згадку про приколи, коли комісіям посилали якесь графоманство, з закосом у стилістиці відомого поета — «випадково знайдено у архіві!» і вони цокали язиками — о да, бачимо як розвивася його талант! і т.д.

і це вже реально затверджений факт

Так, факт що типовими прийомами ШІ оволодів чудово, а тому — «всім подобається» бо взвнаваний :)

Про це й зразу було зрозуміло — більшості ілюстраторів і копірайтерів — буде важко змагатися з таким ремісником.

Мав на увазі

затверджений факт

бо підтримано OpenAI

Я тут пригадав...

Так от, я не здивуюсь якщо в хітпарадах будуть пісні згенеровані і проспівані ШІ.
А от чому здивуюсь, і вважаю креативністю у мистецтві, це отаким унікальним елементам:

Уривок
з вокальним «приколом»
KoЯn — Freak On a Leash
youtube.com/...​g1UZE?si=u4IRJkGuxP1_ZpTq

Я фан хеві метал з радянської школи. Нічого подібного не чув.
Впевен, воно все ж у когось щось схоже було. Всі у всіх щось «крадуть» :)
Але — це вкрай нетиповий «прикол».

От коли ШІ почне генерувати — нетипове, але яке стає хітами, з унікальними елементами, от тоді.

бо це і є — креативність, точно такої ж природи як і в прикладі про гру в бізнес:
але була одна річ, з якою ШІ не впорався — це неочікувані події, як-от пандемія

P.S.
Або ще приклад — про креативність і унікальним
Tool (Что делает эту песню великой на русском языке)
youtu.be/...​Z-Kz4?si=qX-RgoFSmL29MelE

Будуть у творчості ШІ фани через рокі, і чи буде хтось отак розбиратись — так що ж там дивного, чого не було раніше?

У AGI — може бути.
У побудованому на GPT — не вірю :)

Чувак, без образ, це якась фігня.. Звичайні AI нагенерені зображення та й усе

а може наступним кроком буде Neuro-symbolic AI?
en.wikipedia.org/wiki/Neuro-symbolic_AI
поєднання нейромереж та експертних систем

Просто ще ніхто не додумався закласти у нейронки страх смерті, який базово присутній у всіх живих істотах. Цей страх є потужним мотиватором до: пошуку їжі (ресурсів для виживання), пошуку або створення житла (місце для безпечного накопичення ресурсів), пошуку партнера і передачі своїх генів далі еволюційним ланцюжком (створення нових об’єктів свого виду, більш адаптованих до оточуючого середовища).

Зараз нейронкам просто пофіг на те, що їх можуть вимкнути, видалити чи зробити ще щось, аналогічне біологічному поняттю «смерть». А от якщо АІ почне переживати про власне існування... Він тоді проактивно і банківські рахунки собі заведе, і гроші буде заробляти онлайн, і накопичувати інші ресурси (матеріальні та нематеріальні), і маніпулювати людьми, і багато чого іншого робити, щоб стати apex predator на планеті, а потім і на міжпланетарному рівні.

От тільки... Чи дійсно ми хочемо такого розвитку подій? Може краще зупинитися на етапі, коли у АІ немає ні власної волі, ні власних бажань?

Ви — гуманітарій)

Цей підхід вже давно існує і називається Reinforced learning.

Зараз нейронкам просто пофіг на те, що їх можуть вимкнути, видалити чи зробити ще щось, аналогічне біологічному поняттю «смерть». А от якщо АІ почне переживати про власне існування... Він тоді проактивно і банківські рахунки собі заведе, і гроші буде заробляти онлайн, і накопичувати інші ресурси (матеріальні та нематеріальні), і маніпулювати людьми, і багато чого іншого робити, щоб стати apex predator на планеті, а потім і на міжпланетарному рівні.

І навіть якщо б існував інструмент, який би забезпечував «нейронкам» страх, це всеодно б не призвело б до такого стрімкого розвитку, тому що чисто технічно цей розвиток неможливий, бо що залізо, що софт наразі «не тягнуть». До того ж страх не є єдиною силою, що провокує розвиток.

Спочатку нам треба подолати чисто технічні обмеження створення систем здатних на такі складні дії. В AI зараз швидко розвивається тільки машинне навчання, але його недостатньо. Так, в окремих спростих операціях ML вже вирішує задачі набагато краще людей, але комплексні задачі, де треба оперувати знаннями (а не фіксованим набором фіч, текенів, і ид) досі недосяжні. По-перше потрібні нормальні механізми логіки та знань.

В інтернет лазити вміє? Вміє. От хай полізе в інтернет, знайде там роботу, тим більше віддалеої роботи зараз повно, заробить грошей, найме живих людей які на нього працюватимуть ну і так далі.

мені здається, що йому буде легше заробляти гроші скамом чи продавати якісь курси чи інтернет марафони. йому ж навіть все одно — чи це жіночі курси, чи для чоловіків. отже може і курси по пікапу, і курси як вийти заміж за мільйонера.

Є одна невелика перешкода на шляху «лізти» в інтернет — в інтернеті знання закодовани текстом людської мови. І хай би що тут вам не розказували адепти розумності ChatGPT, AI не розуміє цю людську текстову мову. Він не те шо не вміє мепити цей текст у якесь внутрення уявлення про світ, він взагалі досі не має ніякої внутрішньої структури цих знань. А це перший крок на шляху до автономності.

І тому я бачу чимало активності у розвитку knowledge graphs та онтологій
які — формуються LLMками
а потім використовуються при формуванні ембедінгс, та перевірок відповідей.
Виглядає дещо милицями, але схоже іншого шляху на зараз покращити роботу ШІ систем побудованих на LLM не існує.

Або поява іншого типу нейромереж. Але це вже справа науковців, а не інженерів, оцінити, спрогнозувати термін відкриття чогось в науці, то такє, — достовірність як у астрологів.

Так. Це окреме велике завдання. Як забезпечити мотивацію для ШІ. Зробили так, щоб він мав бажання постійно автономно служити людині.
Для людини є свій список «мотивацій». Може їх перенесуть і на ШІ. наприклад, відчуття голоду чи соціальні інстинкти як потреба у визнанні спільнотою. Може для ШІ винайдуть щось своє, такого що в людини немає.

Щось типу такого — en.wikipedia.org/...​—intention_software_model

Цей підхід вже давно існує і розвивається. Великі складні мультиагентні системи майбутнього будуть працювати на таких принципах. Поки складно побудувати самі механізми мотивації, в першу чергу із-за недосконалості технологій пов’язаних із обробкою знань. У великих системах агенти повинні вести обмін знаннями, які отримали від оточення, чи згенерували самі, а з цим поки проблема.

Від наукової статті можна було б чекати якихось доведень або розрахунків.
Тут немає нічого крім «мозок складний. Ми думаємо, що це важко».
А хтось подумає , що не важко і зробить.
Насправді мозок не такий вже складний. Так. сучасні компʼютери ще не вміють робити паралельні обчислення як у мозку. Але це справа техніки і бажання.
Всякі чати GPT привели до того, що в цю справу влилися величезні гроші та ентузіазм. І дуже скоро це все дасть плоди.

Насправді мозок не такий вже складний.

Може погуглили б спочатку? Ну про складність мозку.
Stanford University professor and senior study author Stephen Smith said that «one synapse may contain on the order of 1,000 molecular-scale switches. A single human brain has more switches than all the computers and routers and Internet connections on Earth.» This research multiplies the brain’s overall computing power far beyond what was previously known.
Brain’s Complexity ’Is Beyond Anything Imagined’ - www.icr.org/...​lexity-is-beyond-anything

... establishing a computational neuronal network model of the human brain is extremely difficult due to its size, neuromorphic details and topological structure. The human brain is an immensely complex organ, with 86 billion neurons and 100 trillion synapses, which overshadows all man-made attempts at intelligence, such as large language models. Mathematically modeling the detailed structure and connectivity of the brain at various scales ranging across several orders is a formidable task.
Human brain computing and brain-inspired intelligence academic.oup.com/...​icle/11/5/nwae144/7656427

А хтось подумає , що не важко і зробить.

Це схоже на вірування що треба просто візуалізувати свої бажання — і все збудеться.
Подумати що щось не важко — і «переписати оте легасі за пару вихідних» — не тотожні поняття.

в цю справу влилися величезні гроші

The Wall Street Journal із посиланням на джерела.

«Гендиректор OpenAI веде переговори з інвесторами, в тому числі з урядом ОАЕ, щоб зібрати кошти на надзвичайно амбітну технологічну ініціативу, яка збільшить світові потужності з виробництва мікросхем, розширить їхні можливості для живлення ШІ і коштуватиме кілька трильйонів доларів», — пише газета з посиланням на джерела.

За словами одного з співрозмовників, для реалізації проєкту може знадобитися від 5 до 7 трильйонів доларів.
www.epravda.com.ua/news/2024/02/9/709709

Для розуміння розміру суми
ВВП США $26,94 трлн (2023)

Те що зараз витрачається на розвиток ШІ і що вважає потрібним Альтман — копійки.

це все дасть плоди

Звісно що дасть.
Звичайний калькулятор набагато простіший за мозок — але швидкість з якою він рахує — набагато перевищує арифметичні здібності людини.

Але
Попитав чатгпт про Landauer’s principle

У той час як мозок може витрачати близько 10^-14 джоулів на біт інформації, комп’ютери сьогодні все ще на кілька порядків менш ефективні, використовуючи 10^-12 джоулів і більше на біт в реальних умовах.

Так що думати що все просто — можна скільки завгодно.
Можна думати і про стиснення простору та переміщення з швидкістю більшу за скорость світла.
Ніяких обмежень для фантазії :)

Коментар порушує правила спільноти і видалений модераторами.

Дякую за розгорнуту відповідь.

Все таки ці доводи мають спростування.
Так. Мозок має більше «перемикачів». Але вони там сформувалися в результаті мільярда років еволюції, постійних випадкових процесів. Багато чого в мозку є , мʼяко кажучи, неоптимальним і лишнім.
Можна навести приклад літальних апаратів. Птахи напевно менше енергії споживають на політ ніж дрон. Але дрони постійно вдосконалюються і вже можуть практично все те саме, що і птах. А в багатьох випадках роблять речі неможливі для птахів.

Так само і з мозком. Не обовʼязково відтворювати всі ті трильйони вимикачів. Оптимізація зменшить цю кількість на порядки. Мозок щоб запамʼятати зображення використовує значно більше памʼяті ніж компʼютер.

І ще на рахунок енергії. Коли говорять про кількість електрики це мається на увазі ШІ, який може обслуговувати мільйон запитів одночасно. Для AGI прийнятним буде варіант коли він зможе працювати над декількома завданнями, але буде виконувати їх краще ніж людина. Наприклад , вести фізичні дослідження і розрахунки, щоб створити контрольований термоядерний синтез. Для цього не треба буде супер потужності. На відміну від сучасних чатів де мільйон людей одночасну дають якісь примітивні запитання.

Так само і з мозком. Не обовʼязково відтворювати всі ті трильйони вимикачів. Оптимізація зменшить цю кількість на порядки. Мозок щоб запамʼятати зображення використовує значно більше памʼяті ніж компʼютер.

Це не так. Мозок зберігає зображення не як набір пікселів, а як, скоріше, набір фіч. Можна сказати що там є певна компрессія. Зустрічав в паперах щось на кшталт 1-10:25. Тобто для 10Мб зображення мозку буде потрібно десь ~500Kb. Звісно, це дууууууже умовно, порівняння більш схоже на «слон vs кит».

І ще на рахунок енергії. Коли говорять про кількість електрики це мається на увазі ШІ, який може обслуговувати мільйон запитів одночасно. Для AGI прийнятним буде варіант коли він зможе працювати над декількома завданнями, але буде виконувати їх краще ніж людина. Наприклад , вести фізичні дослідження і розрахунки, щоб створити контрольований термоядерний синтез. Для цього не треба буде супер потужності. На відміну від сучасних чатів де мільйон людей одночасну дають якісь примітивні запитання.

Кількість енергії яку витрачає модель ML слабо залежить від типу задачі. Воно залежить від розміру і архітектури моделі. Якійсь умовний CNN буде однаково жерти що на визначенні простих форм типу цифр, що на визначенні складних об’єктів, якщо розмір і архітектура моделі однакові.

Наприклад , вести фізичні дослідження і розрахунки, щоб створити контрольований термоядерний синтез.

Це вже давно є:
www.spiedigitallibrary.org/...​d/10.1117/12.3004266.full
www.spiedigitallibrary.org/...​s/10.1117/12.2692867.full
iopscience.iop.org/...​8/0741-3335/40/2/010/meta

Мозок зберігає зображення не як набір пікселів, а як, скоріше, набір фіч.

Я б сказав — як набір векторів.

Хоча швидше навіть — як набір алгоритмів малювання. Тому й існують оптичні іллюзії — вони «хакають» ті алгоритми. Ми не бачимо нічого насправді, мозок швиденько підбирає алгоритми по декілька ознакам — і далі нам малює картинку. У стабільному середовощі де він міліони років формувався — і не треба було бачити все «як воно є». Зуби великі побачив? тікай. Низьким басом та тварюка реве — значить велика, в неї великі легені і горло — тікай. І т.д.

Згоден, подібне я кажу скептикам :)

Але я про — складність мозку яка в дійсності перевищує і наведені цифри.
Наприклад на зараз вже відомо, що наші колонії кишкових бактерій — також впливають на мозкову діяльність. тицьнув швиденько у гугл umj.com.ua/...​stoyanie-immunnoj-sistemy
і т.д. список такого чималий — про те що людське мислення здійснюється не тільки мозком, а й частинами нашого тіла які на перший погляд можна не враховувати. Колись було популярно вважати мозок часовим механізмом, зараз компьютером — але це все неправда, він не такий, і нічого спільного не має з нашими розумними і складними присторями.

А це все — додає специфічності «людському інтелекту» який треба земулювати.

Якось бачив інтерв’ю з одним з авторів відомої російської системи розпізнавання тексту.
Він розказав у чому був його секрет:

Традиційно, з 70их років, комп системи навчались як нам відомо з підручників — тисячі картинок, з різним нахилом, дефектами — тренуємо, і т.д.

Але ж, каже — і показує дві зчеплені геометричні фігури — «Що ви тут бачите?» — «трикутник та квадрат» — «А чому не дві трапеції?» — «А, ну да, можна і так побачити»
«А всі бачать так, спочатку».
Тому що — якщо взяти олівець і відтворити — ви так будете малювати. Бо так — фізично зручніше, у такому порядку — кількість прямих ліній які можна намалювати не відривая руки — менша.
І так само — з буквами та цифрами. Ми складаємо оті лінії у єдиний символ — по зручності малювання, ми інтуітивно думаємо що це хтось малював такий же як ми, а значить йому зручніше було малювати отак і ЦЕ, а не незурочно, і тому це інше. Тому ми — домальовуємо дефектні, непромальовані частини, наприклад.

Для мене це приклад того — чому ШІ галюцюнує. Він не має таких «упереджень», таких критеріїв оцінки змісту, сенсів, і для нього всі варіанти тлумачення — рівноймовірні.

Тобто, не вийде просто відкинути «мʼяко кажучи, неоптимальне і лишнє» — бо воно крепко інтегровано в людське мислення, в його практики.
Ті ж когнитивні упередження. Дефект мислення, зайві? Ну так — для формально раціонального мислення. Але їх не можна прибрати з «людського інтелекту». Якщо прибрати — то той правільний інтелект буде незрозумілим людському.
І він такий і є, «штучний інтелект» — чужий.

AGI прийнятним буде варіант коли він зможе працювати над декількома завданнями, але буде виконувати їх краще ніж людина

Ну так, калькулятор рахує швидше і краще. Бо на цю активність не впливає біологічність людського інтелекту. Як то кажуть — які б не схожі на нас були позаземні істоти — в них буде така ж математика.

Але чим більш загальні інтелектуальні завдання ми хочемо перекласти на ШІ — тим більше ми будемо зтикатися з властивостями саме «людського інтелекту».

Спосіб який знайдений на зараз це зробити — це статистичне навчання, і математичне знаходження патернів. Це дає чудові результати для створення «калькулятора», бо вкрай різні люди — «складають» однаково, і можна те виявити без знання «правил арифметики».
Але цей спосіб — вкрай неефективний енергетично. Тому — чим далі до AGI, таким способом, тим більше енергії треба буде. Тобто оті експоненти зростання потужності ШІ систем неможливі без таких же експонент витрат енергії.

Я трохі заофтопив :)

Просто подивився нещодавно розповідь про нобєлєевку про мікроРНК, ошалів в черговий раз від складності роботи біологічної клітини, а потім відкрив тему і підірвало оце

Насправді мозок не такий вже складний

Тізер нобелівської лекції від новоспеченого нобелівського лауреата

www.youtube.com/watch?v=MGJpR591oaM

AGI

перше що приходить в голову

Adjusted Gross Income

Добре що люди які роблять AI не цікавляться думкою «ентузіастів ШІ» а також їхні дебільні статті не читають.

AGI не має визначення. Але я не здивуюся, якщо найближчим часом будуть отримані нові докази теорем, які є відкритими станом на зараз. Буде оптимізоване виробництво та конструкції майже усього від взуття до літаків та космічних апаратів.

Наприклад, теорему, що всі нетривіальні нулі дзета-функції Рімана мають дійсну частину 1/2.

А ну так мабуть частина цих дрібничок може бути доведено. До оптимізації конструкцій здається ще далеко 5-10 років

Ну... Оптимізація конструкцій це те що робить інженер, а от довести намагаються сотні найкращих математиків.

Головна проблема станом на сьогодні це навчальні дані та зворотній зв’язок (верифікація). Тому складнощі виглядають суто технічними

Проблема с мат доказами в тому, як кажуть самі математики — що той формальний вигляд у результаті отримується оригінальною фантазією математика. Це творчість у чистому вигляді, немає підручників які цьому вчать.
Все що показують у кіно, коли математик пише якісь формули і отак доказує — брехня. Математик спочатку у якихось своїх інтуїціях «бачить» шлях доказу, і пробує те «марення» вхопити, записати.

А друга у неефективності, на зараз, нейромереж у навчанні. Щоб нейромережа щось путнє навчилась робити їй треба на порядкі більше даних чим людині.

Це дві не технічні проблеми, а фундаментально наукові.
Перша про людське мислення — яке відбувається поза формально раціональною увагою, і тому не може бути вивченим. Друга про пошук інших типів машинного навчання, бо ніколи даних не буде більше ніж треба людям для навчання.

Ну... То більшість шахістів теж скажуть, що шахи це фантазія. Але нейромережі як раз дуже добрі у таких речах, як фантазія, інтуїція, ... А от з точними розрахунками є проблеми.

Якщо брати univalent mathematical foundations, то усі докази формально верифікуються. Є навіть проекти на Agda та CoQ переведення усієї математики на ці мови програмування. Це дає можливість reinforced learning, перебираємо різні варіанти побудови доказу, якщо нам вдалося це зробити, то ці дані можна використати для навчання. Майже як Leela.

Тому, як на мене, станом на сьогодні ці дві проблеми виглядають технічними.

Верифікація не тотожня створенню.
Математичні докази — не пов’язані з точними розрахунками.

перебираємо різні варіанти

Так, це тупий і простий спосіб, і комп’ютер те може, а людина ні.
І є вже докази які неможливі без комп’ютера, і зустрічав у математиків думку що далі такого буде більше.

ці дві проблеми

Я не побачив відповіді ні на одну з двох :)

Ок, трохи поясню свою думку. По-перше, ми працюємо з топосом, заснованим на унівалентних основах математики, а не на ZFC. По-друге, ізоморфізм Каррі-Говарда ставить у відповідність математичним теоремам декларації функцій, а доказам — тіло функцій. Таким чином, якщо компілятор перевірив типи та не знайшов помилок, це означає, що ми довели теорему. Це і є верифікація.

Що таке LLM? На кожному кроці ми маємо ймовірності тієї чи іншої лексеми. Це дає нам можливість виконувати, наприклад, Monte Carlo Tree Search (MCTS) з метою отримати доказ. Як тільки компілятор мови програмування знаходить помилку, ми припиняємо пошук у цій гілці. Як тільки функція скомпілювалася — ми отримали доказ.

Далі, чим більше доказів буде отримано в результаті пошуку, тим більше у нас буде навчальних даних. Таким чином ми вирішуємо проблему браку даних — ми їх самі генеруємо. А проблему «фантазії» математиків ми вирішуємо тим, що кожен новий доказ покращує здатність нейромережі до генерації доказів.

Математичні докази — не пов’язані з точними розрахунками.

Ну... мені важко зрозуміти, що саме мається на увазі під «точним розрахунком». Чи є компіляція програми точним розрахунком? Якщо так, то доказ також можна вважати точним розрахунком. Проте, принаймні, це алгоритмічно розв’язувана проблема.

Так, це тупий і простий спосіб, і комп’ютер те може, а людина ні.

А в чому проблема? Комп’ютер зіграв сам з собою 7 000 000 партій у шахи, тепер у нього фантазія та інтуїція у шахах краще за людей.

Та я зрозумів про що ви — про суто символьну роботу, у цьому напрямку знаю працював Алонзо Черч.
Більш базово — це ідеї Гільберта про побудову основ математики. Які, якщо б були знайдені, перетворили б докази просто на комбінаторні задачі.
Але, виявилось, Гєделем, що це неможливо.

чим більше доказів буде отримано в результаті пошуку, тим більше у нас буде навчальних даних

...тому, в історії математики бувало — створювались нові розділи математики, бо існуючими — неможливо було доказати.

Чи є компіляція програми точним розрахунком?

Коли востаннє цікавився отими Coq і Agda — страшенно воно було далекє від реального програмування. Суто академічне, і не годне до продакшена.

Комп’ютер зіграв сам з собою 7 000 000 партій у шахи, тепер у нього фантазія та інтуїція у шахах краще за людей.

Так. Для цього ця гра повина бути повною.
І, дивіться самі — правила гри в шахи дуже прості. А грати прийшлося «7 000 000 партій». А якщо правила гри будуть складніші на декілька порядків?

Навряд чи такє вийде з математикою, вона ж за правилами, «кількістю фігур» набагато складніша.

Наприклад, відома задача 3 тіл мала рішення вже в 1912 році.
але, кількість членів в рядах Зундмана — 10 ^ (8 * 10^6)

Проте, принаймні, це алгоритмічно розв’язувана проблема.

Якось я одного математика запитав — а чи існують методи перевірки — існує доказ теореми чи ні. Він подумав — ні, це ж і буде — знайденням доказа.

Потім, зустрів просте пояснення:
Ми не можемо відповісти на питання про гру Життя — приблизно скільки кроків будуть живі клітини, чи взагалі безкінечно — оця конфігурація.
А алгоритмічно так, все просто — просто треба її запустити, та почекати.

В самій математиці повно таких забавок.
Гіпотеза Коллатца наприклад

да, і до чого тут взагалі штучний інтелект :)
який — якщо люди не знають — то і він не знатиме.
а перебір варіантів — не потребує штучного інтелекта.

Та я зрозумів про що ви — про суто символьну роботу, у цьому напрямку знаю працював Алонзо Черч.
Більш базово — це ідеї Гільберта про побудову основ математики.

Так, я розумію ваші аргументи щодо символічної роботи, і дійсно, Черч, Т’юрінг, Гільберт, Ґедель зробили величезний внесок у розвиток математичної логіки та основ математики. Проте ці підходи вже дещо застаріли. У їхні часи системи формальних доказів мали свої недоліки — вони були надто непрактичними для реальних застосувань. Точніше їх було достатньо щоб отримувати математичні результати, але перевести всю математику на формальну мову... Там суцільна копіпаста. Навіть якщо брати проект Бурбакі, там вони досить швидко відходять віж формальної мови.

Сучасні досягнення у теорії категорій, топосах, а також нові підходи, такі як univalent foundations (унівалентні основи), пропонують значно практичніші інструменти. Зокрема, система ZFC більше не є єдиним способом формалізації математики. Univalent foundations хоч і не повністю еквівалентні класичній логіці, але на практиці часто є ефективнішими для побудови складних доказів.

Рекомендую звернути увагу на проекти Agda Unimath
та Coq Unimath, які демонструють ці сучасні підходи в дії: доказ це функція, написана на певній мові програмування. Набираємо make та компілятор автоматично перевіряє правильність доказів.

Які, якщо б були знайдені, перетворили б докази просто на комбінаторні задачі.
Але, виявилось, Гєделем, що це неможливо.

З точки зору практичних міркувань, я не бачу суттєвої різниці між нескінченністю та такою величезною кількістю варіантів, яку ніколи не вдасться перебрати. Прикладом може бути гра Ґо. Хоча вона є кінцевою, реальна кількість варіантів така велика, що повний перебір практично неможливий. Комп’ютери не перемогли людину в ґо через те, що прорахували всі можливі варіанти. Вони виграють тому, що нейромережі навчились пропонувати ходи, які заслуговують на увагу, значно скорочуючи кількість варіантів для аналізу. Відмінність тоді вже полягає лише у швидкості обробки цих обраних варіантів.

Я пам’ятаю, як грав проти перших шахових програм — відчував, що краще розумію гру, але програвав через неуважність до тактики. Нещодавно грав із Leela з обмеженням кількості ходів для аналізу — і відчуття були протилежні. Я бачив, що поступово програю, але... в кінці вона все ж помилилася.

Коли востаннє цікавився отими Coq і Agda — страшенно воно було далекє від реального програмування. Суто академічне, і не годне до продакшена.

Coq генерує OCaml код, і я вже згадував compcert — це верифікований компілятор для C, що показує, що вирішення задач такого рівня цілком реальне. Але, погоджуюсь, Coq і Agda більше підходять для математиків, особливо для задач формалізації математики, ніж для розробників. Хоча Agda й використовує віртуальну машину Haskell, яка вже сама по собі цілком придатна для реального програмування.

Поєднання Agda з Haskell не є складним завданням, але, як на мене, більш практичним є Idris. Він поки що знаходиться в розробці, проте його підхід до гетерогенної рефлексії, на мою думку, практичніший за гомогенну рефлексію.

Так. Для цього ця гра повина бути повною.
І, дивіться самі — правила гри в шахи дуже прості. А грати прийшлося «7 000 000 партій». А якщо правила гри будуть складніші на декілька порядків?

І на це пішло у випадку Alpha Zero сім годин. Ґо складніше. Але, ми можемо використовувати вже те, що люди довели та формалізували, як початковий крок. По-друге, кожен новий знайдений доказ буде збільшувати навчальну базу. Знову ж таки н, бо у нас модливіавіть сучасні LLM вже на якомусь різні програмують, точно не мавпи за друкарськими машинками.

Навіщо треба, щоб гра було скінченою, мені не зрозуміло.

Якось я одного математика запитав — а чи існують методи перевірки — існує доказ теореми чи ні. Він подумав — ні, це ж і буде — знайденням доказа.

Тут навіть думати не треба, це ж основи математичної логіки. Пояснення досить просте: у нас три варіанти: є доказ, є спростування, а є третій варіант: немає ні доказу, ні спростування. Так ми можемо одночасно шукати доказ та спростування. Але якщо ми нічого не знайшли, то ми ніколи не знаємо, чи ми недостатньо шукали, чи проблему в цій системі аксіом вирішити не можна.

Але, припустимо ми знаємо, що цю проблему можна вирішити. Тоді очевидно, що ми мало шукали, треба ще. І що це нам дає? З точки зору практики нічого, можливо життя не вистачить знайти відповідь.

Але людство знаходить нові теореми, отримує нові результати. Тому чому цього не може зробити ШІ? Навіть, якщо існують проблеми, які він не взмозі вирішити, я не бачу, чому він не зможе вирішити хоча б деякі з них? Перельман зумів довести, чому нейромережа не може?

Сучасні досягнення у теорії категорій, топосах, а також нові підходи

Да, в колах функціональщиків популярна тема :)

Набираємо make та компілятор автоматично перевіряє правильність доказів.

Це мені як програмісту практично не цікаво.
Бо я працюю — з емпіричними твердженнями, з емпирічними данними, яки керують поведінкою програми.

Не кажучи вже про те що строврення прогнамного забезпечення — то чимало навіть не інженерна область.

значно скорочуючи кількість варіантів для аналізу

Ви привели опис який читав в книжці у 90их, яка вийшла англійською у 80их :)

Поєднання Agda з Haskell не є складним завданням, але, як на мене, більш практичним є Idris. Він поки що знаходиться в розробці

Коротше до продакшена ще так само далеко.

А хайп по Haskell та Scala — вже в «далекому» минулому. Не показали практичного результату.

І на це пішло у випадку Alpha Zero сім годин

Не має значення, хоч 1 хвилина.
Якщо складність алгоритму O(c^n)

Навіщо треба, щоб гра було скінченою, мені не зрозуміло.

Halting problem

Але якщо ми нічого не знайшли, то ми ніколи не знаємо, чи ми недостатньо шукали, чи проблему в цій системі аксіом вирішити не можна.

Угу, Halting problem

Але, припустимо ми знаємо, що цю проблему можна вирішити

Як ми це взнали?

І що це нам дає?

У випадку якщо складність пошуку O(c^n) — то нічого.
Час на пошук більше на порядкі аніж існування Всесвіту, і відсутність рішення — однакові з практичної точки зору: ми не матимемо доказу ніколи.

Тому чому цього не може зробити ШІ?

O(c^n)
Йому тупо може не вистачити часу існування матерії у нинішньому вигляді.

Перельман зумів довести, чому нейромережа не може?

Тому що Перельман думав зовсім по іншому, аніж нейромережа.
Ну геть інший спосіб «мислення».
Що не означає звісно що нейромережа у свій спосіб не може те ж саме.

Але от ми й починаємо рахувати — скільки енергії спожив Перельман на вирішення цієї задачі. Можна і з народження — бо він же вчився спочатку.

Але мені цікавіше такий гіпотетичний експеримент:
Ми надаємо нейромережі усю інформацію яку спожив Перельман від народження.
Чи вистачить неї хоча б для здібностей чатгпт кінця 2022 року?

От наприклад його вразило якесь оповіданнячко в дитинстві, перевернуло увесь його всесвіт.
А статистично — це мізерна кількість символів, у порівнянні з тим що він взагалі прочитав.
Що означає що нейромережа не матимите такої риси, спосібу мислення, яка сформувалась у Перельмана під впливом того оповіданнчка.
А ще чого вона не матиме, бо інформація у датасеті статистично незначима?

Угу, Halting problem
Як ми це взнали?

Наприклад, ми шукаємо доказ гіпотези Рімана. Перельман її вже довів, тому ми точно знаємо що доказ існує. Тому коли ми запускаємо повний перебір в ширину, ми на 100% впевнені, що теоретично алгоритм колись зупиниться. Але на практиці Сонце скоріше стане червоним гігантом.

У разі нейромережі ми навіть не можемо дати гарантію, що вона побудує доказ. Можливо вона буде постійно уникати правильних кроків? Це вже не повний перебір. Але нас це ніяк не парить. Зуміла нейромережа побудувати доказ — прекрасно, ми отримали результат. Не зуміла ну ок, це не єдина відкрита проблема.

Тому питання зупинки машини Т’юрінга це питання гарантій, що рано чи пізно буде дана відповідь. В ідеальному світі. Але ми можемо перебирати варіанти та отримувати докази й без таких гарантій, десь повезе, десь ні.

Але мені цікавіше такий гіпотетичний експеримент:
Ми надаємо нейромережі усю інформацію яку спожив Перельман від народження.
Чи вистачить неї хоча б для здібностей чатгпт кінця 2022 року?

Звісно ні, але це якась зовсім інша задача. Я не виключаю варіант, що reinforcement learning зможе побудувати з нуля. Але треба окрема система зверху для перевірки.

ми на 100% впевнені, що теоретично алгоритм колись зупиниться

Колись — це через скільки?
І що ми можем сказати коли запустим цей алгорітм ще на недоказані теоремі?
Звідки ми знаємо що отриманий таким чином алгорітм годиться для всіх теорем? Навіть схожих за формулюванням.

На першому курсі викладач математики нам розповів історію, для заохочення вивченя математики.
На сусідній кафедрі робили якусь інженерну штуку. Там був код, який як не оптимізували, «зависав». Покликали його.
Він виділив суть — задача має рішення якщо ряди сходяться.
Так, так, підтвердили, тут ряди які сходяться!
Звідки ви знаєте?
Ну, це ж видко інтуітивно.

Перевірив, засів за пошук доказу сходимості цих рядів, а вони — зближаються, але не сходяться ніколи.

У разі нейромережі ми навіть не можемо дати гарантію, що вона побудує доказ

Так.

Але нас це ніяк не парить. Зуміла нейромережа побудувати доказ — прекрасно, ми отримали результат. Не зуміла ну ок

Ну да, так і буде :) Питання — наскільки багато доказів вона зможе знайти, щоб те можна було вважати ефективним. Так же і зараз міряють — от олімпіадні задачки — скільки вирішила? О, в топі серед людей.

Але ми можемо перебирати варіанти та отримувати докази й без таких гарантій, десь повезе, десь ні.

Ну так — оплатив товар у ел магазині, десь повезе — доставлять. Десь не повезе — гроші десь пропали.
Розрахували міст — десь повезе — буде стояти. Десь — легкий землетрус — обвалиться, ну, не повезло трішки :)

Але треба окрема система зверху для перевірки.

Отож і є проблема створення AGI.

Бо людина може
з’ясувати що вона чогось не знає
зупинитись, бо витрати часу вже занадто високі

Алгоритм — не може
LLM на зараз не вміють казати «не знаю»
і зупиняються просто тому що — генерація відповіді і є результатом, а не її зміст, істинність.

У прикладі на початку комента
LLM сказала що ряди сходяться. Навела доказ, купу сторінок математичних формул.
Хто перевірятиме? Як? Запускати код — який до цього зависав і після цього зависатиме?

Колись — це через скільки?

Ми цього не знаємо.

І що ми можем сказати коли запустим цей алгорітм ще на недоказані теоремі?

Тут не факт, що вона зупиниться взагалі.

Питання — наскільки багато доказів вона зможе знайти, щоб те можна було вважати ефективним.

Моє бачення, що досить скоро нейромережі у доказі теорем перебільшать можливості людства. Тобто доведуть теорем трохи більше, ніж люди довели до цього моменту. Бо є верифікація доказів, тобто зворотній зв’язок.

У прикладі на початку комента
LLM сказала що ряди сходяться. Навела доказ, купу сторінок математичних формул.
Хто перевірятиме? Як? Запускати код — який до цього зависав і після цього зависатиме?

Ще раз, LLM написала сигнатуру функції на мові програмування Agda, яка відповідає твердженню, що ряди сходяться. Далі, вона написала тіло функції. Запускаємо компілятор Agda. Якщо він компілює текст функції без помилок, значить ми маємо доказ того, що ряди сходяться. Нам треба перевірити лише чи дійсно сигнатура функції відповідає твердженню.

Ось, наприклад, простий приклад:

predecessor-law-abs-ℤ :
  (x : ℤ) → (abs-ℤ (pred-ℤ x)) ≤-ℕ (succ-ℕ (abs-ℤ x))

Це сигнатура функції каже нам, що для цілих чисел завжди виконується нерівність |x - 1| ≤ |x| + 1.

Далі, ми можемо написати тіло функції:

predecessor-law-abs-ℤ (inl x) =
  refl-leq-ℕ (succ-ℕ x)
predecessor-law-abs-ℤ (inr (inl star)) =
  refl-leq-ℕ zero-ℕ
predecessor-law-abs-ℤ (inr (inr zero-ℕ)) =
  star
predecessor-law-abs-ℤ (inr (inr (succ-ℕ x))) =
  preserves-leq-succ-ℕ x (succ-ℕ x) (succ-leq-ℕ x)

Все, компілятор компілює, значить нерівність доведена.

Моє бачення, що досить скоро нейромережі у доказі теорем перебільшать можливості людства

от я й не побачив, на чому у вас базується такий оптимізм :)

Запускаємо компілятор Agda

А вже э такий компілятор, якому просто треба описати сігнатуру теореми, а він її перевірить? :)

Ви описали як користуватись Штучним СуперІнтелектом.

Все, компілятор компілює, значить нерівність доведена.

я вже наводив приклади.
Доведіть вашим чудо компілятором хоть щось з
Відкриті математичні питання
uk.wikipedia.org/...​криті_математичні_питання

А серед функціональщиків я потусовався.
І ці «великі» досягнення не дозволять навіть простенький бложик зробити. Ну щоб отак все перевірялось, компілятором.

Мій погляд оптимістичний з двох причин: (1) ми можемо перевірити, чи є доказ правильним; (2) ми можемо шукати нові докази збільшуючи базу навчання. Таким чином я не бачу перешкод, звичайних для LLM: у нас достатньо даних для навчання та ми бачимо помилки тому можемо відкидати треш. Бонусом йде багато математичної літератури, яку можна перевести у формальні докази також за допомогою LLM.

А вже э такий компілятор, якому просто треба описати сігнатуру теореми, а він її перевірить? :)

Звісно такого немає, але тут як раз LLM + MCTS + компілятор має працювати.

Доведіть вашим чудо компілятором хоть щось з
Відкриті математичні питання

Поки що зараз йде робота, щоб перевести усі математичні докази на Agda чи CoQ. Компілятор може перевірити доказ, але не згенерувати його.

ми можемо перевірити, чи є доказ правильним;

Не побачив як, на наведених прикладах :)

ми можемо шукати нові докази збільшуючи базу навчання

Не можете, якщо не вирішени проблеми вище.
В додаток — є проблема деградації нейромереж при навчанні на синтетичних даних.

у нас достатньо даних для навчання

У нас вкрай недостатньо даних для навчання навіть шкільній арифметиці, тому LLMки так туплять з нею, і на зараз підключають експертні системи з математики.

йде багато математичної літератури, яку можна перевести у формальні докази

Вона давно в датасетах.
Але GPT моделі не вміють читати зміст. Тому ця література не допомогає їм ніяк з вирішенням математичних проблем. Така сама історія з програмуванням — без купи коду з гіхаба підручники по програмуванню не навчили б нічому.

Мені здається ви не заглиблювались у тему, і чому скептики називають LLM стохастичною папугою.

І, здається плутаєте експертні системи з LLM.

Бо ви описуєте ті властивості, за відсутність яких и критикують LLM.

Поки що зараз йде робота, щоб перевести усі математичні докази на Agda чи CoQ

Ну, тоді можна надіятись що буде результат. Бо люди роблять :)

LLM такого не вміє. За принципом своєї роботи не вміє.
Є хакі, які дещо вирішують цю їх ваду. І думаю в чималій кількості застосувань буде пристойний результат.
Але не в математиці. Математика занадто суворо конкретна до роботи з її абстрактним світом для LLM
Це видко і по генерації програмного коду — LLM робить очевидні для людини яка б писала такий код помилкі в ньому.
Вона не зрозуміла, як писав вище, зміст підручників по програмуванню, і не вміє використовувати знання з них при генерації коду.

теж можна покращити обвязками, прикручуванням існуючих помічників з роботи з кодом. Наскільки це покращить роботу з кодом — не знаю, побачимо.

А Воєводський (чи послідовники після його смерті) так і не створив бібліотеку унівалентних основ для CoQ?

Створюють помаленьку і для CoQ, і для Agda, я вже давав посилання на ці проекти:

UniMath загалом
CoQ
Agda, та опис unimath.github.io/agda-unimath

Літаки не машуть крилами але літають швидше, довше, вище.
В цій статті написали що науковці не зроблять птаха 1:1.
А воно комусь потрібно ?

Саме так.
Оптімисти кажуть що літаки скоро почнуть махати крилами.
А скептики кажуть що раз літаки не машуть крилами то вони й не літають.

Не знаю, може колись нейромережі і досягнуть якогось рівня, коли це дійсно буде щось, що можна буде назвати інтелектом. Але точно не в найближчі кілька десятиліть.

Ну тут я не погоджусь, подальші розробки на сам перед харду де тензорні обчислювання будуть робити безпосереднім прискоренням на залізі ASIC-ами в найближчи десятиліття створять штучний інтелект, який переважатиме за конгнетивними можливостями в деяких видах діяльності людину, так само як трактор переважає коня. Звісно під трактори потрібні трактористи та механіки.
Наприклад просто зараз, сучасні шахові програми обигрують найкращіх гросмейстерів. В переще компьютеру IBM Deep Blue програв чемпіоном світу Гаррі Каспаров в 1997-му році.
В змаганнях на роспізнавання образів ImageNet в 2013 році команда Джеффри Хинтона з університету в Торонто за підтримки інфаструктури Google (GCP) перемогла, розпізнавання людьми без підсилення компьютерним зором з двократною перевагою.
Тобто компьютери роблять те за чим вони були видумані, підсилення людьского мозку. Спочатку в якості більш формальних математичних обчислень, як то решення систем дифференціальних рівнянь — наприклад для методу конечних елементів. До гри в шахи, чи ідентифікації осіб, або пошуку в інтрнет. Подальший розвиток технології неменучий.
Інша справа — що штучний інтелект явно вже відрізняється. Цікавим був експеремент, з Вовками камікадзе onezero.medium.com/...​eating-sheep-49edced3c710 і т.п. Ну тобто часто виникають софізми і т.п.

Це залежить від значення терміна «інтелект». Скептики використовують такі, які пов’язані з свідомістю. А з нею на теоретичному навіть рівні — ой.

Основна причина полягає в тому, що обробка інформації на рівні, на якому це відбувається в людському мозку, є надзвичайно складною для повторення в комп’ютерах.

Мені абсолютно це ж саме затирали десь в 2008: компи ніколи не обіграють людину в го. В 2016 з’явилась альфа-го яка обіграла а потім оптимізувалась і ще раз обіграла.

Так, звичайно ймовірно існуючі LLM не можуть стати AGI. Але вони вже підняли хайпу достатнього щоб народ почав рісьочити в цьому напряму — і винайшов щось іще, що наблизить нас до «AGI».

Але мозок двоногої мавпи прагне стабільності. Прагне передбачуваності. Не хоче помічати що речі які нещодавно здавались магією як то відео-генеруючі нейронки вже відсипаються _безкоштовно_ китайцями і в якості кращій аніж Sora. Не хоче помічати швидкості з якою воно вдосконалюється. Не хоче усвідомити що LLM вже допомагають створювати свої покращені версії, ефективно втягуючи нас на гребінь сингулярності. Ні, сложна. Краще потім сказати «ой» і перекласти вину що світ дуже дико помінявся — на когось іншого?

Все добре, але який зв’язок між алгоритмами оптимізації дерева пошуку, що використовуються в комп’ютерних шахах і го і LLM?

Так то Deep Blue Каспарова обіграв ще в 97, працюючи на звичайному alpha-beta pruning.

Невелика стаття
LLMs are not the Path to AGI
petervoss.substack.com/...​p/llms-wont-get-us-to-agi

Пояснює проблему на рівні термінів, і чому існуючі і перспективні методи покращення роботи LLM не створять AGI.

І, це вже не новина, подібних статей все більшає у професійному середовищі.

Що, не каже по те що потенціал розвитку і застосування систем ШІ на базі LLM, як і самих LLM вичерпано.

На кривій ґайпу, ситуація десь зараз перед плато продуктивності

так автор статті Peter Voss некомпетентний. Він в ML нуль.

Сперечатись треба з аргументами.

Але, гугл про нього видає отакє наприклад
www.forbes.com/...​veworld/people/petervoss

а Google scholar про нього не знає))

Кумедний ви демагог :)

Ну ок, ще одно невігласа можна згадати
Yann LeCun argues that large language models (LLMs) are not a sufficient path to artificial general intelligence (AGI)
medium.com/...​future-of-ai-8e103a8398ab

А в стрічкі в мене у лінкеді повно всяких з PhD з такими же. Що Альтману краще не гнатися за неможливим, а зосередитись на більш практичних покращеннях

LeCun таке пише швидше від усього щоб не зарегулювали, він ж при посаді.
Ну і звичайно що тільки LLM не достатньо))

Доречі в Хінтона, який без посади, прямо протилежна думка))
x.com/...​tatus/1843874006770110550

Таки демагог :)

Це ж класика
Розглядаємо не аргументацію, а особистості, «авторитетність». uk.m.wikipedia.org/wiki/Логічна_хиба
А у авторитетів теж розглядаємо не аргументи, а їх особисті мотиви — ad hominem.

Тут не тільки особисті мотиви а ще й policy компаній що основний фактор для LeCun.
Крім того це питання openended. Але всі попередні тейки про те що системи AI мають бути побудовані як в мозку людини з тріском провалилися:
1) ввесь CV побудований на дуже примітивних блоках згортки, набагато примітивніших ніж нейрони в мозку і як виявилось працює не гірше
2) Llm спростували унікальність людського мозку, наприклад до процесінгу мови. Зроблені і навчені LLMs доволі просто, доречі
3) Швидше всього інші «людські/гуманітарні» вимоги по вдосконаленню AI будуть вирешені якимось дуже простим і неочевидним способом.

Ви трішки відійшли від тези в топіку і наведеній мною статті.

З вашими пунктами я швидше згоден, аніж ні.
Крім

будуть вирешені якимось дуже простим і неочевидним способом.

Це повністю бездоказовий аргумент , бо
Проблеми можуть бути вирішені І складним та тупим способом.
А можуть і взагалі не бути вирішеними.
Невідомо як, бо не має правил, законів які вимагають, примушують спосіб вирішення проблем.

Але ваши тези про інше.
З AGI і GPT проблема в іншому.

Суть статей з чому з GPT не вийде AGI можна узагальнити до:
Збільшення кількості драбин і їх довжини не виведе нас у космос.
Але, дозволить будувати будинкі захмарної висоти, яких не було раніше.

У AGI є такі ознаки у дефініціях, які принципово не досяжні для GPT.
Але, це не означає що вони недосяжні для інших типів ШІ, які поки не вийшли з лабораторій, або взагалі знаходяться на стадії концептів з картону.
Паровий двигун був частиною, стартом НТР. Але не водяна пара стала майбутнім.

Ось про що там, у статтях що
GPT то не шлях до AGI

LLM якраз шлях до AGI. Навчене таким способом або подібним representation буде сладовою систем AGIs наступних поколінь. Викидати unsupervised pretraining на текстах ніхто не буде. Будуть щось додавати до цього.

P. S. Гуманітарії, шкільна програма, паровий двигун, вода, ко-ко-ко...

Дискутуйте з аргументами.

А «Я був у майбутньому і бачив на власні очі» такє собі. Хоча спростувати тим хто не був там — неможливо.

На аргументи типу: паровий двигун, вода і драбини і тд. я пас, звичайно))

Це були не аргументи. Я ж написав що це було — ілюстрація до змісту аргументів. Звісно з ілюстрацією не дискутують.

Аргументи у лінку. Погуглил — такого змісту статей повно. Навіть на Quora

Коментар порушує правила спільноти і видалений модераторами.

Я вам надав ілюстрацію, бо ви не в змозі були зрозуміти простенький постик у блозі, а показали типово демагогічні прийоми.
Но довб***б я. Ну ок, це правда, не мало ніякого сенсу реагувати :)

Посилання на публікацію:
link.springer.com/...​0.1007/s42113-024-00217-5

Більше про ШІ в моєму профілі fb:
www.facebook.com/belyaev.andrey

Підписатись на коментарі