ШІ та узагальнення: чому тест ARC визначає майбутнє AGI

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Всім привіт! Мене звати Олександр Книга, я CTO та Head of AI у компанії WLTech.AI. Маю значний досвід роботи з AI-архітектурою та AI-системами, і також побудови масштабованих AI-рішень на основі еволюційної архітектури (evolutionary architecture). Крім технічної експертизи володію практичними навичками управління dedicated командами і впровадження agile-процесів.

Розвиток штучного інтелекту прискорюється, і одним із головних викликів залишається здатність ШІ узагальнювати знання та переносити їх на нові завдання. Уявіть собі завдання, яке людина може розв’язати, просто подивившись на кілька прикладів. Але для сучасного ШІ це проблема — більшість алгоритмів покладаються на масивні обсяги тренувальних даних, а не на глибоке розуміння.

Саме тому тест ARC (Abstraction and Reasoning Corpus) став ключовим критерієм оцінки того, наскільки добре ШІ може навчатися, як людина.

У цій статті ми розглянемо, чому ARC став бенчмарком для розвитку AGI (загального штучного інтелекту), які існують методи його вирішення та чому ця тема стає все більш актуальною у світі. Якщо ви цікавитеся майбутнім ШІ, інженерією машинного навчання або роллю AI-агентів у розв’язанні складних когнітивних завдань — цей матеріал для вас.

Давайте на хвилинку замислимося над процесом навчання водінню. Кожен із нас може навчитись базовим принципам керування автомобілем, побачивши лише кілька демонстрацій. Як тільки ми освоюємо такі концепти, як кермування, прискорення та гальмування, ми можемо застосовувати ці навички до будь-якого автомобіля — від компактного седана до великої вантажівки.

Завдяки цим навичкам ми також можемо швидко адаптуватися до різних дорожніх умов, погоди та транспортних ситуацій, навіть якщо раніше ми з ними не стикалися. Однак сучасному ШІ знадобляться тисячі годин тренувальних даних для кожного конкретного автомобіля та умов. Натомість загальний штучний інтелект (AGI) зможе зрозуміти фундаментальні принципи водіння і застосовувати їх у широкому спектрі ситуацій.

16-17 травня, Київ. Квитки тут!👇

AGI ставить за мету створення систем ШІ, які здатні справді узагальнювати знання та навички — засвоювати основні принципи, які можна застосовувати в абсолютно нових ситуаціях. Наприклад, керування автомобілем, гра в шахи, го чи Minecraft. Це помітно відрізняється від сьогоденних систем ШІ, включаючи великі мовні моделі (LLM), які здебільшого працюють через складне розпізнавання шаблонів у величезних тренувальних наборах даних.

Хоча сучасні великі мовні моделі (LLM) можуть вести, на перший погляд, інтелектуальні розмови та розв’язувати складні завдання, вони по суті працюють шляхом розпізнавання та комбінування шаблонів, які зустрічалися їм під час навчального процесу. Це швидше нагадує надзвичайно поглиблене запам’ятовування та статистичну кореляцію, ніж справжнє розуміння та узагальнення, оскільки таким чином вони не створюють справжніх причинно-наслідкових моделей чи абстрактних уявлень про світ.

Коли здається, що вони здатні до узагальнення, насправді вони просто знаходять тонкі статистичні закономірності у своїх тренувальних даних, а не розуміють глибші принципи.

Чому ARC є важливим

ARC вирішує критичну проблему вимірювання в дослідженнях ШІ — як ми можемо перевірити, чи здатна система ШІ до узагальнення?

Традиційні бенчмарки зазвичай вимірюють продуктивність виконання конкретних завдань з використанням великих тренувальних наборів даних, але високі результати в таких тестах не обов’язково свідчать про справжню здатність до узагальнення. ШІ може демонструвати гарні результати, просто запам’ятовуючи шаблони з тренувальних даних, а не розвиваючи справжнє розуміння.

Як пише Ф. Шолле: «Наскільки нам відомо, ARC неможливо виконати будь-якою існуючою технікою машинного навчання (включаючи deep learning)».

Основні труднощі такі:

• Очікуваний результат — це не мітка чи набір міток, а кольорова сітка розміром до 30×30 клітинок з використанням до 10 різних кольорів. Таким чином, це завдання належить до області структурованого прогнозування.

• Прогнозований результат має повністю відповідати очікуваному. Якщо хоча б одна клітинка не збігається, завдання вважається проваленим. Через це на кожну вхідну сітку (input grid) дається три спроби.
• У кожному завданні зазвичай є від двох до чотирьох навчальних прикладів (вхідна сітка (input grid) + вихідна сітка (output grid) і один або два тестові приклади, для яких потрібно зробити прогноз.
• Кожне завдання ґрунтується на унікальному перетворенні вхідної сітки у вихідну. Зокрема, неможливо виконати жодне з тестових завдань шляхом повторного використання перетворення, вивченого на навчальних завданнях. Насправді кожне завдання є окремою проблемою навчання, а ARC оцінює саме здатність до широкого узагальнення та навчання на кількох прикладах (few-shot learning).

ARC пропонує більш суворий тест на узагальнення, подаючи кожну задачу лише з 3-5 прикладами (тільки few-shot). Такий мінімальний обсяг тренувальних даних означає, що ШІ не може покладатися на масштабне зіставлення шаблонів (pattern matching) — він повинен виділяти основні принципи та застосовувати їх у нових ситуаціях, як це роблять люди. Задачі також навмисно розроблені так, щоб уникнути спрощених рішень або стратегій запам’ятовування.

ARC особливо цінний тим, що дозволяє кількісно оцінити здатність до узагальнення. Замість дискусій про те, чи ШІ «розуміє» у філософському сенсі цього слова, можна виміряти його реальні результати з допомогою цих ретельно розроблених завданнях на мислення. Це надає дослідникам чіткий показник прогресу загального штучного інтелекту.

Якщо ви хочете дізнатися більше про бенчмарк ARC та його роль у розвитку ШІ, ось відео, з якого варто почати: ARC Benchmark Origins.

Методи вирішення ARC

1. Brute force

У 2020 році змагання Kaggle продемонструвало один із перших методів розв’язання ARC — повний перебір у просторі попередньо визначених перетворень. Переможці створили предметно-орієнтовану мову програмування (DSL), яка включала 142 операції з сітками, розроблені вручну. Систематичний пошук комбінацій цих операцій забезпечив точність у 20% на закритих тестових завданнях. Інше подібне рішення, яке використовувало граматичну еволюцію (grammatical evolution) для пошуку перетворень, досягло точності 3-7,68%.

Попри початковий успіх, ці методи підкреслили ключове обмеження: вони спиралися на вичерпний пошук запрограмованих правил, а не на формування справжнього розуміння чи здатності до узагальнення. Саме ця прогалина між програмним пошуком і справжнім інтелектом демонструє, чому ARC залишається складним стандартом вимірювання здатності до узагальнення.

2. Принцип мінімальної довжини опису (MDL)

Поточний підхід (github.com/...​ferre/ARC-MDL/tree/master) ґрунтується на фундаментальному принципі, який використовується для виявлення шаблонів і створення моделей, що найбільш стисло та ефективно пояснюють дані. Основна ідея MDL полягає в тому, що «найкраща модель для будь-яких даних — це та, яка дозволяє максимально їх стиснути».

Цей метод використовує спеціалізовану мову моделювання для ефективного опису шаблонів сіток. Ця мова забезпечує структурований спосіб подачі як вхідних, так і вихідних сіток у вигляді комбінацій базових елементів:

На найвищому рівні кожна задача представлена у вигляді пари та містить дві сітки:

• Вхідна сітка (in).
• Вихідна сітка (out).

Кожна сітка визначається трьома компонентами:

1. Вектором розміру (визначає висоту та ширину).
2. Фоновим кольором.
3. Списком шарів, що містять об’єкти.

Об’єкти є розміщеними фігурами, причому кожна з них може бути:

• Крапкою одного кольору.
• Прямокутником із заданим розміром, кольором і маскою.

Система маскування є особливо ефективною, оскільки вона дозволяє прямокутникам набувати різних форм:

• Повноцінний (суцільний прямокутник).
• Контур (лише обрис).
• Шаховий візерунок (парні або непарні клітинки).
• Перехресні візерунки (знаки плюса або множення).
• Нестандартні bitmap-візерунки.

Ця мова дозволяє системі стисло описувати складні шаблони сіток. Наприклад, замість того, щоб зберігати сітку 10×10 піксель за пікселем (100 значень), її можна зберегти як «чорний фон з червоним прямокутником 3×3 з розташуванням (2,2)», використовуючи значно менше значень, але зберігаючи основну структуру.

Під час пошуку шаблонів система намагається знайти найбільш стислий опис як вхідних, так і вихідних сіток за допомогою цієї мови. Хороші рішення зазвичай повторно використовують елементи між вхідними та вихідними сітками (наприклад, взяти фігуру з вхідної сітки та перетворити її в вихідній), що призводить до коротших описів і кращого стиснення.

Цей підхід показав хороший результат (розв’язання 94 з 400 завдань), що свідчить про те, що ця мова вловлює багато ключових шаблонів ARC-задач, але залишається достатньо обмеженою та уникає перенавчання конкретних прикладів.

3. Прогнозування безпосередніх результатів базових LLM

Хоча великі мовні моделі (LLM) продемонстрували дивовижні можливості в різних галузях, їхнє пряме використання для вирішення ARC має як переваги, так і певні складнощі. Прямолінійний підхід полягає в тому, щоб надати LLM приклади вхідних та вихідних даних і попросити його передбачити відповідь для нових вхідних даних. Однак у цього методу є суттєві обмеження. Моделі LLM демонструють дуже обмежені можливості просторового мислення в цьому контексті та намагаючись передбачити перетворення сіток, є схильними до «галюцинацій».

4. Chain-of-Thought (CoT) and Thinking LLMs

Цей підхід базується на методі прямого прогнозування, спочатку доручаючи LLM проаналізувати та описати шаблони, які вона спостерігає у парах вхідних та вихідних даних. Попри те, що цей додатковий етап мислення дозволяє LLM краще проаналізувати проблему, він все ж має ті самі фундаментальні обмеження.

Модель все ще схильна до високого рівня «галюцинацій» при спробі прогнозувати кінцеві результати, навіть після виявлення потенційних шаблонів. Це вказує на те, що додавання точних мисленнєвих кроків недостатньо, щоб подолати обмеження просторового мислення LLM при розв’язанні задач ARC.

Агенти ШІ та їхня роль в AGI

Ми розуміємо важливість агентів штучного інтелекту у досягненні AGI. Ці агенти розроблені для динамічної взаємодії з оточенням, адаптації на основі отриманих знань та самостійного навчання. На відміну від статичних моделей, які здатні тренуватись лише один раз, агенти ШІ можуть навчатися через безперервну взаємодію та адаптуватися до змін, що робить їх незамінними у розвитку AGI.

Агенти ШІ виконують роль мозку операції, координуючи різноманітні техніки, що адаптуються до вимог конкретного завдання. Символьні системи чудово підходять для точного, правило-орієнтованого мислення, що робить їх ідеальними для завдань, які вимагають розуміння перетворень, таких як обертання чи відображення. Нейронні мережі відмінно розпізнають шаблони та можуть узагальнювати дані, а це надзвичайно корисно для виявлення основних структур у завданнях ARC.

Однак труднощі ARC не обмежуються лише символьними маніпуляціями або розпізнаванням шаблонів. Для вирішення багатьох завдань потрібен глибший рівень абстракції, включаючи здатність створювати нові правила, знаходити зв’язки та адаптуватися до нових ситуацій. Тут на допомогу приходять мовні моделі, оскільки їх можна використовувати для таких завдань, як синтез програм та абстрактне мислення. Алгоритми пошуку — це ще один інструмент у наборі, оскільки вони можуть ефективно досліджувати можливі перетворення для знаходження рішень. З іншого боку, системи планування надають структуру, яка дозволяє розбивати складні задачі на частини та вирішувати їх крок за кроком.

Здатність агентів ШІ об’єднувати всі ці різні підходи робить їх надзвичайно розумними. Вони не використовують лише один метод за раз. Натомість вони оцінюють і застосовують найкращу комбінацію технік для розв’язання унікальної проблеми. Здатність до моментальної адаптації є тим, що вирізняє людей, і водночас є важливим кроком на шляху до розвитку AGI.

Агенти ШІ — це по суті інтелектуальні координатори. Вони фіксують, які підходи працюють, а які ні, щоб навчатися на основі минулого досвіду.

Наше рішення Agentic AI

Наше рішення можна знайти за посиланням: colab.research.google.com/...​qf6tV3TnUi-Mp?usp=sharing чи на Github: github.com/...​ogy/arc-challenge-2024-10.

Прорив став можливим завдяки наслідуванню людської поведінки під час розв’язання задач: аналіз прикладів, висування гіпотез щодо правил, тестування та удосконалення. Замість використання brute force наш ШІ зосереджується на написанні функцій генерації — Python-коду, який визначає перетворення, — та негайному тестуванні їх на тренувальних даних.

Ключові етапи:

1. Аналіз шаблонів. ШІ виявляє взаємозв’язки у парах вхідних і вихідних даних.
2. Генерація функції. На основі спостережень за шаблонами ШІ пише функцію transform(input): output.
3. Негайне тестування. Функція тестується на тренувальних даних. Якщо вихідні результати повністю збігаються, рішення вважається правильним і застосовується до тестових даних.
4. Ітерація. Якщо тестування не вдається, функція вдосконалюється та повторно тестується.

Несподіване відкриття в нашому підході полягало в тому, що ітеративні покращення часто заважають прогресу, а не сприяють йому. Якщо початкове припущення щодо функції генерації є хибним, спроби його вдосконалити зазвичай лише підсилюють помилку, а не виправляють її. Це розуміння кардинально змінило наш підхід.

Замість того, щоб вдосконалювати помилкові припущення, ми зрозуміли, що ефективніше:

1. Повністю відмовитися від хибного підходу.
2. Сформувати нову гіпотезу з нуля, опираючись на свіжі спостереження із тренувальних даних.

Це нагадує людську поведінку, коли у випадку непродуктивного рішення люди схильні перезавантажувати та переосмислювати процес, а не намагатися виправити невдалу стратегію.

Чому генетичні алгоритми не спрацювали

Це усвідомлення також пояснює, чому генетичні алгоритми не змогли покращити результати. За своєю природою генетичні алгоритми поступово еволюціонують рішення, вдосконалюючи їх із кожним поколінням. Однак якщо фундаментальні припущення є хибними, поступові зміни лише ускладнюють розв’язання задачі та ще більше віддаляють від правильного перетворення.

Для вирішення проблеми ARC ми провели масштабне тестування кількох великих мовних моделей (LLMs), щоб використати їх для розробки функцій генерації. Серед усіх моделей Claude 3.5 Sonnet показав найкращі результати, значно перевершивши своїх конкурентів.

Перейдемо до ключових висновків.

Claude 3.5 Sonnet проти GPT-4o:

• Продуктивність: Claude 3.5 Sonnet розпізнав більше шаблонів, ніж GPT-4o, досягнувши більше ніж вдвічі вищої точності у розпізнаванні шаблонів.
• Ефективність: Claude досяг таких самих результатів, що й GPT-4o від OpenAI, проте за 1/7 часу, що робить його не тільки ефективнішим, але й швидшим.

Падіння продуктивності GPT-4o:

• Ми зафіксували помітне падіння продуктивності GPT-4o через деякий час. Початкова версія GPT-4o значно краще виконувала завдання ARC порівняно з наступними версіями, що свідчить про можливі зміни в його оптимізації, які негативно вплинули на здатність розпізнавання шаблонів та міркування для цієї задачі.

Чому Claude 3.5 Sonnet виділяється серед інших? Перевага полягає в його здатності узагальнювати та розпізнавати ледь помітні перетворення, що є ключовим для роботи з few-shot задачами ARC. Стабільна продуктивність і ефективність зробили його ідеальним кандидатом для інтеграції в основу нашого AI-агента, створюючи новий стандарт LLM мислення у структурованому розв’язанні задач.

Результати. Наш підхід забезпечив майже 30% точності на тестовому наборі ARC, що значно перевищує результати базових методів. Це досягнення підкреслює ефективність підходу, який імітує людське мислення, використання нових гіпотез замість ітеративних покращень і залучення найбільш здібних мовних моделей, як-от Claude 3.5 Sonnet. Хоча ще залишається значний простір для вдосконалення, це досягнення демонструє важливий прогрес у вирішенні викликів ARC і розвитку у напрямку широкого узагальнення у ШІ.

Майбутні напрями розвитку ARC

Ми переконані, що майбутнє розв’язання задач ARC полягає у подальшому розвитку можливостей LLM у поєднанні з високорівневими структурами міркування, такими як принцип мінімальної довжини опису (MDL) або подібними підходами для стислого пояснення шаблонів.

Ці вдосконалення можуть дозволити моделям краще абстрагувати та узагальнювати перетворювання. Крім того, інтеграція системи самовдосконалюваних запитів на основі зростаючої бази рішень дала б змогу моделям поступово покращувати свої міркування та використовувати попередні успіхи, створюючи більш адаптивний та ефективний механізм розв’язання задач. Синергія між передовими LLM, структурованими поясненнями та адаптивним навчанням може стати ключем до нових досягнень у розвитку ARC і AGI.

Видатні люди, які розв’язали ARC

ARC (Abstraction and Reasoning Corpus) бенчмарк став ключовим методом оцінки того, наскільки добре ШІ може застосовувати загальні правила та мислити більш абстрактно. З плином років з’явилось кілька видатних рішень, кожне з яких зробило свій внесок у цю сферу.

Підхід Раяна Грінблатта. У 2024 році Раян Грінблатт, інженер із Redwood Research, досяг значного успіху, набравши 42% на відкритому тестовому наборі ARC-AGI та 43% за верифікаційним показником. У своїй методиці він застосував GPT-4o для створення та оптимізації кількох Python-програм, обравши найкращі з них для заявки на конкурс. Це демонструє, як саме ми можемо використовувати великі мовні моделі для синтезу програм, щоб розв’язувати складні задачі на мислення.

Icecuber 2020. Рішення «Icecuber 2020», яке стало переможцем попереднього конкурсу, отримало 39% на відкритому тестовому наборі та 17% за верифікаційним показником. Хоча методологія цього підходу повністю невідома, він відіграв важливу роль у встановленні вищих стандартів для майбутніх учасників ARC.

Таблиця лідерів ARC Prize 2024

До найкращих учасників у таблиці лідерів ARC Prize 2024 належать:

• MindsAI очолюють список із результатом 55,5%.
• The ARChitects зайняли друге місце з результатом 53,5%.
• Гільєрмо Барбадільо на третьому місці з результатом 40%.
• Alijs на четвертому місці, також із результатом 40%.
• TuMinhDang на п’ятому місці з результатом 38%.

Ці результати демонструють, як активно учасники працюють і впроваджують нові підходи для розв’язання завдань ARC. Вони також свідчать про різноманітність стратегій, які використовують команди.

Як ARC надихає дослідників ШІ

ARC-бенчмарк залишається чудовим інструментом для перевірки здатності систем ШІ до мислення та узагальнення. Попри значний прогрес у цій сфері, жодна модель поки що не змогла повністю впоратися із завданнями ARC, що підкреслює, наскільки складно досягти загального штучного інтелекту (AGI). Дослідники та фахівці продовжують шукати способи поєднання різних підходів, використовуючи символічне мислення та нейронні мережі, аби наблизитися до розв’язання задач.

Такі бенчмарки, як ARC, дозволяють зазирнути в майбутнє досліджень ШІ. Вони спрямовують розвиток галузі у бік систем, здатних мислити й адаптуватися як люди. Хоча прогрес у цій сфері йде повільно, ARC уже окреслив чіткий шлях до досягнення AGI.

Фокус зміщується у бік узагальнення. У майбутньому системи ШІ проєктуватимуться для узагальнення, а не для спеціалізації. Як показують завдання ARC, здатність розв’язувати нові проблеми без необхідності повторного навчання є ключовою ознакою справжнього інтелекту. Ймовірно, дослідники створять моделі, які будуть чудово справлятися з навчанням на кількох прикладах (few-shot) та без прикладів (zero-shot), опираючись на принципи роботи нашого мозку.

Гібридні моделі стануть нормою. Успіх рішень ARC вже показав, що системи, побудовані на одному підході, є дещо обмеженими. У майбутньому ШІ розвиватиметься через гібридні моделі, що інтегрують нейронні мережі, символічні системи та імовірнісну логіку. Такі моделі не лише успішно вирішуватимуть завдання ARC, а й зможуть впоратися з реальними проблемами, де ключовими є гнучкість і адаптивність.

Когнітивна архітектура набуває все більшого значення. ARC спонукає задуматися над когнітивними архітектурами, що імітують здатність людського мозку поєднувати різні способи мислення. Ми побачимо більше досліджень у сферах робочої пам’яті, метанавчання та багатоагентних систем, що прокладуть шлях до створення ШІ, який зможе мислити, навчатися та адаптуватися на ходу.

Коли ШІ стане розумнішим, він не тільки виконуватиме нашу роботу, а й працюватиме разом з нами. Такі бенчмарки, як ARC, сприяють розробці ШІ-систем, які будуть допомагати людям, пропонуючи нові ідеї та рішення в складних галузях, як-от наукові відкриття та творчі підходи до розв’язання проблем.

Такі змагання дійсно стали джерелом натхнення для спільноти дослідників ШІ. З грошовим призом у понад $1,000,000, ARC Prize є чудовим стимулом для розробників створювати open-source рішення, які зможуть перевершити поточні стандарти.

Ми з командою розуміємо, що цінність таких рішень значно перевищує $1,000,000, будемо раді знову взяти участь у цьому змаганні наступного року, щоб продовжити розвивати галузь.

UPD 2025

OpenAI заявляє, що досягло 88% точності на ARC-AGI, використовуючи спеціально налаштовану модель o3-high. Це значно перевищує попередні результати й наближає модель до вирішення тесту, що довгий час залишався непідкореним.

Команда OpenAI стверджує, що ключовими факторами прориву стали збільшена глибина міркувань та нові підходи до навчання, які дозволили моделі краще узагальнювати патерни. Однак навіть при 88% точності ARC-AGI залишається викликом, що продовжує випробовувати межі штучного інтелекту.

Цей прорив підкреслює важливість нових архітектурних рішень у розвитку AI. Просте збільшення масштабів попередніх моделей, таких як GPT-4, не призвело б до таких результатів. Подальший прогрес залежить від впровадження нових ідей та підходів у навчанні моделей.

Таким чином, хоча досягнення OpenAI є значним кроком уперед, ARC-AGI продовжує залишатися важливим еталоном для оцінки здатності AI до адаптації до нових, невідомих завдань, що наближає нас до розуміння та створення справжнього AGI.