Чи є роздуми LLM справжнім мисленням? (Не)очевидні висновки дослідження

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Дисклеймер: Одразу скажу, що для створення переказу за цим дослідженням використав NotebookLM, але прочитав також його сам, там нескладна подача :) Загалом закликаю писати такі дисклеймери, якщо ви робите топік, для якого багато використовуєте ШІ.

Дослідження провели в Університеті Арізони, знайшов його у твітері, а ось лінк на оригінал.

Деталі що досліджували (натисніть на стрілочку)

Що досліджувалося:

• Автори досліджували, чи CoT-міркування є справжнім процесом висновку, чи воно відображає структурну індуктивну упередженість, вивчену з даних, що знаходяться у межах розподілу тренувальних даних.
• Була висунута гіпотеза, що ефективність CoT принципово обмежена ступенем невідповідності розподілу даних між тренувальними даними та тестовими запитами.
• Дослідження розглядало CoT-міркування через три виміри: завдання, довжину та формат.
• Для цього було створено контрольоване середовище під назвою DataAlchemy, яке дозволило навчати LLM з нуля та систематично тестувати їх в умовах різних зсувів розподілу даних.

Які результати були отримані:

• Результати показали, що CoT-міркування є крихким міражем, який зникає, коли його виштовхують за межі тренувальних розподілів даних.
• Воно ефективне лише для даних, що знаходяться у межах або близько до тренувального розподілу, але стає крихким і схильним до збоїв навіть при помірних зсувах розподілу.
• LLM можуть генерувати плавні, але логічно суперечливі кроки міркувань, наприклад, правильно формулюючи правило, але роблячи неправильний висновок. Це вказує на те, що LLM покладаються на поверхневу семантику та асоціації токенів, а не на справжню логіку.
• Узагальнення завдань (за трансформаціями та елементами), узагальнення довжини (тексту та кроків міркувань) та узагальнення формату призводять до значного погіршення продуктивності CoT-міркувань.
• Зокрема, точність різко падає при збільшенні невідповідності розподілу даних. Моделі часто намагаються відтворити довжину або патерни, які вони бачили під час тренування, навіть якщо це призводить до неправильних відповідей.
• Навіть невеликі зміни у форматі запиту можуть сильно вплинути на результати, особливо зміни, пов’язані з елементами та трансформаціями.
• Виявлені закономірності залишаються сталими при різних налаштуваннях температури та розмірів моделі.
• Докерування (Supervised Fine-Tuning — SFT) на невеликій частині нових даних може допомогти моделі швидко адаптуватися до нових розподілів, але це лише розширює «внутрішньо-розподільний міхур» моделі, а не забезпечує справжнє узагальнення.

Які висновки можна зробити:

• CoT-міркування не є механізмом справжнього логічного висновку, а скоріше складною формою відповідності структурованим шаблонам, принципово обмеженою розподілом даних, побачених під час тренування.
• Для практиків це означає, що не слід надмірно покладатися на CoT як на універсальне рішення, особливо у сферах з високими ставками, оскільки LLM можуть видавати «плавну нісенітницю» — правдоподібні, але логічно хибні ланцюги міркувань.
• Критично важливим є пріоритетне тестування поза розподілом (OOD) для виявлення вразливостей системи CoT.
• SFT є тимчасовим виправленням, а не панацеєю, і не вирішує основної проблеми — відсутності у моделі абстрактної здатності до міркувань.
• Для дослідників це підкреслює постійну проблему досягнення достовірних і узагальнених міркувань та спонукає до розробки моделей, здатних виходити за межі розпізнавання поверхневих патернів.

Загалом, воно звучить доволі передбачувано, однак добре, що є аргументовані підтвердження. Плюс питання, як і коли перейти до справжнього ШІ, який думає і креативить, а не просто знаходить закономірності, залишається відкритим, і доповнюється новим — чи взагалі цей шлях не є тупиковим.

Що думаєте?