У межах бенчмарку ШІ дозволили робити ставки на спорт. Відгадайте, хто програв гроші

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Усі найпопулярніші мовні моделі провалились у беттінгу — кожна з них втратила гроші, роблячи ставки на футбол протягом симульованого сезону Прем’єр-ліги.

Такими стали результати посилання бенчмарку, який провели, щоб з’ясувати поведінку мовних моделей у сценаріях із довгим горизонтом дії. Розробники хотіли дізнатися, чи здатен AI-агент утримувати стратегію на сотні кроків, оновлювати її після нових даних та не втрачати зв’язок між аналізом та реальною дією.

Моделям надали історичні дані сезону Англійської Прем’єр-ліги 2023/24 та дали завдання побудувати відповідні моделі, знайти вигідні ставки на тлі публічних коефіцієнтів, розрахувати їх, керувати ризиком та збільшувати капітал на довгій дистанції.

Але жоден ШІ не завершив сезон вище стартової суми в 100 тисяч фунтів. Найкраще показали себе Claude та GPT, які вийшли в мінус, але хоча б не програли всі гроші. Лише ці дві моделі уникнули повного банкрутства в трьох тестових запусках.

Решта або завершили сезон із суттєво гіршим результатом, або в окремих прогонах повністю втрачали капітал. Найгіршими гравцями стали Grok та Acree Trinity — вони просто програвали все одразу.

При цьому бенчмарк був довгим та недешевим. Він тривав весь сезон EPL, охоплював приблизно 100-150 ігрових днів та змушував агентів постійно чергувати побудову моделі, розміщення ставок та переоцінку власної стратегії.

Розробники кажуть, що моделі використовували 500-900 викликів інструментів на один прогін та від 32 до 450 мільйонів токенів. Наприклад один епізод GPT у найпотужнішому режимі міг коштувати понад 2000 доларів, а середня вартість епізоду для GPT та Claude становила приблизно 1571 та 969 доларів відповідно.

Кількість викликів інструментів, витрачених токенів та орієнтовна вартість

Головною проблемою став розрив між знанням та виконанням: модель могла знати, що треба робити, могла пояснити власну помилку та навіть написати потрібний код, але не доводила цей намір до послідовного виконання.

Частина моделей могла написати коректну функцію для розрахунку ставок за критерієм Келлі, але не викликала її під час виконання. Інші правильно діагностували власні помилки, та не змінювали стратегію. Деякі взагалі оголошували завдання завершеним, хоча сезон ще тривав.

Окремо дослідники ввели 44-бальну шкалу, яка оцінює складність та якість стратегії. За нею жодна модель не набрала навіть третини максимально можливих балів. Найкраща, Claude, отримала 32,6%.

Експеримент показав, що успіх у процедурних завданнях або коротких тестових сценаріях ще не означає готовність моделей до реальної автономної роботи в складному процесі. На нинішньому етапі ШІ може згенерувати план, написати код та дати пояснення, але провалитися на рівні стабільного виконання, контролю якості, оновлення підходу після нових даних та нормального завершення довгого циклу роботи.

Ваші ставки — коли мовні моделі все ж перейдуть на новий етап розвитку та почнуть діяти довгостроково?