Андрей Карпати представив LLM Council — інструмент для дебатів між мовними моделями

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Відомий ентузіаст штучного інтелекту, співзасновник OpenAI та автор терміну «вайбкодинг» Андрей Карпати опублікував у відкритий доступ LLM Council — локальний вебдодаток, у якому кілька мовних моделей одночасно відповідають на одне запитання, оцінюють відповіді конкурентів і формують найоптимальнішу підсумкову відповідь.

Як працює рада мовних моделей

Ідея дуже проста. Користувач ставить одне запитання, а далі відбувається невеликий мультимодельний диспут. Спочатку кожна LLM генерує власну відповідь, а потім моделі отримують відповіді інших, але без інформації про те, хто їх написав. Після цього кожна модель починає критикувати та ранжувати конкурентів. І в кінці головна LLM узагальнює все й формує фінальну відповідь.

У стандартній конфігурації до дебатів входять GPT-5.1, Gemini 3 Pro Preview, Claude Sonnet 4.5 та Grok-4, але список можна змінювати через OpenRouter.

Моделі вважають GPT-5.1 найкращим

Карпаті тестував інструмент на завданнях, де важлива саме глибина мислення, наприклад, на аналізі книг. І тут моделі продемонстрували доволі цікаву поведінку.

У сліпому режимі, де вони не знають, де чия відповідь, GPT-5.1 стабільно отримувала найвищі оцінки. А ось Claude був у аутсайдерах.

Сам Карпаті каже, що не завжди повністю погоджується з цими оцінками. Його людське враження таке:

• GPT-5.1 інколи занадто балакучий;
• Gemini 3.0 — стриманіший і часто більш чіткий;
• Claude — максимально лаконічний, інколи навіть занадто.

Іншими словами, моделі оцінюють одна одну через власну призму, і ця призма може відрізнятися від людської. Це й робить експеримент цікавим.

Після публікації проєкту керівник Varick AI Agents написав, що створював свою внутрішню систему оцінювання, і результати були аналогічні. Більше того, коли моделі знали, що відповідь належить GPT, вони одразу починали виправляти себе.

Тобто на поведінку ШІ впливає й бренд моделі, навіть якщо він існує лише всередині системи.

Що всередині проєкту

Карпаті не робив із LLM Council складний продукт, швидше демонстраційний прототип. На бекенді використано FastAPI з async httpx, на фронтенді — React разом із Vite. Рендеринг відповідей реалізовано через react-markdown, а всі розмови зберігаються у вигляді JSON-файлів у директорії data/conversations/. Взаємодія з мовними моделями відбувається через OpenRouter API.

Щоб запустити проєкт локально, достатньо додати власний OPENROUTER_API_KEY. Детальна інструкція є в README репозиторію.