Вимір якості української мови у сучасних LLM

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Сучасні LLM найчастіше використовуються для генерації тексту — або як чат-боти, або для підготовки документів тощо. Ще рік-два тому тексти українською дивували — це виглядало як не дуже грамотна спроба написати текст англійською, а потім автоматично перекласти, тому що насправді так і було. LLM, що навчена на сучасних датасетах, переважно «думає» англійською, а потім перекладає на мову користувача. Зараз якість розуміння та рівень володіння українською у LLM значно покращився, але все ж оскільки в більшості датасетів частка українських даних недостатня, постає питання — наскільки вільно модель володіє мовою та чи можливо це виміряти?

Майже всі бенчмарки для моделей вимірюють когнітивні здібності: знання фактів, логіку, математичні міркування. А ось володіння мовою оцінюється дуже поверхово.

Три причини вимірювати нативність:

1. Культурна ідентичність. Мова — не лише інструмент комунікації. Кличний відмінок («Друже!», «Пане Сергію!»), частки («ж», «бо», «адже», «невже») — це маркери української ментальності. Модель, яка їх не використовує, генерує переклад, а не українську мову.
2. Практична якість. Тексти з кальками (русизмами або англіцизмами) сприймаються носіями як «штучні», «канцелярські», «совкові». Для контенту, чат-ботів, освітніх матеріалів — це критична різниця між «працює» і «працює добре».
3. Збереження мови. LLM стають основним джерелом тексту для мільйонів людей. Якщо моделі масово генерують суржик — вони активно забруднюють мовний простір. Вимірювання — перший крок до покращення.

Джерела даних

UkrQualBench побудований на відкритих, верифікованих корпусах:

Що саме вимірюється та як

Бенчмарк складається з трьох частин.

Блок А — це набір завдань з датасетів, які мають еталонні відповіді. Модель у тесті отримує питання, де потрібно або обрати один варіант з декількох, або виправити помилку у тексті, або перекласти текст з іншої мови на українську. Крім того, є дещо провокаційний тест — модель отримує фразу з твору української класики, яку правити не потрібно, а якщо правка буде, то це False Positive.

Блок V складається з автоматичних перевірок — модель отримує декілька запитів на генерацію тексту, в якому перевіряється наявність кальок (русизмів або англіцизмів), як лексичних, так й синтаксичних, використання специфічно українських елементів (кличний відмінок або частки «ж», "бо","адже«, «невже», «хіба») та обчислюється якість токенізації, тобто кількість токенів на слово.

Ці блоки реалізувати не дуже складно, тому що є еталонна відповідь (щоправда, наявність кальок перевіряє окрема LLM). Очевидно такої відповіді не існує для завдань на генерацію тексту. Саме тому таки завдання винесено в парні порівняння, що виглядають як турнир.

Модель отримує промпт («Поясни теорію відносності», «Напиши лист подяки», «Дай пораду щодо вибору ноутбука») та генерує відповідь. Потім LLM-суддя порівнює відповіді двох моделей і обирає кращу за мовною якістю.

Турнір проводиться за швейцарською системою із ELO-рейтингом:

• Базовий рейтинг: 1500
• K-фактор: 32
• Кількість раундів: залежить від кількості моделей, але зазвичай 3-5 раундів цілком достатньо.

Калібрування суддів

Зрозуміло, що для адекватної оцінки відповідей модель-суддя сама має бути однією з найкращих з володіння мовою. Перед проведенням турнірів кожен суддя калібрується на референсному наборі тестів. Перевіряється як його власна грамотність, так й можливі упередження — чи не віддає він перевагу якомусь місцю (тобто обирає правильним тільки перший варіант з запропонованих), або більш розлогим відповідям. Модель може також віддавати перевагу власному стилю, що буде притаманним всім моделям компанії, або деяким з них. Останнє можна побороти використанням або журі з декількох суддів, або проводити декілька турнірів, обираючи різних суддів.

У представлених результатах використано два судді:

• GPT-5.2
• Gemini 3.0 Flash

Результати (січень 2026)

Лідерборд ELO (парні порівняння):

Блок А

Блок V (автоматичні метрики)

Ключові висновки

1. Рейтинг та чистота мови — не одне й те саме.

GPT-5.2 лідирує за ELO (1726), але має 6.0 кальок на 1000 токенів — один із найгірших показників. Claude Opus 4.5 — єдина модель із нульовим показником русизмів, при цьому лише на 4 пункти ELO відстає від лідера.

2. «Жива» мова vs «правильна» мова.

Claude Opus 4.5 має лише 6.0 маркерів, але нуль кальок — це «правильна», але більш формальна мова. Більш розмовна Gemini 3.0 Flash вдвічі частіше використовує маркерні вирази, але дещо програє в порівнянні.

3. Open-source конкурентоспроможний.

MamayLM на базі Gemma-3-12B (6-те місце, срібло) випереджає Claude Haiku 4.5 та Gemma-3-27B. Ця модель непогано впорається й з формальними тестами. Між іншим, також тримається інша модель, яка допрацьована українськими розробниками — Lapa від le-llm. Обидві моделі використовують модифікований токенізатор. Було б цікаво побачити результат запровадження розробок на базі більших моделей.

Практичні рекомендації

Взагалі цей тест виник виключно з практичного питання — на яку модель покластися в складанні текстів українською? Ось на завершення три відповіді.

Бенчмарк опубліковано на Github, якщо є питання — пишіть.