Як створювався RUKOPYS — перший відкритий датасет українського рукописного тексту. Частина 1

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Мене звати Дмитро. Я працюю на перетині штучного інтелекту, машинного навчання та цифрової трансформації держави — як CTO, AI/ML-інженер і консультант з AI-проєктів. За останні роки мені довелося брати участь у багатьох ініціативах — від комерційних продуктів до державних програм, спрямованих на розвиток сучасних технологій в Україні.

Сьогодні ми багато говоримо про великі мовні моделі та цифровізацію. Я хочу розповісти про проєкт, що поєднав обидва напрями — перший відкритий датасет українського рукописного тексту RUKOPYS. Це історія про архівну спадщину, українську мову та складний шлях перетворення рукописних документів на ресурс, з яким можуть працювати сучасні AI-системи. Вона буде цікавою ML-інженерам, data scientists, дослідникам, студентам технічних спеціальностей, а також усім, хто вболіває за розвиток українських інновацій.

Ми презентували RUKOPYS у квітні цього року. Він охоплює понад століття письма: від архівних документів 1920-х років до сучасних учнівських зошитів.

Українська сьогодні є однією з найпоширеніших слов’янських мов, однак досі не мала відкритого датасету для розпізнавання рукописного тексту. Саме тому цей датасет має не лише технологічну, а й важливу соціальну цінність. Він допоможе OCR/HTR моделям краще розуміти українську мову, а отже — сприятиме її ширшій присутності у глобальному цифровому просторі.

Водночас для України це важливий фундамент для розвитку власних AI-рішень. Адже саме RUKOPYS став основою AI-челенджу Handwritten to Data, у межах якого учасники створюватимуть open-source моделі для розпізнавання документів, кращі з яких отримають можливість пілотуватися, зокрема, у державних сервісах.

RUKOPYS dataset: посилання

Все почалось з «єДозвіл»

Я очолюю напрям AI/ML у національній освітній платформі «Мрія» та є радником з питань штучного інтелекту в Міністерстві економіки України. Саме в межах роботи Міністерства виник проєкт, який згодом став відправною точкою для створення датасету RUKOPYS і самого змагання Handwritten to Data.

Йдеться про проєкт «єДозвіл» — систему, що автоматизує видачу дозволів на ведення підприємницької діяльності в Україні. Раніше для отримання таких дозволів людям доводилося готувати пакети паперових документів і сканів та нести їх до відповідної державної установи. Із запуском «єДозволу» цей процес перетворився на цифровий сервіс у межах порталу «Дія». Тепер користувачеві не потрібно фізично подавати заяву — це можна зробити онлайн через портал. Якщо ж, наприклад, диплом ще не внесено до електронних реєстрів, достатньо просто завантажити його фото або скан.

Щоб пришвидшити роботу системи та зменшити навантаження на бек-офіс «єДозволу», ми створили AI-систему, яка виконує роль попереднього валідатора. Вона аналізує скани заявок і документів, підтягує доступні дані з державних реєстрів і комплексно перевіряє всю інформацію. Оскільки система працює з великою кількістю персональних даних, ми будували її на відкритих моделях у власному фізичному контурі.

Одним із головних викликів, з якими ми зіткнулися, стала якість розпізнавання документів. По-перше, ми мали справу далеко не завжди з якісними зображеннями. По-друге — з надзвичайно широким спектром документів різної структури й років , у тому числі й таких, де частина тексту написана від руки або ж документ повністю є рукописним. Відповідно, існуючі відкриті моделі (у тому числі vision language models), які сьогодні можна локально розгорнути на сервері чи персональному комп’ютері, дають доволі невисоку точність на таких прикладах.

Звісно, сучасні state-of-the-art моделі на кшталт GPT, Gemini чи Claude Opus демонструють значно кращі результати. Однак через роботу з персональними даними ми не могли використовувати їх у цьому кейсі.

Тоді ми почали досліджувати питання: якщо модель має працювати локально, як підвищити її якість до такого рівня, щоб вона справді ефективно виконувала поставлені завдання? Найочевиднішим рішенням було навчання або донавчання моделей на власних даних. Проте проблема полягала в тому, що тренування на заявах, поданих у «єДозвіл», є неможливим, з огляду на наявність у кожному документі вже зазначених раніше персональних даних. А у відкритому доступі фактично не існувало датасетів, які добре покривали б подібні сценарії.

Одним із варіантів було використання синтетичних даних. Але цей підхід має суттєве обмеження: він недостатньо гнучкий, а моделі, навчені переважно на синтетиці, часто погано генералізуються на реальні сценарії. Саме тоді ми й почали шукати справжні, «живі» дані, які дозволили б навчити модель працювати в умовах реального світу.

Швидко стало зрозуміло, що масштаб задачі виходить далеко за межі однієї державної установи. Для повноцінної реалізації проєкту потрібно було ширше коло партнерів: академічна інституція, яка зможе виступити видавцем датасету, технологічний партнер для побудови інфраструктури та експертна команда для якісної анотації. Так, до ініціативи долучилися Український католицький університет (УКУ), AI House, а також команда Keymakr, про роль якої я ще розповім далі.

Джерела RUKOPYS: від історичних архівів до сучасних диктантів

Держархів

Історія пошуку даних почалася зі співпраці з Держархівом та його проєктом «Україна в кольорі», у межах якого відбувається цифровізація культурної спадщини на основі архівних фондів. До цієї взаємодії також долучилося Міністерство цифрової трансформації України.

До речі, разом із Мінцифри ми також беремо участь у комітеті з розробки української LLM-моделі «Сяйво». Робота над нею триває ще з осені минулого року, і навколо цього проєкту є чимало викликів. Один із головних — дані.

Проблема полягає в тому, що обсяг українськомовних даних в інтернеті досі залишається доволі обмеженим. І йдеться не лише про рукописний текст, а й про українські тексти загалом. Сьогодні неможливо просто взяти модель масштабу GPT і навчити її виключно українською мовою, адже доступний корпус даних буде в сотні разів меншим за той, на якому тренуються глобальні флагманські моделі.

У державних архівах зберігається величезний масив ще неоцифрованих матеріалів, які мають потенційну цінність не лише для задач структурування культурної спадщини, а й для створення нових українських датасетів. В тому числі частину архівів можна використати як джерело даних для навчання українських мовних моделей, зокрема «Сяйва».

У результаті нам передали першу партію архівних матеріалів із фондів, спеціально відібраних для проєкту RUKOPYS. Окрім цього, Держархів також передав близько 10 терабайтів архівних даних для розробки «Сяйва». Ми також отримали доступ до цих матеріалів. Саме це стало першим великим джерелом даних для створення нашого датасету.

Столітня історія

Документи, які нам передала Державна архівна служба України, були створені понад сто років тому. І вибір саме цього історичного періоду був зовсім не випадковим.

Найбільший масив україномовного контенту в архівах, як не дивно, зосереджений саме у 1920-х роках. Це пояснюється одразу кількома історичними чинниками. По-перше, йдеться про період Української Народної Республіки. По-друге — про час НЕПу, коли тиск на українську мову та культуру ще не набув тих масштабів, які почалися вже приблизно з 1926–1927 років. Саме тому значна частина офіційних документів того часу велася українською мовою.

Для нас це стало перевагою ще й з юридичної точки зору. Оскільки термін дії авторського права на ці документи вже сплив. Це дозволило нам вільно використовувати їх для дослідницьких задач і, зокрема, відкрито опублікувати датасет — що ми зрештою і зробили.

Школи

Окрім архівних матеріалів, у нас є ще один надзвичайно цікавий напрям — шкільні домашні роботи, які нам надали два партнерські навчальні заклади. Йдеться про домашні завдання з практично всіх предметів української шкільної програми.

Це фотографії учнівських зошитів, які ми попередньо анонімізували, очистили й обробили. З матеріалів видалилася вся інформація, що не стосується української мови, наприклад, фрагменти з іноземних мов чи інші нерелевантні елементи.

Університети

Ще одним важливим джерелом даних для RUKOPYS стали студентські роботи. Київська школа економіки та Державний торговельно-економічний університет надали нам екзаменаційні роботи, а також частину домашніх завдань і тестів, які студенти виконували від руки.

До речі, під час пошуку матеріалів від університетів ми зіткнулися з певними викликами. Не секрет, що у школах рукописні домашні завдання залишаються нормою — дітей навчають писати вручну, і це важлива частина освітнього процесу. В університетах ситуація зовсім інша. Особливо це стосується технічних спеціальностей, де комп’ютери є базовим інструментом навчання. Відповідно, кількість рукописних робіт там значно менша.

Саме тому нам довелося витратити чимало часу на пошук університетів і напрямів, де рукописні матеріали все ще зберігаються у достатньому обсязі. По суті, це своєрідна «друга ітерація» шкільних робіт — але вже на значно складнішому рівні. Формули тут набагато комплексніші, структура сторінок — менш передбачувана, а самі документи значно важчі для обробки.

Національні диктанти

Окремим і дуже цінним напрямом для формування RUKOPYS стали тексти Всеукраїнського радіодиктанту національної єдності — того самого щорічного диктанту, який пишуть люди по всій Україні та далеко за її межами.

Ми домовилися із Суспільним Мовленням, яке є власником і організатором цього формату, про передачу фотографій робіт учасників. Загалом таких диктантів було 26, адже сам проєкт існує ще з 2000 року.

RUKOPYS dataset: посилання

Щоправда, сьогодні ми маємо доступ лише до робіт за окремі періоди, оскільки зразки далеко не за всі роки мають цифрові версії. Фактично йдеться про обмежену кількість «канонічних» текстів. Але водночас кожен із них існує у величезній кількості варіацій: люди пишуть на різних типах паперу, різними почерками, по-різному структурують текст, роблять помилки, скорочення чи виправлення. І саме це різноманіття стало для нас надзвичайно цінним.

Куди далі: нові партнери

Якщо говорити про інших партнерів, яким наш проєкт став би у великій нагоді, то зараз ми на етапі перемовин щодо співпраці з Міністерством охорони здоров’я України. У медичній сфері досі існує величезний масив документів, написаних від руки: довідки, записи лікарів, клінічні нотатки, документація з госпіталів і медичних установ. Усе це потенційно може бути оцифроване. На наш погляд, такий напрям міг би стати важливим як для розвитку мовних моделей загального призначення, так і для створення спеціалізованих AI-систем у медичному домені.

Паралельно ми працюємо над тим, щоб до цієї ініціативи долучилася і Національна поліція України. У правоохоронній сфері також залишається велика кількість документів, які досі заповнюються вручну. Найпростіший приклад — адміністративні протоколи, де значна частина інформації існує саме у вигляді рукописного тексту.

Окремий напрям, щодо якого ми теж розпочинаємо перемовини, пов’язаний із проєктом «єСУД» — однією з нових ініціатив Міністерства цифрової трансформації України, спрямованих на автоматизацію та цифровізацію української судової системи. Там зберігаються величезні архіви судових справ, частина з матеріалів яких теж повністю рукописна.

Цифровізація рукописної спадщини

Про технічну організацію та пайплайн підготовки RUKOPYS я детальніше розповім у другій частині матеріалу. Бо на практиці створення подібних датасетів — це значно складніший процес, ніж може здатися на перший погляд. Нашою задачею було побудувати систему підготовки, яка дозволила б максимально ефективно масштабувати обробку даних, не втрачаючи при цьому якості та точності розмітки.

Звичайно ж, там, де це було можливо, ми використовували LLM на кшталт Gemini для попередньої автоматичної розмітки. Але надзвичайно важливою для нас стала підтримка Keymakr, компанії, що спеціалізується на створенні data solutions для Computer Vision та ML-проєктів. Команда виконувала експертну ручну анотацію та валідацію даних для RUKOPYS, а також допомагала формалізувати правила роботи зі складними кейсами. Фактично, у процесі роботи ми спільно формували методологію інтерпретації українського рукописного тексту — так, щоб ці дані можна було використовувати під час навчання AI-моделей.

Бо якщо підсумувати, то RUKOPYS давно вийшов за межі класичного HTR/OCR. Йдеться про побудову повноцінної системи роботи з неструктурованими документами: різними типами почерку, історичними варіаціями написання, низькою якістю документів та великою кількістю неоднозначних випадків, які потребують людської інтерпретації.

Поява RUKOPYS для української AI-індустрії — це також ще один крок до цифровізації архівів і збереження культурної спадщини України. І тут важливо розуміти різницю між простим скануванням документів і справжньою цифровізацією.

Україна вже зараз є однією з країн-лідерів за темпами сканування архівних матеріалів. На порталі Державної архівної служби доступна величезна кількість документів в електронному вигляді. Проте в більшості випадків це все ще зображення документів без розпізнаного тексту. А отже — без можливості повноцінного AI-пошуку, аналізу чи роботи з цими даними на рівні сучасних цифрових сервісів.

У світі, де люди звикли до AI-інтерфейсів і можливості знаходити потрібну інформацію одним реченням, справжня цифровізація відкриває зовсім інший рівень доступу до архівів. Такі системи можуть допомогти швидше знаходити історичні документи, досліджувати власний родовід, працювати з архівними фондами або автоматизувати підготовку історичних довідок.

Саме тому ми бачимо в датасеті дуже перспективний напрям і вважаємо важливим розвиток власних AI-рішень для роботи з українськими архівами. Схожим шляхом уже пішла Швеція, де поступово формується ціла екосистема AI-продуктів для розпізнавання та транскрипції архівних текстів. І в Україні є всі можливості, щоб побудувати щось подібне й у себе.