Як ми створили інструмент для постачальників державних закупівель на основі AI

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Тендерна документація — це серйозна справа, але хто сказав, що її перевірка має бути складною? Все стає набагато простішим, якщо за роботу беруться сучасні технології. Як керівник напряму розробки майданчика для проведення електронних тендерів SmartTender.biz розповім, як створювався SmartCheck AI — інструмент на основі штучного інтелекту, що автоматизує опрацювання вимог держзамовників.

А також покажу, що відбувалося за лаштунками проєкту:

• над чим працював безпосередньо я, а також моя команда;
• з яких етапів складався процес розробки;
• які завдання перед нами стояли, та чому ми так «горіли» цим проєктом;
• які технології стали основою цього розумного інструмента;
• з якими викликами зіштовхнулися та як їх подолали;
• хто допомагав нам навчати штучний інтелект.

А також якого результату вдалося досягти. Забігаючи наперед, скажу: інструмент вже працює та допомагає учасникам закупівель Prozorro готувати якісні пропозиції.

Для довідки

Prozorro — система публічних закупівель, де бюджетні установи (школи, лікарні, міські ради тощо) закуповують товари та послуги у постачальників (тобто бізнесу — ФОПів та компанії різних масштабів і галузей).

Інакше кажучи, замовники оголошують тендери, а представники бізнесу беруть в них участь та надають свої пропозиції. Переможця система обирає автоматично — ним стає той, хто вказав найнижчу ціну (чия пропозиція була найвигіднішою).

Держустанови зобов’язані проводити закупівлі через Prozorro, щоб заощадити ресурси на придбанні необхідних товарів/послуг, забезпечити прозорість витрат бюджету та громадський контроль за коштами.

Мета проєкту

Щоб взяти участь у тендері (подати свою пропозицію), постачальник має відповідати вимогам щодо якості та досвіду, які визначає замовник. Ці вимоги прописуються в тендерній документації. Зазвичай її опрацювання займає кілька годин.

Тож головною метою було максимально спростити для постачальників підготовку до участі та розробити рішення, яке:

• автоматизує аналіз тендерної документації;
• за лічені хвилини формує перелік вимог державних замовників;
• допомагає покроково додати всі підтверджуючі документи;
• маркує вимоги як виконані;
• зберігає файли в хмарі, щоб забезпечити до них доступ із будь-якого місця та пристрою.

Отже, можна подавати пропозиції, не прив’язуючись до робочого комп’ютера.

Робота над проєктом

Спочатку потрібно було перевірити, наскільки ефективно великі мовні моделі (LLM) можуть справлятися з аналізом тендерної документації порівняно з постачальниками, які є новачками у цій сфері.

Тому важливою метою стала автоматизація роботи з тендерною документацією: виявлення й категоризацію вимог, а також створення зручного чекліста з вимог для користувачів.

Тривалість проєкту склала 6 місяців. Команда: 3 інженери машинного навчання, юристи, провідні експерти в галузі закупівель Prozorro. Завдяки попередньому досвіду у машинному навчанні та розробці мовних моделей робота розпочалася швидко.

Проєкт поділили на кілька етапів:

1. Формування ідеї та чітких вимог до продукту.
2. Дослідження ринку.
3. Вивчення мовних моделей.
4. Розробка дизайну.
5. Навчання штучного інтелекту разом з юристами.
6. Альфа-тестування з експертами ринку.
7. Бета-тестування з користувачами та донавчання моделі.

Дизайн проєкту був удосконалений вже після тестування, зокрема, поліпшено UX з урахуванням зворотного зв’язку та коментарів від користувачів, які брали участь у тестуванні.

Одним із ключових завдань стало розширення функціональності інструменту, а саме — додати можливість відображення, де саме в тендерній документації знаходиться текст, що відповідає кожній вимозі.

Роль мовних моделей в створенні інструменту

Мовні моделі стали основною технологією під час розробки SmartCheck AI, тому для аналізу тендерної документації використовувався «Конструктор великих мовних моделей» (LLM).

Цей інструмент дозволяє користувачам створювати різноманітні асистенти, вказуючи лише бажану мовну модель LLM. Він підтримує найбільш поширені типи мовних моделей, серед яких:

• GPT;
• Gemini;
• Lama.

У чому допоміг конструктор мовних моделей? Він забезпечив можливість швидко змінювати модель для аналізу, обираючи її зі списку, без необхідності внесення додаткових змін. Така функція особливо актуальна в умовах постійних удосконалень базових LLM-моделей. Оскільки мовні моделі розвиваються дуже швидко, то з’являються нові, більш досконалі варіанти.

При створенні нашого інструменту наявність такого функціонала в конструкторі LLM дозволила з мінімальними витратами проводити власні порівняння моделей і вибирати ту, яка найкраще підходить для вирішення конкретного завдання.

Під час розробки інструмента кілька разів змінювалися лідери серед моделей LLM й з’являлися нові. Проте всі ці зміни швидко і легко реалізовувалися. В майбутньому, при появі нових моделей, можна буде без проблем переходити на їх використання.

Практичний результат застосування мовних моделей

Під час оцінки ефективності LLM-моделей порівнювалися як результати їхньої роботи між собою, так і результати аналізу юридичної документації, проведеного людиною. З впевненістю можу стверджувати, що наша команда досягла найкращих показників точності аналізу юридичної документації з використанням LLM-моделей.

Оцінюючи швидкість аналізу тендерної документації, варто зазначити, що час отримання відповіді залежить від обсягу вхідного тексту.

У нашому випадку середня тривалість аналізу — близько 3 хвилин. Тоді як аналіз юридичної документації, проведений спеціалістом, триває від 1 до 3 годин.

Ми виділили такі ключові показники для оцінки ефективності вибору відповідної моделі:

• точність;
• повнота відповіді;
• стабільність наданої відповіді;
• швидкість отримання результату;
• вартість отримання відповіді.

У контексті юридичних текстів важливими показниками є саме точність, а також повнота відповіді (ступінь відповідності тексту, згенерованого LLM-моделлю, до тексту вхідного юридичного тексту).

При аналізі юридичної документації за допомогою LLM-моделей поняття «точність» виходить за рамки простого математичного визначення відсотка знайдених вимог. Таким чином, точність і повнота відповіді разом створюють комплексний показник, який визначає якість роботи LLM моделі.

Критерії оцінки ефективності роботи мовної моделі під час розробки

Як базовий орієнтир використовувалась кількість і зміст вимог до тендерної документації, сформованих спеціалістами з її підготовки. А для оцінки якості відповідей LLM-моделей було задіяно провідних експертів ринку з підготовки тендерної документації та юристів.

Щороку великі мовні моделі стають розумнішими, стабільнішими та швидшими, що дозволяє суттєво підвищити їх продуктивність і знизити вартість використання. Наприклад, моделі GPT-4 та Google Gemini демонструють значне підвищення швидкості генерації відповідей, що, згідно з останніми дослідженнями, не лише покращує їх ефективність, але й робить їх більш доступними для широкого застосування.

У контексті аналізу юридичної документації ключовою характеристикою є максимальний обсяг відповіді, яку може згенерувати LLM-модель, що впливає на якість і повноту аналізу.

Загальна характеристика найбільш поширених моделей наведена в таблиці:

Для розробки нашого інструменту реалізовувалися заходи для підвищення надійності, зокрема можливість запуску з персоналізованими налаштуваннями.

У майбутньому варто очікувати, що моделі стануть ще швидшими та стабільнішими завдяки вдосконаленню алгоритмів, оптимізації обчислень та використанню спеціалізованих архітектур, як-от Mixture of Experts (MoE). Це сприятиме ширшому використанню LLM у різних галузях від медицини до фінансів.

Що було створено: функціональні можливості нового інструмента

Вже можу поділитися результатами, яких досягла наша команда. Завдяки впровадженому функціоналу постачальники змогли значно підвищити конверсію опрацьованих закупівель, що призвело до збільшення участі у тендерних процедурах.

Інструмент допомагає користувачам перевіряти правильність підготовлених документів перед подачею пропозиції, мінімізуючи ризик помилок, пов’язаних із людським фактором.

Для порівняння: якщо людина витрачає в середньому 2 години на аналіз одного тендеру, то за 8-годинний робочий день вона може обробити лише 4 тендери. Штучний інтелект здатен проаналізувати 96 тендерів за той же час. Щоб обробити таку ж кількість тендерів, людині знадобиться 24 робочих дні.

Також впровадження SmartCheck AI вже дозволило знизити ризик дискваліфікації учасників із 23,81% до 3%.

Як відбувається аналіз вимог замовника

Процес роботи з інструментом відбувається так:

1. Зареєстровані на майданчику SmartTender постачальники запускають функціонал через кнопку «SmartCheck AI».
2. Після натискання кнопки «Аналізувати документи» розпочинається аналіз тендерної документації замовника і пошук вимог для постачальника.
3. Інструмент формує вимоги, до кожної з яких учасник покроково додає підтверджуючі документи, що будуть зберігатися в хмарі.
4. Опрацьовану вимогу постачальник може позначити як виконану за допомогою чекбокса.
5. На сторінці подачі пропозиції при додаванні документів до тендеру та/або лота учасник натискає «Обрати з «SmartCheck AI», після чого відображається повний перелік з усіма попередньо завантаженими до хмари документами. Він обирає з цього переліку потрібні файли для участі в закупівлі.

Хоча SmartCheck AI не замінює людину, він стає корисним помічником, особливо коли немає можливості залучити до підготовки тендерної документації спеціаліста, наприклад, юриста. Якщо ж ним користується новачок у публічних закупівлях, інструмент спрощує адаптацію у цій галузі.

Для досвідчених користувачів такий функціонал теж полегшує роботу, адже дозволяє швидко сформувати перелік вимог, а аналіз вимог замовника займає до 5 хв.

Підсумовуючи, можу сказати, що нашій команді вдалося створити інструмент, який зменшує ручну працю, прискорює роботу з підготовки тендерної документації, знижує ризик пропустити вимоги замовника та збільшує конверсію участі в закупівлях і, відповідно, можливу кількість перемог.