Як за допомогою ШІ оптимізувати відділ контролю якості в EdTech-компанії

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Відділ контролю якості є у кожній поважаючій себе та свого клієнта компанії. Найчастіше саме цей підрозділ займається оцінкою клієнтського досвіду, якості продукції чи надання послуг.

У GoITeens на один такий відділ припадає величезна кількість задач — це той випадок, коли команда з 16 людей має перевірити роботу понад 700 співробітників.

Щомісячно наш відділ перевіряє уроки, роботу LMS-систем, чати в телеграмі, комунікацію в квізботі, слухає клієнтські дзвінки, звіряє CRM, рахунки, відгуки та навіть повернення коштів — простіше сказати, що ми не перевіряємо.

Щомісяця ми надсилаємо співробітникам оцінку їхньої діяльності, розгорнутий фідбек, рекомендації. Щомісяця допомагаємо змінювати бізнес-процеси та прописуємо нові рекомендації. Тімлідам та керівникам передаємо похвали, рекомендації на звільнення, redflags, проводимо калібрування за апеляціями та вислуховуємо від співробітників, що після оцінки їм потрібні психологи.

Як же найменший відділ дає раду з усім цим? У нас є один надпотужний помічник — штучний інтелект. Як завдяки йому ми оптимізували роботу відділу, розповім сьогодні.

Як влаштований процес взаємодії з ШІ

Найбільшою революцією у відділ контролю якості стало запровадження штучного інтелекту в перевірку. Це рішення прийшло до мене в момент, коли я зрозуміла, що не маю наміру нарощувати команду і хочу забути, як це тягти 500+ працівників та переживати, чи є в умовного Петра настрій бути на роботі.

Це рішення налякало усіх в команді, адже усі боялись покладатися у важливих операційних-процесах на машину. Виникали побоювання на кшталт: а раптом воно не перевірить правильно, не почує, не побачить і ми не передамо оцінку? Викладачі ж нас з’їдять.

Проте ми усе ж наважилися і зараз працюємо з Рінгостатом та маємо змогу самостійно програмувати та транскрибувати ШІ. Модель розпізнавання якісних і неякісних уроків базується на фірмовому чеклисті, який раніше використовували асесори.

Цей чеклист ми перенесли в систему штучного інтелекту, який тепер автоматично аналізує уроки за визначеними критеріями.

Перед запуском ми звіряли результати штучного інтелекту вручну, і вони повністю збігалися з нашими оцінками. Це підтвердило надійність моделі.

Роль людини в системі: співпраця асесорів та ШІ

Навчання асесорів працювати з штучним інтелектом не є складним завданням. Вони отримують таблиці з результатами від ШІ і інструкції, як оформлювати ці дані у звітах для викладачів та менеджерів.

Згодом асесор має правильно проаналізувати отриманий звіт, щоб надати викладачу правильний фідбек з перевірки уроку. Ми кожного тижня обговорюємо покращення запитів, проблемні пункти чек-листа, з якими ШІ не справляється і об’єктивність виставлених балів.

Утім, зараз найбільш складна і кропітлива робота проходить з перевіркою записів уроків. У нас велика кількість викладачів, багато різних напрямків курсів для дітей та підлітків — усе це різноманіття потрібно прописати і перевести в правильні чек-листи. Тут відповідальність досі лягає на плечі асесорів, оскільки саме вони мають розʼяснити ШІ-моделі, як коректно перевірити і заняття по софтам-скілам, де в основному йде постійне спілкування, і урок програмування ігор, який сильно відрізняється і структурою, і наповненням. На сьогодні — це найбільша частина роботи відділу контролю якості і асесорів.

Метрики ефективності

Для оцінки ефективності ШІ та роботи відділу в цілому ми використовуємо кілька метрик:

• Точність оцінок: порівняння результатів ШІ та асесорів;
• Час обробки: середній час, витрачений на перевірку;
• Кількість апеляцій: кількість помилок, виявлених у результатах ШІ;
• Задоволеність працівників: відгуки викладачів та інших працівників про якість фідбеку.

Після впровадження ШІ ми побачили значне покращення цих показників. З 75 апеляцій лише 10 були помилками ШІ, що свідчить про його високу точність.

Як оптимізація впливає на бізнес-процеси

• Зміни в організаційній структурі: Впровадження штучного інтелекту позитивно вплинуло на структуру мого відділу, адже дозволило утримувати найменшу команду, яка перевіряє найбільший обсяг матеріалу. Це значно заощаджує час і ресурси, оскільки моїм співробітникам більше не потрібно переглядати заняття — вони працюють лише з даними;
• Економія ресурсів: Крім економії часу, впровадження ШІ дозволило заощадити фінансові та людські ресурси. Завдяки автоматизації багато завдань, які раніше виконувались вручну, тепер виконуються швидше та точніше;
• Підвищення ефективності: Штучний інтелект дозволив значно підвищити якість перевірки уроків і охопити ширший спектр ознак якості надання послуг. Наприклад, зараз ШІ допомагає нам перевірити знання програми нашими викладачами, тоді як раніше це було неможливо для наших асесорів, які не є технічними спеціалістами.

Технологія ШІ цікава та багатообіцяюча, якій можна знайти застосування вже зараз, вона економить час співробітників, пришвидшує процеси роботи в рази та допомагає розвитку і покращенню всіх відділів в компанії.

Автоматизація та впровадження ШІ у відділ QC допомогли нам подолати багато викликів та значно підвищити ефективність роботи. Як найменший відділ компанії, ми демонструємо, що з правильним підходом та технологіями можна досягати великих успіхів.