Як ми створили для B2B-продукту «розумного» асистента на базі ChatGPT

Привіт! Я Марк — Product Engineer у компанії YouScan. Нещодавно ми з Data Science командою розробили copilot на основі GPT. Сьогодні я хочу поділитися нашим досвідом і розповісти, як ми інтегрували GPT в існуючий продукт.

Сподіваюся, моя розповідь стане корисною тим, хто теж має на меті розширити можливості свого продукту за допомогою стороннього штучного інтелекту (ШІ).

Вступ про те, хто ми такі

На платформі YouScan бізнеси можуть вивчати думки споживачів, знаходити важливі інсайти та управляти своєю репутацією. Для цього ми збираємо та аналізуємо дані з соцмереж, сайтів новин, форумів і насправді майже з усіх джерел інформації, тому історично так склалося, що в нашій компанії є досить велика експертиза роботи з ШІ.

До наших in-house рішень входять такі напрацювання в цій сфері: За темою: «Як моніторинг соцмереж допомагає протистояти агресору»

• аналіз тексту,
• виділення тональності,
• розпізнавання логотипів на фото,
• ocr,
• аудіоаналіз,
• виділення та групування аспектів та тематик повідомлень,
• і ще багато іншого.

Тому, щойно в публічному просторі з’явилися згадки про ChatGPT, ми одразу зрозуміли, що хочемо мати це у власному продукті.

Навіщо це взагалі потрібно

1. По-перше, в нашому випадку клієнтам дуже часто доводиться працювати з величезними масивами даних — це можуть бути десятки тисяч згадувань, а можуть бути й мільйони.

Очевидно, що ефективно обробляти такі масиви вручну майже неможливо, тому в нас вже існує багато механізмів фільтрації, розподілення та автоматизації процесу обробки для клієнтів.

Але це не «безоплатно», частина даних в такому випадку пропадає з поля зору, а це вже проблема. Та сама проблема, яку GPT-модель може вирішити дуже добре.

2. По-друге, conversation-like інтерфейс взаємодії дуже зрозумілий будь-якій людині, тому що не потрібно знати, де які дані знаходяться, як їх обробляти, звідки витягувати дайджести, як шукати інсайти і тому подібне.

Достатньо просто поставити питання і отримати чітку відповідь з прикладами та всім необхідним для формування кінцевого звіту.

3. По-третє, при використанні такого типу ШІ, користувацький feedback-loop стає на декілька порядків коротший. Це, наприклад, дає безумовну перевагу у швидкості і якості реагування на зміни в даних, дає можливість бачити лише необхідні інсайти, швидко валідувати ідеї тощо.

І це лише частина переваг такого підходу до обробки даних.

4. Останнє в цьому списку, але не останнє по цінності, — конкурентна перевага на ринку. З точки зору маркетингу, автоматизація майже будь-яких процесів за допомогою GPT чи подібних моделей — це як знайти золото, коли шукаєш мідь.

Зараз це дуже хайпова тема, особливо для B2B, де такі речі інтегруються повільніше, і було б неправильно відмовлятися від можливості бути on the top of the game, особливо коли запропоновані зміни в wokflow клієнтів мають реальну цінність (1-3 пункти).

Як ми починали співпрацю з ChatGPT

Наш journey почався під час внутрішнього хакатону, який був якраз присвячений новим ідеям використання GPT моделі в продукті.

Одна з команд за декілька днів створила перший прототип, який працював дуже примітивно, але при цьому давав непоганий wow-ефект. Головною технічною ідеєю було написати відносно універсальний prompt для GPT в який входили семпльовані дані, фільтри, дати і деяка метаінформація, а після цього додавалося питання, що користувач вписував у простий інпут на UI.

Такий підхід працював досить непогано як на простих питаннях, так і на комплексніших, тому для першої ітерації розробки в продукті цього рішення було достатньо, але все ж таки не без проблем, про це згодом.

З якими проблемами довелося зіткнутися

З технічної сторони ми мали 3 контексти — Data Science, Back End та Front End. Безпосередньо інтеграція GPT виглядає як підключення стороннього сервісу через API. На перший погляд, може здатись що Data Science команда тут непотрібна, оскільки робити запити на GPT API можна безпосередньо з Back End’у чи навіть Front End’у.

Однак в нашому випадку, обробка мільйонів реал-тайм даних вимагала побудови додаткової системи, яка змогла б ефективно обробляти дані, виходячи з поточних обмежень API.

В першу чергу мова йде про контекстне вікно GPT-моделі — скільки токенів (для простоти розуміння — слів) модель може обробити за один раз. У різних моделей це число (max tokens) різне і воно включає кількість токенів на запит і відповідь. Відповідно якщо у вас довгий запит, це означає що залишається мало токенів на відповідь, — і навпаки.

Ми намагались знайти тут баланс, маючи великий запит, який включає самі пости з різних соціальних мереж, питання користувача до цих постів, та наші додаткові інструкції. Зрозуміло, що відправляти великі масиви даних за один запит неможливо, тому ми реалізували паралельну обробку батчів та агрегацію результатів.

Врешті ми створили рішення, подібне до популярної бібліотеки LlamaIndex, яке дозволяє швидко та ефективно обробляти повідомлення з соціальних мереж за допомогою GPT.

Вже під час перших тестів ми виявили багато «цікавих» нюансів роботи GPT API: це і різного роду ліміти на кількість запитів, і нестабільність роботи самого API, яке може інколи вертати помилку, що воно просто перевантажене.

Щоб зменшити тут ризики ми вирішили використовувати одразу два провайдери: оригінальне OpenAI API та Azure OpenAI Service. Кожне має свої переваги та недоліки, хоч і обидва API дають доступ до одних і тих самих моделей.

Зі сторони продукту також виникло багато питань, які вирішити було не так вже й просто. Гарний митець вміло і непомітно краде в інших митців, а гарний продуктовий дизайнер «надихається» прикладами з інших продуктів. Так ось, прикладів з інших продуктів на ринку зараз не дуже багато, а ті що є часто мають свої специфічні проблеми.

Однією з таких проблем є не завжди зрозумілі патерни для користувачів і, звичайно, ми хотіли цього уникнути. Для цього ми розробили концепт copilot’у, який візуально схожий на Bing та чат від OpenAI, але при цьому має розширений інтерфейс взаємодії і дозволяє не тільки писати власні запитання, а й отримувати відповіді на запропоновані системою питання, що формуються в залежності від обраних даних.

Тобто якщо ви хочете дізнатися більше лише про негативний досвід, що пов’язаний з вашим продуктом, чи про що пишуть інфлюєнсери, то для цього є спеціальний блок в інтерфейсі, який динамічно підбирає як питання, так і більш сфокусований датасет. Це дозволяє отримувати найточніші інсайти і під час тестування — різниця стала помітною моментально.

Також однією з проблем було сприйняття штучного інтелекту пересічним користувачем. Вже 20+ років «розумні» помічники існують в різних інтерфейсах в тому чи іншому вигляді. Наприклад, можна згадати скріпку Clippy, що з’явилася в Microsoft Word на початку 2000-х.

При цьому всі ці 20 років ці асистенти позиціонувались як штучний інтелект чи, принаймні, щось мегарозумне, хоча часто це просто був прокачаний FAQ з макросами. Це призвело до того, що в багатьох продуктах приставка AI вже стала нормою і не викликає цікавості у користувачів, хоча часто «AI-фічі» не мають відношення до штучного інтелекту зовсім.

Тому зараз, коли штучний інтелект вже дійсно сильно змінює workflow і надає реальні можливості, яких раніше не було взагалі, важливо створювати правильні очікування і одразу комунікувати, що це дійсно щось нове і по-справжньому розумне. Нашим рішенням тут було відійти від створення допоміжного інструменту і натомість створити самостійний підпродукт для автоматизації та аналізу, який буде робити все сам, а вам просто потрібно сказати, що робити.

Звідси з’явилося багато напрацювань та ідей — деякі з них вже в продукті, а деякі з’являться в наступних ітераціях. А також і назва Copilot, бо на ранніх етапах розробки ми по інерції все ще називали це AI Assistant.

Реакція користувачів

Ми очікували, що подібна технологія викличе цікавість у людей, але не знали, наскільки великим буде ажіотаж. Поширення інформації про Insights Copilot набула неочікувано великої швидкості, як для B2B-стандартів. Insights Copilot потрапив у топ 10 продуктів дня на Product Hunt.

Також за перший тиждень після релізу про нас десятки разів написали статті та згадали під час профільного вебінару. Реальні ж користувачі почали писати нам із захопленням і розповідали про свій вдалий досвід користування, що рідкість, як ми всі розуміємо.

Аналітика також показала, що це один з найуспішніших запусків нової функціональності, з-поміж тих, які ми робили. Наразі Insights Copilot доступний всім клієнтам з єдиним обмеженням в 50 запитів будь-якого розміру і якості на місяць, але ми пропонуємо add-on, який знімає будь-які ліміти, і вже маємо клієнтів, які його придбали майже одразу після релізу.

Висновки

Сподіваюсь, наш досвід запуску GPT-based функціональності був вам корисним чи принаймні цікавим. Ми вже готуємося до наступних кроків з цим проєктом і можливо розповімо про їх результати згодом.

Наостанок скажу, що це був один з найцікавіших і найрезультативніших проєктів в моєму особистому досвіді, і я раджу всім, навіть якщо не на роботі, а для себе, спробувати зробити щось на основі GPT API — це дійсно круто працює!

Чим більше буде таких продуктів, тим краще і простіше стане наше життя. Всім мирного неба і дякую, що прочитали :)

Якщо вам буде цікаво потестувати Insights Copilot для свого бренду, демодоступ можна отримати тут.