Модерація без рутини та зайвих витрат: як AI допомагає автоматизувати перевірку контенту на 70%

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт. Мене звати Юля, і я вже чотири роки керую відділом Customer Success в appflame. Займаюся розбудовою процесів взаємодії з користувачами та модерації контенту.

Зараз ми спостерігаємо за тим, як технології штучного інтелекту стрімко розвиваються, оптимізуючи рутинні процеси у бізнесах. Доступи до таких програм як ChatGPT та Midjourney стають не лише щоденними помічниками, а й об’єктами суперечок для професіоналів у різних сферах. Дуальність світу в дії.

У цьому матеріалі я, звертаючись до конкретних кейсів та наших продуктів, розповім про шлях від повністю ручної перевірки контенту до автоматичної. А також про те, що це нам принесло в результаті.

Стаття стане у пригоді спеціалістам команд модерації та менеджерам продуктів, у яких користувачі генерують власний контент — як мінімум, додають фото профілю. А також всім, хто цікавиться розвитком АІ та його інтеграцією в роботу.

AI — конкурент людини чи інструмент для бізнесу

Чи може коли-небудь АІ повністю замінити людину в модерації? Час покаже, але наразі штучний інтелект не здатен на 100% закривати роботу та залучення спеціалістів. Так, штучний інтелект допомагає автоматизовувати й пришвидшити рутинні процеси, але прийняття рішень та менеджмент все ще залишається на людях.

Саме спеціалісти працюють над якістю, коректними запитами, менеджментом та процесом інтеграції AI. Люди займаються креативною та складною роботою, штучний інтелект — оптимізує виконання рутини.

Але цей інструмент дійсно ефективний: за допомогою інтеграції AI нашій команді вдалося автоматизувати модерацію 70% контенту, який створюється користувачами у застосунках. Це великі обсяги, адже застосунками користуються понад 45 мільйонів користувачів з усього світу, які щохвилини створюють контент.

Враховуючи особливість дейтингових програм, які мають певні обмеження та політики, поширення деяких даних може бути неприйнятним та порушувати умови платформ. Тому для модерації такого обсягу інформації, який часто є повторюваним, знадобилися б десятки спеціалістів.

Ми проаналізували: якщо порівнювати з ручною модерацією, то застосування AI є у 10 разів вигіднішим — саме у порівнянні з витратами на одиницю контенту.

При цьому 30% модерації все ще залишається в руках людей. В нашій практиці спеціалісти допрацьовують те, що не в змозі вирішити AI-інструмент. Як, наприклад, випадки, коли AI не до кінця впевнений, чи правильно він приймає рішення, збільшуючи відсоток помилок. В таких ситуаціях частина контенту відправляється на перевірку вручну задля того, щоб контент був правильно промодерований. Перевірка якості також залишається на спеціалістах.

Загалом відбулась зміна вектора — замість того, щоб весь контент перевіряти вручну, додатково закладаючи час на перевірку на помилки та якість, застосовується AI. Спеціалісти значно рідше долучаються до перевірки контенту вручну — за винятком критичних та контроверсійних кейсів.

Весь контент, що несе негативний контекст, також обробляться AI. У цьому випадку AI стає певною стіною, яка відокремлює ненормативний контент, допомагаючи захистити ментальне здоров’я користувачів і модераторів, які використовують продукти та платформи компанії.

Оптимізація модерації контенту на 70% — критерії та правила

На старті, коли наша команда сапорту була досить невелика, а застосунки — маленькими, ми все перевіряли вручну. І це був дійсно класний досвід, адже така ретельна перевірка допомагала краще зрозуміти користувачів та навчитись працювати з нетиповими ситуаціями.

Коли продукти почали активно рости й контенту ставало все більше, виникло питання: «Як масштабувати процес, де кожне збільшення трафіку на модерації на тисячу одиниць вимагає додаткового найму спеціалістів?».

Виникла ситуація, коли нам потрібно було наймати велику кількість людей у короткий термін. Враховуючи занадто швидкий пошук та онбординг, результат був не дуже якісний.

Простий приклад: тестили нову локацію, і для цього набирали команду. Зіштовхнулись з тим, що локація не монетизується, її потрібно закривати. Що далі? А далі ми були вимушені скорочувати людей, з якими щойно почали співпрацювати.

Цей період був дуже важкий для мене емоційно, і я вважаю його одним із найбільших моїх факапів на цій позиції. Радію, що змогла трансформувати це в досвід та конкретні рішення: саме після цих кейсів прийшло розуміння, що потрібно хоча б якийсь відсоток автоматизувати.

І якщо продукти ростуть, наприклад, вдвічі — треба зробити так, щоб нам не потрібно було наймати вдвічі більше людей. Вирішила цю ситуацію автоматизація процесів.

Важливо пам’ятати, що AI модерує контент за певними критеріями та правилами. Зазвичай в кожній соцмережі або застосунку ці правила не дуже відрізняються. Крім регуляторів, які його перевірять — все залежить від філософії застосунку та його місії на ринку.

Якщо порівнювати наш застосунок Taimi та Grindr, то Grindr має лояльніші правила до відвертих фото. А от, наприклад, Hinge — ця апка створена для пошуку довготривалих стосунків, тому вони консервативніше підходять до модерації контенту. Тобто багато залежить саме від позиціювання продукту на ринку.

Ще один важливий момент — гео, з яким ви працюєте. Наприклад, коли ми виходили на ринок Японії, то зіштовхнулися із зовсім іншими критеріями перевірки застосунків. Потрібно було адаптувати правила саме під цю країну, було дуже багато нюансів і тонкощів. Так само в Китаї або Штатах — зовсім різні історії.

Як ми шукали свого AI-помічника

Після прийняття рішення про інтеграцію AI-інструментів та автоматизацію процесів у компанії, починається один з найвідповідальніших етапів — пошук відповідних стейкхолдерів та налагодження ефективної співпраці. Як це зробити?

Спочатку хочу відповісти на очевидне запитання: чому ми не створювали власні моделі, а вирішили працювати з партнерами. Ми автоматизували деякі флоу на своєму боці, а от для підтримки АІ в нас бракувало ресурсів. Тому ми вирішили не винаходити заново велосипед і пошукати рішення на ринку.

Застосовуйте всі можливі варіанти: сьорчинг через пошукові системи, рекомендації партнерів та колег, знайомства на тематичних конференціях, згадки у медіа.

У 2020 році ми почали пошук відповідних AI-інструментів з простого: знаходили інформацію в Google та контактували з учасниками тематичних конференцій. Головною метою було знайти AI, яке б мало прості шляхи інтеграції та відповідало вимогам дейтингового застосунку. Залишали заявки, проводили дзвінки, порівнювали можливості.

Деякі AI не закривали всі наші потреби задля виявлення невідповідного контенту, інші — мали завеликий прайс. Варто зазначити, що на той момент ринок ще не був таким насиченим і варіантів було значно менше, ніж зараз.

Один з наших випадків стався тоді, коли ми отримали пропозицію від компанії, що розробляла AI-рішення. Її представники самі знайшли нас — просто направили інформацію нашому біздеву. Компанія надала детальну інформацію щодо того, як вони можуть інтегруватись у наші процеси, інформацію щодо вартості та які прогнозуються результати.

Ми поспілкувалися і зрозуміли, що в них дуже класне рішення за оптимальний кост. Так ми налаштували перевірку контенту через API: їх модель перевіряє дані та визначає, з якою ймовірністю на цьому фото зображено, наприклад, explicit content або інший контент, що не відповідає нашим політикам.

Далі результати направляються спеціалістам, які вирішують, що робити з контентом та обліковими записами.

Багато варіантів AI відпали через те, що ми дуже сек’юрно підходимо до даних користувачів. Нам важливо, щоб зовнішні інструменти ніколи й нікуди їх не передавали, щоб інтеграція була максимально безпечна і дані користувачів були захищені.

Плюс, потрібно обирати АІ, які вже мають досвід на ринку, адже якщо вони абсолютно нові — є ймовірність, що інструменти не знайдуть свій market fit, і просто закриються. А вам доведеться знову витрачати час та ресурси на пошук альтернативи.

Як бачимо, процес пошуку свого інструменту є доволі клопітким, але необхідним, щоб отримати найкращий метч. В кінці 2020-го ми вже повноцінно працювали з АІ.

Нюанси роботи із зовнішніми сервісами AI

Найбільший челендж в автоматизації перевірки контенту на 70% за допомогою АІ — це співвідношення якості та кількості. Звісно, можна автоматизувати перевірку навіть 100% контенту, але питання в тому, скільки там буде помилок? Тому ми намагаємося балансувати та дотримуватися точності понад 97%.

Це дозволяє мінімізувати кількість користувачів, які отримують негативний досвід користування застосунком. Наприклад, через помилку AI ми без причини видалили фото, користувач написав про це скаргу. Ми зрозуміли помилку та повернули фото.

Ще один важливий момент — наскільки типовий контент завантажують користувачі. Є категорії, які легко автоматизувати, а є ті, які складніше.

Оскільки наші продукти — застосунки для знайомств, то у нас багато типового контенту для нашої сфери і є базові правила, яких дотримуються всі онлайн-ресурси. Відповідно АІ має багато прикладів для навчання та якісного визначення порушень.

Також є певні категорії, які ми видаляємо, але користувачі завантажують його не часто. Такий тип контенту важче автоматизувати, адже не вистачає обсягів, щоб модель навчилася визначати з потрібною точністю.

Або інша ситуація — коли це настільки рідкісний кейс, що ми не можемо зрозуміти, до якої категорії його віднести.

Звісно, під час роботи з AI бувають й факапи. Наприклад, ми детектимо за допомогою АІ, на яких фото є обличчя. Й були випадки, коли АІ детектила кота й казала, що це обличчя людини :) Або ж позначала суші як селебріті.

Якщо це зовнішні сервіси — завжди є ризик того, що щось станеться, й потрібно буде оперативно відреагувати, придумати альтернативне рішення. Тож, ризик-менеджмент все одно має бути.

Наша мінімізація ризиків полягає у тому, що ми співпрацюємо відразу з декількома постачальниками АІ, кожен з яких займається своєю нішею, і на стороні менеджменту маємо декілька пропрацьованих планів дій у кризових ситуаціях.

Чому АІ — це можливості, яких не потрібно боятися

У бізнес-процесах людина завжди залишатиметься на першому місці. Зараз штучний інтелект — це перш за все спосіб оптимізації рутинних процесів. Його інтеграція, управління та контроль має проводитися людиною.

Сприймайте АІ як додатковий ресурс, який може допомогти якісніше працювати: прибрати рутину й надати можливість займатись цікавішою, інтелектуальною роботою, створювати нові креативніші робочі місця.

Деяким спеціалістам, які зараз закривають рутинні процеси, доведеться перекваліфікуватися. Бажано сприймати це як можливість для кар’єрного росту, адже тепер людина, яка роками модерувала фото, може наважитися опанувати креативнішу чи навіть менеджерську позицію. Поява АІ стає класним каталізатором для змін та натхнення.

Звісно, у всіх компаніях різні кінцеві цілі щодо використання та інтеграції АІ. Мета нашої команди — підвищити ефективність бізнесу, інтегрувавши АІ в процеси роботи. Фокус саме на тому, щоб інструменти допомогли якісніше працювати командам модерації та сапорту.

Надалі плануємо інтегрувати АІ в комунікацію з користувачами. АІ помічник вже з’явився у багатьох сервісів, тож ми хочемо йти в ногу з часом та використовувати ці технології як в безпосередній комунікації, так і в процесі підготовки відповіді користувачам.

На що варто звернути увагу при роботі з АІ

• Визначити можливості, ризики та зміни, які принесе ця інтеграція в процеси.
• Визначитись: будуватимете все власними силами чи залучите партнерів.
• У разі співпраці із зовнішніми партнерами — порадьтесь з legal-командою. А також перевірте, як вони працюють з даними, які будуть їм передаватись, яку вони беруть на себе відповідальність за проблеми та факапи.
• Продумати, який обсяг у вас є, щоб все це автоматизувати. Має бути певний обсяг, щоб воно дало результат — якщо мало даних, для інтеграції АІ може бути ще зарано.
• Спланувати, як ви будете працювати з AI далі, а також підтримувати контроль якості: оптимізувати та перевіряти, що робить АІ, подумати, хто буде відповідальний в команді за інтеграцію інструменту.
• Придумати правила взаємодії АІ, людини та продукту, налаштувати технічну складову, щоб все йшло гармонійно.
• Ризик-менеджмент — продумати випадки, які можуть виникнути та що ви будете робити, щоб їх вирішити. Бажано мати список альтернатив АІ, на які можна швидко переключитися. Або мати домовленості в команді, як менеджити кризи.

Є побоювання, що тепер усе буде робити АІ, а люди стануть просто непотрібні. Це не так, адже АІ вчиться на даних — все одно необхідна перевірка та управління усім процесом. Тому разом з новими технологіями приходять і нові посади, спеціальності та можливості для розвитку. Найбільші ризики з АІ зараз в тому, що ніхто не може спрогнозувати, наскільки швидко ця сфера буде далі розвиватися, як нею будуть управляти та з якими цілями використовувати.

АІ несе багато переваг, але водночас і багато ризиків і дуже багато залежить і залежатиме від людей, які розробляють та використовують АІ.

Тому впевнено використовуйте АІ як джерело допомоги з рутиною, щоб отримати бенефіти. Принаймні зараз. А що буде далі — побачимо.