Як за допомогою АІ протидіяти російській дезінформації

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Усім привіт, це Володимир Сидорський, ML Lead у Mantis Analytics (міститься у каталозі Military-tech компаній від DOU), стартапі, що займається когнітивною безпекою. У цій статті я поділюся з вами ключовими ідеями зі свого виступу на мітапі «єТЕМА: Data Science Edition», організованому командою R&D центру SQUAD.

У ньому я розповів про інформаційну війну, російську дезінформацію, методи боротьби з нею, а також проблеми і можливості, які маємо у цій сфері.

Дезінформація: від міток на асфальті до політичних маніпуляцій

Усі пам’ятаємо так звані «мітки» на початку великої війни. Ними начебто помічали цілі для наведення російських авіаційних, ракетних і артилерійських ударів. Це була операція, націлена на те, щоб посіяти паніку і хаос серед цивільного населення.

Якщо вдуматися, навіть звучить абсурдно — як ракета «побачить», що десь на асфальті знаходиться зроблена балончиком позначка? Але в момент сильного стресу, колективного переляку і загальної непевності наявність міток та їхня «навідна» роль здавалися правдивими. Так російські спецслужби впливали на поведінку українців, жахаючи, дезорієнтуючи і налаштовуючи один проти одного.

Історія про «мітки» — хрестоматійний приклад дезінформації. Таких випадків сотні і тисячі. Ми, українці, бачимо їх щодня. Але проблема зростання кількості дезінформації, як і питання ефективної протидії, є світовими.

Згідно з виданням Foreign Policy, станом на серпень 2022 року у Twitter було видалено 310 000 неправдивих одиниць контенту про російсько-українську війну, в YouTube — 70 000 (переважно таких, що говорили про дії РФ як «визвольну операцію»), у TikTok — 41 191.

Дослідження, що було опубліковано в журналі Science, стверджує: дезінформація розповсюджується швидше, ніж звичайний контент — твіти, що містять неправду, мають на 70% більше шансів бути ретвітнутими. Згідно зі звітом Оксфордського університету, більше ніж 75 країн систематично використовують дезінформацію для маніпуляцій публічною думкою.

Завдяки поширенню технологій генеративного АІ, на кшталт ChatGPT та Midjourney, спроможності авторів і поширювачів дезінформаційного контенту радикально зростають.

Це — виклик, перед яким ми зараз знаходимось. Дезінформація, тим паче російська, нікуди не дінеться. Її ставатиме більше. Будуть виникати нові, ще підступніші техніки впливу.

Дві ключові ознаки дезінформації: хибність та шкідлива мета

Дезінформація (disinformation) має дві ознаки. Це інформація, яка є:

1. Неправдивою.
2. Націленою на шкоду: грошову, репутаційну, політичну та фізичну.

Цим вона відрізняється від просто хибної інформації (misinformation), яку люди створюють та розповсюджують без шкідливих намірів. Феномен багатьох інтернет-бульбашок, як-от «плоскоземельщиків», тримається саме на цьому.

Не є дезінформація і лише шкідливою інформацією (malinformation) — правдивою, але такою, що розповсюджується для нанесення шкоди. Уявіть, що хтось зливає переписки відомого СЕО, які його компрометують. Це — не дезінформація. Хоча, звісно, може бути порушенням NDA і потягнути за собою юридичну відповідальність.

Кордони між дезінформацією, просто хибною та лише шкідливою інформацією розмиті — одне може переходити в інше.

Тим не менше, найбільшої уваги та протидії від технологічних компаній, політиків та експертів потребує саме дезінформація. Щирим помилкам можна протиставити щирі контраргументи. Розповсюдження приватної, потенційно шкідливої інформації є скоріше моральним питанням та може навіть приносити суспільну користь — хіба не цим часто зайняті журналісти?

А от кожна дезінформаційна кампанія є атакою з боку когось і проти когось. Це — брехня, яка має погіршити стан справ в державі, компанії чи в житті людини.

Російські інформаційні кампанії, з якими ми стикаємося під час повномасштабного вторгнення, відповідають двом критеріям дезінформації: неправдивості та шкідливості.

Головна больова точка у боротьбі з російською дезінформацією

Українська держава та суспільство вже протидіють російській дезінформації. Можемо навести такі ініціативи, як Центр протидії дезінформації та Центр стратегічних комунікацій, або різноманітні журналістські гайдлайни: ось — приклад від «Бабеля», а ось — від Ukraїner. Існують і стихійні мережеві рухи, як от активність спільноти NAFO.

Проте, масштаби проблеми потребують не лише медіаграмотності та розвінчування фейків. Критичними є оперативне реагування та швидка протидія. Саме тут виникає потреба у використанні штучного інтелекту, і власне тут ІТ-спільнота може вплинути на стан справ.

З цього розуміння народилася наша ініціатива — Mantis Analytics. Згадайте початок березня 2022 року. Повномасштабне вторгнення. Усі намагаються долучитися до спротиву, допомогти війську та державі. Збирається потужна команда айтівців — і вирішує протидіяти російським атакам в інформаційній площині.

Першим питанням було: де знаходиться найболючіша точка у боротьбі з дезінформацією? Щоб відповісти на нього, треба розглянути весь пайплайн протидії. Спочатку ви аналізуєте інформаційний простір: хто говорить що, як і де. Далі ви розробляєте стратегію дій або протидії. Наступним кроком йде впровадження цієї стратегії в життя.

Ми виявили, що більшість помилок відбувається на першому етапі. Ситуація змінюється щогодини, а іноді, як-от під час підриву Каховської ГЕС, — щохвилини. Самостійно, у ручному режимі моніторити таку лавину даних неможливо. Проте, саме так діє більшість організацій.

Люди перевіряють інформацію уривчасто, багато ворожих активностей помічають запізно. Креативна енергія аналітиків йде не на розробку контрнаративів, брифінг місцевих організацій та іноземних партнерів про інфозагрози, запуск ефективних кампаній, а на порсання в даних без чітких методологій і процесів.

Штучний інтелект може робити цю роботу краще і швидше. Головне — він може вивільнити сили аналітиків на ту сферу, де люди набагато ефективніші: на протидію.

Три рішення для боротьби з російською дезінформацією

Аналізуючи інформаційний простір, аналітики та стратеги, що залучені до інформаційної війни, стикаються з трьома проблемами.

Перша проблема: збір і структурування даних. Щоб отримати повну картину інформаційного простору необхідно збирати дані з усіх можливих джерел. Є новинні сайти. Є месенджери. Є знайомі всім соціальні мережі: Facebook, Instagram, Twitter. Є специфічно російські — Vkontake та «Однокласники» (для збору даних треба проникати і туди). Є Telegram, про який журналіст Bellingcat Ерік Толер сказав: «Російсько-українська війна — це на 99% Telegram».

Постає проблема: як привести цю купу неузгоджених даних до однієї структури? Простими словами: як зібрати їх в одну табличку з фіксованою кількістю стовпців? Ситуація ускладнюється тим, що треба враховувати не лише текстову інформацію, а й статистичну (кількість переглядів, перепостів, лайків), іноді візуальну (зображення, відео) та аудіальну (голосові повідомлення).

Рішення: мережа дата-провайдерів. Таку проблему складно вирішити навіть спеціалізованим компаніям, але ми знайшли розв’язання — у кооперації. Було знайдено українські компанії та волонтерські ініціативи, які збирають дані в певних нішах, й приведено їхні результати до уніфікованої, структурованої форми.

Друга проблема: лавина даних. Окрім того, щоб «дотягнутися» до даних, їх треба обробити і проаналізувати, виділити основне. Аналітик не може швидко подивитись і розібрати величезні масиви інформації власноруч. Тим паче, коли кожен день ви стикаєтесь з сотнями і тисячами оновлень.

Рішення: самаризація і автоматичні звіти. Як це працює? По-перше, дата-партнери збирають і постачають дані за певний період. Далі задіюється алгоритм, що відносить новини до певних тематичних категорій. Після цього нейронна мережа скорочує кожну новину до короткої тези, яка передає основну думку новини. Наприкінці — алгоритм об’єднує тези та обирає найпопулярніші.

Як результат аналітик отримує стислий звіт за основними кампаніями. Припустимо, йому треба дізнатися, що сьогодні було прокомуніковано за темою «Західна допомога Україні». Кілька тез самаризують десятки, а іноді сотні новин по темі. Звіт також містить аналіз динаміки, що дозволяє побачити сплеск або відтік інтересу до теми.

Наприклад, наприкінці липня аналітик бачить підвищену увагу до теми допомоги. Він також помічає: джерела РФ активно та скоординовано просувають меседжі, що Україні не треба надавати касетні боєприпаси. Тепер він має цілісне розуміння ситуації та ґрунтовну базу для реагування на виклики в інфополі.

Оцінка результатів є важливою частиною процесу. Враховуючи специфіку завдання, оцінити його за автоматичними метриками майже неможливо. Ми використовуємо для оцінки та покращення якості моделі фідбек від користувачів.

За період розробки та покращення алгоритму нам вдалося критично підвищити рейт прийому звітів без жодних зауважень: від 30% він піднявся до 70-80%.

Третя проблема: маніпулятивна інформація. Коли ворог веде активну комунікацію за певною темою, він може застосовувати різні підходи. Може грати в об’єктивність. Може спамити неперевіреною інформацію. Може давити на емоції.

Є безліч різних маніпулятивних технік і аналітик має бачити, які з них застосовуються для просування певного меседжу. Коли ви бачите, що певний інформаційний потік навантажений маніпулятивними повідомленнями та розумієте їхню специфіку, ефективність протидії зростає, планування контрдій пришвидшується та спрощується, як і розподіл ресурсів.

Рішення: детектор пропаганди. З останніх академічних досліджень з виявлення методів переконання у текстах ми взяли типологію та визначення близько двадцяти основних технік пропаганди.

Серед них можна знайти і апеляцію до авторитету, і використання емоційно навантаженої мови, і навіть знайомий всім «вотебаутизм» — характерну ознаку російських ботів: коли у відповідь на згадку про ракетні обстріли Києва вам відповідають щось на кшталт: «А США взагалі он що з Хіросімою зробили, що ви про це скажете?».

Отже, ми спарсили великий обсяг текстів з Telegram, залучили команду добровольців для допомоги у розмітці даних. Щоб зробити процес цікавішим, навіть організували конкурс. Розмітку було зроблено на рівні токенів.

Як оцінити наші моделі для цієї задачі? На малюнку показано схему оцінки. Зверху синім кольором позначені реальні розмічені токени, а зеленим — передбачені нашою моделлю. Ми порівнюємо їх і рахуємо перетин, щоб отримати статистику «true positive», «false positive» і «false negative».

Цю статистику можна розрахувати в двох контекстах: з урахуванням класу маніпуляцій і без. В другому випадку ми просто порівнюємо, чи відповідає токен, визначений як «маніпуляція», передбаченому значенню, вказаному в розмітці. Після отримання цих статистик ми можемо обчислити показники: точність (precision), повноту (recall) і F1-показник.

На основі нашого датасету алгоритм продемонстрував значення метрики F1 на рівні 28% з урахуванням класів маніпуляцій, та 54% без врахування. Порівняймо з алгоритмом, створеним науковцями для англійської мови. Він вирішував аналогічну задачу, їх показник метрики F1 з урахуванням класів маніпуляцій був 24,42% та 44,12% без врахування.

Після цього, для експериментування ми створили мінімальний UI/UX — текстове поле, у яке можна завантажити текст новини для перевірки. Модель виявляє маніпулятивні техніки, використані в тексті, і підсвічує їх, допомагаючи зрозуміти ймовірність того, що текст, який перед вами, є пропагандистським.

Варто зауважити, що використання маніпулятивних технік — це ще не дезінформація. Маніпуляція може використовуватися не лише в неправдивих новинах чи постах. Вона може мати місце будь-де. Задача маніпулятивної техніки — зарядити читача певною емоцією або скерувати увагу у потрібному для маніпулятора напрямку.

Наступний крок — платформа для ведення інформаційної війни

Результатом нашої роботи стало те, що аналітики та стратеги безпекових установ, з якими ми співпрацюємо, почали ефективніше працювати в інформаційному полі. Час, який раніше йшов на мануальну обробку інформації, зменшився.

Це дозволило фокусуватися на розробці стратегій протидії російській агресії та їхньому втіленню. Детекція пропаганди допомагає виділяти найпідозріліші кейси, а розуміння ворожих наративів дає змогу краще розробляти контрнаративи і на основі даних розуміти, де потрібно зосередити зусилля саме зараз.

Набір описаних технологій разом з іншими ми об’єднали у платформі, яка служить «пультом керування» для ведення інформаційної війни, і яким наші клієнти вже користуються.

Інформаційна війна в Україні: що далі для галузі

Як зазначалося вище, дезінформація — світова проблема. Вона пов’язана з багатьма процесами — розвитком соціальних мереж, виникненням «спін-диктатур», розвитком генеративного штучного інтелекту, швидкістю розповсюдження інформації, загостренням конфронтації між демократичним та автократичним світами.

Інформаційна боротьба є одним з основних напрямків у протистоянні з РФ. Кожного дня українські державні інституції, приватні компанії та громадяни стикаються з величезною кількістю інформаційних загроз. Протистояння потребує не лише визначених процесів та послідовної методології, але й ефективного застосування сучасних технологій.

Повномасштабне вторгнення підштовхнуло українців бути уважними до інформаційної безпеки. Виникло багато волонтерських ініціатив, які протягом тривалого часу закривали прогалини у старих підходах, створювали нові рішення, реагували на поточні потреби державних та приватних установ. Проте, волонтерство має свої межі. Емоції та драйв не є стабільними, вони поступово вичерпуються і витісняються рутиною. Щоб зберегти напрацювання, треба інституціоналізуватися.

Одна з задач, що стоїть перед українською ІТ-спільнотою тут, — перетворити волонтерські здобутки на системні рішення та цінну експертизу, які можна комерціалізувати, зокрема — на міжнародному ринку.

Це — вікно можливостей. Україна може стати світовим хабом інформаційної безпеки. Усі передумови є.