Чому нам усім варто завести акаунт у Twitter — погляд крізь призму NLP

Усім привіт, мене звати Катерина, я вже понад 10 років маю справу із предикативною аналітикою, пройшовши шлях від спеціаліста зі скорингових моделей, до Senior Data Scientist із навичками у різних предметних областях. Я періодично ділюся думками про обробку даних і власним досвідом у своєму телеграм-каналі.

Про новітні технології зазвичай розповідають у контексті прогресу та практичної користі для науки, бізнесу тощо. Але, на жаль, такі досягнення не стоять осторонь і під час війни. Вже майже рік ми живемо у новій реальності, що змусила подивитися під іншим кутом на багато речей.

З початком широкомасштабного вторгнення я долучалася до різних ІТ-ініціатив, спрямованих на допомогу країні у протистоянні на онлайн-просторах. Така практика відкрила для мене інший бік застосування, здавалося б, давно знайомих інструментів.

Спробую розділити свій досвід з читачами DOU та пояснити з огляду на роботу алгоритмів NLP важливість бути активними в соцмережах (як тобі таке, Ілон Маск?), щоб тримати війну в Україні на порядку денному західних політиків і пересічних громадян.

Інформаційна війна та NLP

Звичайно, найгарячіші події відбуваються зараз на полі бою, та ми усі є безпосередніми учасниками не менш важливих баталій в інформаційному просторі. Хочемо того чи ні, але ми постійно стаємо об’єктами інформаційних атак, які не завжди успішно відбиваємо. Бо тут нам протистоїть не тільки людський, але і штучний інтелект.

Тож поговорімо про технологію, яка має безпосередній вплив на наше життя, навіть якщо ви не займаєтесь розробкою. Про дуже потужний розділ машинного навчання та мій улюблений напрямок AI — обробку природної мови (Natural language processing, NLP). Саме цьому напрямку ML прогнозують велике майбутнє у перспективі створення AGI — штучного інтелекту загального призначення, поява якого очікується з дня на день, але перспектива реального його створення досі під великим питанням. Як технологічним, так і етичним.

Природна мова — тобто, мова нашого спілкування — у цифровому вимірі здебільше представлена у вигляді тексту. Усі інші можливі формати, наприклад, аудіо, нескладними діями також можуть бути конвертовані в текст. Хоча це і призводить до часткової втрати інформативності — інтонація або гучність вимови можуть багато свідчити про контекст. Але все ж таки текстовий формат є найзручнішим для роботи з вербальними даними.

NLP наразі має широченний спектр застосування. З цими алгоритмами ми взаємодіємо мало не щодня, іноді навіть не підозрюючи цього. Ось декілька ну дуже простих прикладів їх роботи:

  • чатботи та колцентри;
  • пошук в Google;
  • спам-фільтри;
  • голосові помічники;
  • онлайн-перекладачі тощо.

Хоча насправді можливості NLP набагато ширші! Про проходження тесту Тюрінга вже не йдеться, адже існують алгоритми, які здатні позмагатися з людиною не тільки у красномовності, а навіть в ерудиції.

Так, ще у 2011 році суперкомп’ютер Watson, створений IBM, отримав безпрецедентну перемогу в телевізійній вікторині Jeopardy!, змагаючись з двома найвизначнішими її призерами. І як не важко здогадатися — з того часу технології стрибнули ще на кількадесят кроків уперед.

Та в усі часи будь-які наукові відкриття і винаходи, покликані слугувати людству та полегшувати життя, знаходили і протилежне застосування, перетворюючись на Ґолема, що обертається проти свого творця. Не оминає ця доля і штучний інтелект. Зокрема технології NLP активно використовуються маркетологами, пропагандистами, політтехнологами та іншими маніпуляторами.

Інформаційна війна має багато аспектів — це не лише дезінформація та ІПСО. Тож спробуймо розібратись, як можна такі досягнення обернути на свою користь.

Як працює Social media аналіз

Інструменти обробки мови широко застосовуються (та, до речі, непогано з цим справляються) у вирішенні задач аналізу соцмереж, які давно взяті на озброєння бізнесом та урядовими організаціями. І ось тут доведеться розкрити «велику таємницю» про те, що дописи у соціальних мережах можуть моніторитися. Але без паніки — фахівці роблять це не з метою виявити та покарати неугодних (поки що). Зазвичай дослідника не цікавить, хто конкретно висловив ту чи іншу думку — головною метою такого аналізу є статистичне узагальнення користувацького фідбеку.

Річ у тім, що той контент, який генерує чи не кожен третій громадянин, утворює таку репрезентацію суспільної думки, яку не в змозі зібрати жодне соціологічне опитування. Звичайно, з такими об’ємами даних виникають деякі складнощі при їх опрацюванні. І тут у пригоді стають технології роботи з Big Data та NLP.

Завдяки спеціально навченим алгоритмам можна виявити як головні теми, які турбують суспільство у поточному моменті, так і дізнатися загальну думку щодо якогось конкретного меседжу. Наведу приклад застосування таких інструментів у бізнесі. Припустимо, що є компанія, яка пропонує певний продукт. Їй дуже цікаво, чи задоволені користувачі її діяльністю. За класичною схемою маркетологи можуть створити фокус-групу та провести відповідне опитування. Але в еру AI і NLP це відбувається наступним чином:

  1. алгоритм «шукає» у мережі усі згадки назви компанії (або назви продукту). Це можуть бути як повноцінні статті та огляди від професійних авторів, так і звичайні обговорення на форумах та у соціальних мережах з усіма витікаючими граматичними нюансами;
  2. далі до цих даних застосовується NLP-магія, мета якої — привести весь цей потік свідомості до логічного, структурованого, а головне чисельного представлення, які далі зможe обробити ML. Адже машинне навчання, та зокрема глибинне навчання, працює лише з чисельними даними;
  3. після цього, вже за допомогою відносно нескладних моделей класифікації усі дописи можуть бути розділені на «позитивні», «негативні» або «нейтральні». Співвідношення кількості згадок по цих категоріях і буде визначати загальне ставлення користувачів до бренду;
  4. для повноти картини може бути створена так звана хмара тегів, з якої чітко стає видно, з чим у користувачів асоціюється продукт чи бренд взагалі. Приклад на зображенні — хмара слів новин на початку березня 2022 року.

Звісно ж, у статиці такий показник буде мало інформативним. Але варто зауважити, що дані у мережі зазвичай тягнуть за собою цілий хвіст метаданих у вигляді часової мітки, геолокацї, певних відомостей про автора та ще багато чого цікавого. А отже тепер, базуючись на одному такому семплі, можна не просто вирахувати «коефіцієнт прихильності» назагал, але і

  • прослідкувати його динаміку у часі;
  • визначити варіативність показника за різними окремими характеристиками — за віком користувачів, регіоном, якимись вподобаннями тощо;
  • порівняти рівень прихильності серед суперницьких брендів;
  • а ще, оцінити реакцію аудиторії на певні дії компанії: наприклад, вихід нового продукту або... заява керівництва, що компанія не виходитиме з ринку країни-агресора.

І зовсім не варто недооцінювати вплив такої суспільної думки на репутаційні ризики, за якими «цивілізовані» компанії пильно слідкують. Поява слів «тероризм», «війна», «вбивати» у хмарі асоційованих слів стане для них ну дуже тривожним дзвіночком!

Тож, підсумуємо: розповсюдження у мережі дописів, що закликають певні компанії вийти з ринку росії — це дійсно дієвий інструмент! Його ефективність власне була підтверджена навесні цього року, коли деякі представники міжнародного бізнесу спромоглися залишити російський ринок лише під соціальним тиском.

Навіщо політики читають соцмережі

З бізнесом, здається, все зрозуміло, тепер з’ясуємо, що ж там з урядовцями. Тут принцип «взаємодії» аналогічний, але трохи по-іншому ставляться запитання.

Приблизно за такою ж схемою, яка описана вище, можна:

  • по-перше, з’ясувати загальне ставлення суспільства до певної політичної сили — наприклад, провладної партії або навіть конкретної людини (пам’ятаєте про хмару асоціативних слів?);
  • по-друге, з’ясувати об’єктивну реакцію на певні рішення чи пропозиції;
  • по-третє, виявити болючі для суспільства питання, в ідеальному світі — з метою їх вирішити, у реальному світі — аби зробити правильні акценти у передвиборчих кампаніях.

Не варто плекати ілюзій, що рішення можновладців коли-небудь будуть базуватись на «побажаннях» людей у Facebook. Але і зовсім не враховувати суспільну медіапозицію у демократичному світі наразі вже не видається можливим.

Отже, ще один для нас висновок — проявляти своє незадоволення в соцмережі треба! За умови масовості, це 100% матиме якщо не прямий, то принаймні опосередкований вплив на урядові рішення.

Ті ж, здавалося б, наївні масові заклики у соцмережах «закрити небо», «надати озброєння», «визнати росію державою-терористом» також мають свою дію. Звичайно, вони не гарантують виконання цих вимог, проте чинять певний тиск на адресатів і тримають болючі для нас питання на порядку денному у лідерів демократичних держав.

Висновки

Наостанок, є декілька нюансів-рекомендацій, які зроблять вашу особисту медіаборотьбу дієвішою:

  • найефективніший канал суспільного тиску — Twitter. Адже тексти тут найбільш структуровані та лаконічні (принаймні, поки Маск ще не втілив у життя план збільшення ліміту символів). Крім того, мікроблог має зручний та зрозумілий API для подальшого аналізу;
  • дописи мають бути англійською, бажано граматично коректними. За відповідності таким умовам, меседж матиме більше шансів потрапити в глобальні тренди та внести безпосередній вклад в узагальнюючі показники;
  • мають містити відповідні хештеги та посилання на офіційні сторінки адресатів;
  • краще робити не «репост» таких заяв, а копіювати текст на свою сторінку. Також немає жодної користі від поширення скріншотів без супроводу текстом з відповідними хештегами;
  • допис має бути публічним (перевіряйте налаштування конфіденційності).

Очевидно, сьогодні Twitter та інші соціальні мережі стали своєрідним пульсометром суспільного настрою та нагальних у суспільстві тем. І навіть майданчиком для публічних дискусій офіційних осіб і серйозних бізнес-гравців.

Та схоже на те, що новий власник блакитної пташки вирішив влаштувати Україні ще й інформаційний блекаут. Не зважаючи на це, для нас, українців, вкрай важливо, щоб серцебиття міжнародної спільноти в юзнеті звучало в ритмі нашої боротьби за незалежність. Кількість згадок — наше все!

Тож не проходьте повз заклики зробити репост чи поставити лайк, аби підтримати політично важливі меседжі, особливо спрямовані на ретрансляцію українського сьогодення західному світові.

Разом до перемоги!

👍ПодобаєтьсяСподобалось17
До обраногоВ обраному4
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

в мене є акк в твітері зареєстрований років 10 назад, але в 2022 році реєструватись в будь якій соц мережі це як добровільно взяти тарілку з дірочкою

твитер та фб переходять в стан старих дідуганів типу май спейс, котрим місце у веб архіві, що одне що інше викликає лише відразу, ілон-пітух забив перший цвях у процес розвалу, скоро чекати на «нові соц мережі»

Нікуди твіттер не переходить, йому тупо немає альтернативи і немає конкурентів. Думаю його показники зараз all time high.

Ну а фейсбук почав загнивати тому що появився інстаграм і тікток. І то, це лише здається що фейсбук загниває, а по останнім фінансвоим звітам кількість активних користувачів все-одно росте.

інста стає все більш схожою на фб, причому постійно пхає якісь рекомендації (дуже дубовий алкгоритм, один раз лайкнеш відос про кухню і будешь дивитись її тижнями хоч і клікаєш що не цікаво), постійно сінхронізує одне з іншим, не можна відписатись від нотифікацій в фб що в каналі що я пидписаний в інстаграммі зявився новий пост...взагалі ці соц мережі стють настілько бомерзкими що просто п**ц, постійно що тобі пхають, то відос, то нотіфікації, то якихось друзів котрі мені і нах не потрібні(в мене купа контактів типа (Вячеслва водила, або Катерина торт на заказ))...я не знаю як цим можна користуватись, все одно що ввімнути рекламний блок...
твіттер юай...я його до сих пір не розумію, потрібно вдивлятись що ті всі конпки значить...постійна стрічку перегенерують...
тік ток те саме, щей просто топ трешак відео, я навіть не знаю з чим цю гидоту порівняти.

короч воно створене для людей котрі вже підсіли на нього і сидять там як в інтернеті, мене ледве вистачає на декілька хвилин, навіть телевізор так не бісив.
я хз кому таке може подобатись.

Український (україномовний) сегмент твітера лише набирає оберти (а можливо вже й набрав), так як вся молодь та нюдсошукачі почали там зависати, нахапавшись американського сленгу, що прийшов туди з запізненням крізь призму російськомовної частини твітера.

я його відкрив лише через війну щоб ретвітнути та жбурнути лайном і чмоню що намагалась довести що Харків хоче бути у складі с соссією, (я про пітха маска)

Почему нам всем стоит завести аккаунт в Twitter — взгляд сквозь призму NLP

Подтверждаю, всем нужно срочно завести аккаунт в Twitter, мозги там промывают так, что вы по началу даже ничего не поймёте, что вообще в принципе происходит. Хотя, если даже сидите только тут на Доу, что-то можете начать подозревать. Особенно, анализируя то, на какие темы тут удаляют сообщения.

ОМЖ, хтось почав платити за білий піар :)

Для початку, щоб користуватись Twitter в повному обсязі треба бути за кордоном, в Україні Ілон усіх перевів у read-only режим, тобто забанив усю країну. Хоча особисто я до усього цього хайпу, туди роками не заходив бо платформа давно здулась. По друге, досить цього хайпу — визнайте те, що сталось Twitter-ру настав кінець, він збанкрутував і був ворожо поглинутий. І тут нічого дивного із самого початку бізнес ідея була з дуже сумнівним питанням, щодо монетизації.
Використовуйте іньщі платформи: Facebook, Reddit, Linkedin тощо.

Можливо Маск і має такі наміри, та станом на зараз користувачі з України мають повний доступ до платформи, з можливістю створювати твіти в тому числі.
Щодо використання інших платформ — немаю жодних заперечень!

Вас прям всему учить нужно. Вот в Крыму банят не только что в Твиттере, но и везде где только можно, на что фантазии хватает. Вот чисто сидят, и не могут ни есть, ни пить, ни спать, ни срать, пока не придумают где-бы и как ещё Крым забанить, причём со всех сторон. И что вы думаете? Обходы любых банов — это не больше чем рутина, причём автоматическая. Забанили? Включите ВПН. ВПН тоже забанили? Зайдите на апсторе, отсортируйте ВПН по дате добавления, поставьте самый новый. Или через прокси. Или поднимите свой. Телефон забанили? Воспользуйтесь виртуальным левым каким-то. Мыло забанили? Допишите к префиксу «+123», мыло станет другим, а почтовый сервис направит на ваше. Аналогично и с телефоном можно. Или заюзайте temp-mail.org. Ездили в Польшу в турпоездку? Наделайте там консерв на все сервисы.

Використовуйте іньщі платформи: Facebook

:clown_face:

Я в Україні і я не в рід-онлі. Що зі мною не так?

Але Маск мудак, це факт.

Я в Україні і я не в рід-онлі. Що зі мною не так?

Але Маск мудак, це факт.

Я в Україні і я не в рід-онлі. Що зі мною не так?

Але Маск мудак, це факт.

Аж три рази повторив :)

Дякую ідеальному мобільному інтернету :)

У вас блокировка в Твиттере глючит.

є декілька нюансів-рекомендацій, які зроблять вашу особисту медіаборотьбу дієвішою

Якщо колись я деградую настільки, аби вести медіаборотьбу з кимось, хто там неправий у Інтернеті — то сподіваюся у мене вистачить мізків написати бота, який за мене буде «лайкати» та «репостити», а не самому перетворитися на такого бота.
Інформаційна війна, кажете? А який найкращій засіб уберегтися від війни? Тільки бути від неї подалі!
Нема Твітера, Фейсбука, інших соціалочек — і ось не треба витрачати час аби читати усяку брехню, а потім ще й боротися за правду. Хай там боти між собою воюють у тих інформаційних війнах!

Дякую за фідбек, але у статті не було жодної згадки про брехню чи правду, і тим більш жодних закликів комусь щось доводити в інтернеті. Щодо ботів — то в контесті аналізу соціальних медіа (про який доречі стаття) — це дуже легко фільтрується. Боти якщо що створюються дещо для інших цілей. Також рада, що у вас є моральна можливість «бути подалі від війни», я ось наприклад не можу на стільки абстрагуватися. Хоча можливо колись я еволюціоную до такого рівня)

Дякую за фідбек, але у статті не було жодної згадки про брехню чи правду, і тим більш жодних закликів комусь щось доводити в інтернеті.

Якщо ви розумієтеся на соціальних мережах — то погодитесь що більшість інформації там не є правдою. У кращому випадку це напів-правда, перекручена і емоційно забарвлена аби підтверджувати суб’єктивну думку автора.

Звичайно, найгарячіші події відбуваються зараз на полі бою, та ми усі є безпосередніми учасниками не менш важливих баталій в інформаційному просторі.

Для мене ніяких баталій нема: бо мене нема у соціальних мережах і мені начхати що там пишуть різні бовдури, у яких забагато вільного часу на цю «інформаційну війну».

Не зважаючи на це, для нас, українців, вкрай важливо, щоб серцебиття міжнародної спільноти в юзнеті звучало в ритмі нашої боротьби за незалежність. Кількість згадок — наше все!
Тож не проходьте повз заклики зробити репост чи поставити лайк, аби підтримати політично важливі меседжі, особливо спрямовані на ретрансляцію українського сьогодення західному світові.

У моєму розумінні заклики ставити лайки, робити репости — то працювати «живим ботом».

Також рада, що у вас є моральна можливість «бути подалі від війни», я ось наприклад не можу на стільки абстрагуватися.

На відміну від війни справжньої — у кожного є можливість уникнути війни інформаційної: просто видалить твітер, фейсбук, вконтактик, телеграм, тікток ци що там ще бомбить ваш розум постійним інформаційним мусором.

Нажаль створення кучі твітів, жодним чином не допоможе. Куча твіттів, це не американьский Арестовичь чи скажімо Філ Донахью, який бере на себе увагу аудиторії. Створення інформаційного шуму створює зворотній ефект.

«AGI» не буде зв’язано з тим що зараз роблять в nlp, це глухий кут, воно звісно корисно і буде вирішувати свої задачі. Fake it till you make it.

«NLP-магія» я так люблю такі пояснення на технічних ресурсах.

По суті статті згоден, більше даних від нас більше вплив на рішення тих кто ці дані аналізує.

найефективніший канал суспільного тиску — Twitter
завести акаунт у Twitter

Только после его национализации (т.е. в следующем году)

Ставлю 5 копійок на те, що компанія збанкрутує протягом наступних двох років.

Вона вже збанкрутувала, тут питання коли збитковий сервіс буде в решті-решт ліквідовано.

Підписатись на коментарі