Fact-checking твіту Фредовича за допомогою LLM

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

За останні дні Фредович генерує багато контенту більшість з якого на вуха не налазить, особливо коли ти живеш в Україні. Не знаю як для вас, але для мене кожне речення із вчорашнього твіту це брехня чи маніпуляція. Важко уявити, що такі речі може писати президент передової країни. Також важко зрозуміти для чого він це робить і що буде далі?

Хочеться більшого розбору та аналізу цього тексту. Я впевнений його зроблять та розкладуть на фрази. Проте це дуже клопітка робота, яка потребує часу, як мінімум на пошук джерел-доказів.

В той же час можна можна спробувати оцінити висловлювання Фредовича та встановити правдивість висловлювань за допомогою існуючих технологій. Для такого аналізу я використав 3 великі мовні моделі Gemini, ChatGPT та Grok (вибрано через те, що власником є Ілон Маск чиї висловлювання мало чим відрізняються від згаданих тут). Завдання перед моделями — виділити висловлювання та перевірити їх на коректність (fact-checking). Результати вийшли приблизно однаковими для кожної із моделей та співпадають із моїм особистим фактчекінгом. Увесь його текст це суцільна маячня. Навіть Grok це каже. Нижче можна переглянути згенеровані результати аналізу.

Gemini

Було виділено 5 фактів, з яких 3 — здебільшого неправда, 1 — потребує перевірки, 1 — частково правда.

Твердження 1: «Володимир Зеленський умовив Сполучені Штати Америки витратити 350 мільярдів доларів, щоб вступити у війну, в якій неможливо перемогти, і яка ніколи не повинна була починатися.»

  • Аналіз: Це суб’єктивне і, ймовірно, перебільшене твердження.
  • Ідея про те, що США були «умовлені» підтримувати Україну, передбачає пасивну роль США, що малоймовірно. Зовнішньополітичні рішення США є складними і обумовлені багатьма факторами.
  • Цифра в 350 мільярдів доларів, ймовірно, перебільшена. Хоча значна допомога була надана, ця сума здається завищеною для періоду з початку війни. (Важливо перевірити офіційні джерела для отримання точних цифр.)
  • Твердження «в якій неможливо перемогти» є суб’єктивною оцінкою потенційного результату війни.
  • «Яка ніколи не повинна була починатися» — це спірне твердження, яке передбачає, що Україна повинна була поступитися територією Росії.
  • Висновок: Здебільшого неправда/суб’єктивно через перебільшення та суб’єктивні твердження.

Твердження 2: «Сполучені Штати витратили на 200 мільярдів доларів більше, ніж Європа, і гроші Європи гарантовані, а Сполучені Штати нічого не отримають натомість.»

  • Аналіз:
  • Твердження про те, що витрати США перевищують витрати Європи на 200 мільярдів доларів, потребує перевірки на основі надійних даних про внески допомоги.
  • Твердження про те, що «гроші Європи гарантовані», є незрозумілим. Ймовірно, це стосується гарантій за кредитами або механізмів заохочення європейських інвестицій у відновлення України.
  • Твердження про те, що «Сполучені Штати нічого не отримають натомість», ігнорує геополітичні вигоди, які отримують США, такі як послаблення стратегічного суперника та зміцнення союзів.
  • Висновок: Потребує перевірки/частково неправда через необхідність перевірки даних та ігнорування геополітичних вигод.

Твердження 3: «Зеленський визнає, що половина грошей, які ми йому надіслали, „ЗНИКЛА“.»

  • Аналіз: Це серйозне звинувачення в корупції. Якби це було правдою, це був би великий скандал.
  • Малоймовірно, що Зеленський публічно визнав би це.
  • Таке звинувачення вимагає вагомих доказів з надійних джерел.
  • Були занепокоєння щодо корупції в Україні, але це твердження, ймовірно, є перебільшенням або перекрученням заяви Зеленського.
  • Висновок: Ймовірно, неправда через неправдоподібність і відсутність надійних джерел.

Твердження 4: «Він відмовляється проводити вибори, має дуже низький рейтинг в українських опитуваннях, і єдине, в чому він був хороший, це грати Байденом, ’як на скрипці’. Диктатор без виборів...»

  • Аналіз:
  • Вибори в Україні були відкладені через війну, що зрозуміло за таких обставин. Однак деякі можуть розцінювати це як привід не довіряти Зеленському.
  • Твердження про низькі показники опитувань потребує перевірки за допомогою надійних даних опитувань.
  • Називати Зеленського «Диктатором без виборів» — це сильна риторика, яка може бути необ’єктивною.
  • Коментар про «грати Байденом, ’як на скрипці’» є суб’єктивною та образливою оцінкою їхніх стосунків.
  • Висновок: Частково правда/Суб’єктивно через відкладення виборів і суб’єктивні характеристики.

Твердження 5: «Тим часом ми успішно ведемо переговори про завершення війни з Росією, що всі визнають, що лише „ТРАМП“ і адміністрація Трампа можуть зробити. Байден ніколи не намагався, Європа не змогла принести мир...»

  • Аналіз:
  • Твердження «ми успішно ведемо переговори» без контексту є розпливчастим.
  • Твердження про те, що лише «ТРАМП» і його адміністрація можуть досягти миру, є суб’єктивним і ігнорує дипломатичні зусилля інших.
  • Байден брав участь у зусиллях з вирішення конфлікту.
  • Заява «Європа не змогла принести мир» є надто спрощеною.
  • Висновок: Здебільшого неправда через суб’єктивні твердження та ігнорування зусиль адміністрації Байдена та європейських країн.

Chat GPT

Було виділено 8 фактів, з яких 2 — Неправда, 4 — Маніпуляція, 1 — Фейк, 1 — Перебільшення.

  1. «Volodymyr Zelenskyy talked the United States into spending $350 Billion Dollars»
    • Неправда. Загальна допомога США Україні з 2022 року становить приблизно $75-80 млрд (включаючи військову, гуманітарну та фінансову підтримку), але не $350 млрд.
  2. «A War that couldn’t be won, that never had to start»
    • Маніпуляція. Війна почалася через повномасштабне вторгнення Росії в Україну 24 лютого 2022 року, а не через дії України чи США.
  3. «The United States has spent $200 Billion Dollars more than Europe»
    • Неправда. Допомога США більша, ніж окремих європейських країн, але ЄС у цілому надав Україні значну підтримку (~$144 млрд станом на 2024 рік).
  4. «Zelenskyy admits that half of the money we sent him is ’MISSING’»
    • Фейк. Немає жодних доказів або заяв Зеленського про те, що половина допомоги «зникла».
  5. «He refuses to have Elections»
    • Маніпуляція. В Україні воєнний стан, а згідно з Конституцією України вибори не можуть проводитися під час воєнного стану.
  6. «Zelenskyy is very low in Ukrainian Polls»
    • Маніпуляція. Опитування показують зниження рейтингу Зеленського, але він все ще залишається найпопулярнішим політиком в Україні.
  7. «Only Trump and his administration can end the war»
    • Маніпуляція. Переговори та можливість завершення війни залежать від позиції Росії, України та міжнародних партнерів, а не тільки від адміністрації США.
  8. «MILLIONS have unnecessarily died»
    • ❌ Перебільшення. Кількість загиблих у війні (як серед військових, так і цивільних) оцінюється в сотні тисяч, але не мільйони.

Висновок: Цей текст містить багато маніпуляцій, неправдивих даних та безпідставних тверджень. Він є частиною пропагандистського наративу, спрямованого на дискредитацію України та її президента Володимира Зеленського.

Grok

Було виділено 6 фактів, з яких всі 6 хибні із неоднозначностями, суб’єктивностями чи не підтвердженими фактами.
  • «Володимир Зеленський, скромно успішний комік, переконав США витратити 350 мільярдів доларів на війну, яку не можна виграти, яка не мала б розпочинатися, але без США та „TRUMP“ її не можна буде завершити.»
    • Оцінка: Хибне. Володимир Зеленський був актором і коміком до своєї політичної кар’єри, але твердження, що він «переконав США витратити 350 мільярдів доларів на війну», є спрощеним і тенденційним. США та їхні союзники надавали допомогу Україні у відповідь на російське вторгнення 2022 року, але це було результатом геополітичних рішень, а не лише впливу Зеленського. Загальна сума допомоги США Україні станом на 2025 рік (з урахуванням моїх оновлених знань) становить приблизно 113 мільярдів доларів (включаючи військову, гуманітарну та економічну допомогу), а не 350 мільярдів. Війна розпочалася через дії Росії, а не через рішення Зеленського чи США.
  • «США витратили 200 мільярдів доларів більше, ніж Європа, і гроші Європи гарантовані, тоді як США нічого не отримають назад.»
    • Оцінка: Хибне/Неоднозначне. Точні цифри щодо розподілу фінансової та матеріальної допомоги від США та Європи змінюються, але загалом Європа (через ЄС та окремі країни, такі як Німеччина, Великобританія, Франція) також надала значну допомогу Україні — приблизно 84 мільярди євро (близько 90 мільярдів доларів) до 2024 року. Різниця в 200 мільярдів доларів між США та Європою здається перебільшеною. Крім того, «гарантованість» європейських коштів і твердження, що США «нічого не отримають назад», є суб’єктивними та не підтверджуються чіткими даними чи угодами.
  • «Сонний Джо Байден не вимагав паритету, адже ця війна важливіша для Європи, ніж для нас — у нас є великий, прекрасний океан як бар’єр.»
    • Оцінка: Хибне/Суб’єктивне. Географічна відстань між США та Європою (згадка про океан) є фактом, але твердження, що війна в Україні «важливіша для Європи», є суб’єктивним. Для США це має стратегічне значення через НАТО, енергетичну безпеку та протидію російській агресії. Байден і його адміністрація вимагали від європейських союзників збільшення внесків, але не «паритету» в сенсі рівних сум, оскільки економічні можливості та ролі різних країн різняться.
  • «Зеленський визнає, що половина грошей, які ми йому надіслали, ’ЗНИКЛА’. Він відмовляється проводити вибори, має дуже низький рейтинг в українських опитуваннях і грає на Байдені, як на скрипці.»
    • Оцінка: Хибне/Не підтверджене. Немає офіційних заяв чи доказів, що Зеленський визнав «зникнення» половини допомоги. Є звинувачення в корупції в Україні, але вони розслідуються, і немає таких масштабних цифр, як «50%». Щодо виборів, у 2023 році в Україні було введено воєнний стан через російське вторгнення, що призупинило вибори, — це законно за Конституцією України, а не «відмова» Зеленського. Рейтинг Зеленського варіювався, але станом на 2024–2025 роки він залишався значним серед українців через його лідерство під час війни, хоча й знизився порівняно з 2022 роком. Твердження про «гра на Байдені» є суб’єктивним і не має конкретних доказів.
  • «Диктатор без виборів, Зеленський має швидко діяти, інакше в нього не залишиться країни. Тим часом ми успішно ведемо переговори про закінчення війни з Росією, що, за загальною згодою, може зробити лише ’TRUMP’ і його адміністрація.»
    • Оцінка: Хибне/Суб’єктивне. Зеленський не є «диктатором» — він був обраний у 2019 році демократичним шляхом і діє в рамках воєнного стану, що є законним. Твердження, що тільки адміністрація Трампа може завершити війну, є суб’єктивним і не підкріплене фактами. Переговори про закінчення війни залежать від багатьох факторів, включаючи позиції Росії, України та міжнародних гравців. Станом на 2025 рік немає підтвердження, що війна закінчилася чи що лише Трамп може це зробити.
  • «Байден ніколи не намагався, Європа не змогла принести мир, а Зеленський, ймовірно, хоче підтримувати ’гравітаційну трасу’. Я люблю Україну, але Зеленський зробив жахливу роботу, його країна зруйнована, і мільйони людей померли даремно.»
    • Оцінка: Хибне/Суб’єктивне. Байден і його адміністрація активно підтримували Україну, включаючи військову та дипломатичну допомогу. Європа також доклала зусиль для миру, але безуспішно через позицію Росії. Твердження про «мільйони загиблих» перебільшене — за оцінками, кількість загиблих у війні в Україні (військових і цивільних) становить десятки тисяч, а не мільйони. Зеленський і його уряд працюють у надзвичайно складних умовах, і оцінка його «жахливої роботи» є суб’єктивною.
Висновок: Текст, представлений у зображенні, містить переважно хибні або суб’єктивні твердження, які не відповідають фактам.

Висновок

Крім маячні про Україну, Фредович та його адміністрація багато говорить про розвиток ШІ та фінансування майбутніх проектів. Хотілось би побажати їм хоча б трохи навчитися користуватися існуючими інструментами ШІ та перед тим, як публікувати подібні тексти перевіряти їх на достовірність, пропаганду та маніпуляції.

А нам своє робити.

P.S. Якщо дочитали сюди пропоную ще прочитати свою статтю Створення набору даних «Моніторинг військових кораблів» за допомогою GenAI-підходу в якій більш предметно розглядається використання методів ШІ.

З того, що побачив найбільше сподобалось зображення-мем про диктатора Зеленського.

👍ПодобаєтьсяСподобалось2
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
встановити правдивість
Gemini, ChatGPT та Grok

Типічний brainrot, ні джерел та ігнор можливих галюцинацій

А фактчекинг ЛЛМ что, делать не надо?

1. Автор з самого початку упередженно ставиться до суб’єкта перевірки і вибудовує конверсейшн таким чином, щоб чат підтвердив його точку зору, що може спотворювати об’єктивність.
2. Автор «перевірив на фактчекінг», але чат не надав посилань на джерела, які використовував для формулювання тверджень, тому інформацію можна вважати ненадійною.
3. Незрозумілі початкові налаштування, формування діалогу та попередній контекст, що може впливати на відповіді і давати різні результати — у тому ж чаті ChatGPT міг враховувати дані з Memory або адаптуватися під політичні вподобання автора з минулих розмов.
4. Автор не враховує можливість галюцінацій моделі

Вважаю це не факт-чекінг, а автор загнав тезиси до LLM, намагався підтвердити свою думку і поділився результатом.

1. Автор з самого початку упередженно ставиться до суб’єкта перевірки і вибудовує конверсейшн таким чином, щоб чат підтвердив його точку зору, що може спотворювати об’єктивність.

Ок, ваш варіант діалогу?

Підхід 1 (нейтральна персона + фактчекер)
— Створити в LLM персону 1, яка не має політичних вподобань і упереджень. Зробити запит на неї для аналізу тверджень.
— Створити персону 2, яка має експертизу у факт-чекінгу та закинути їй аналіз, який провела персона 1 і попросити «розкритикувати» (така персона ніколи не пропустила б і не заапрувила твердження, які надала LLM автору в статті)
— Зробити декілька іттерацій з такими дебатами між персона 1 і персона 2
— Проаналізувати наданні аргументи з обох сторін

Підхід 2 (політизовані персони + фактчекер)
— Створити персона 1, яка має «проукраїнський» набір політичних вподобань
— Створити персона 2, яка має «проамериканський» набір політичних вподобань
— Створити персона 3, яка має «проросійський» набір політичних вподобань
— Зробити в кожну персону запит на аналіз тверджень. Спровокувати спілкування між 3 персонами, де кожна має надати аргументи, які підтверджують їх аналіз і спростувати твердження одна одної
— Запустити персону 4, яка має експертизу у факт-чекінгу, щоб вона перевіряла на якість та коректність аргументи інших персон та заставляла їх посилатись на першоджерела
— Проаналізувати наданні аргументи з усіх персон. Зазвичай якась зі сторін починають надавати якісніші джерела, а персони з «хибним» аналізом зливаютсья і це помітно

Ви написали два хороші сценарії, спробуйте їх реалізувати і буде чудова стаття для ДОУ чи іншого ресурсу. Мій підхід це швидка реакція на ситуацію.

А пункт 2 про джерела і 4 про галюцинації ви проігнорували, тому що зрозуміли свою помилку?

де я проігнорував? я дав відповідь по кожному із пунктів.

наведіть приклади галюцинацій серед тексту та порахуйте відношення галюцинацій до загальної кількості

Яке відношення галюцинацій до правдивої інформації для вас допустимо у факт-чекінку?

але не вважаю, що це якось допоможе в саме цій ситуації, бо якщо тобі кажуть брехню, то не зважаючи на твій спектр політичних вподобань, брехня від того не стане правдою.

1. Все правильно, автор cтавиться негативно до автра твіта та бачить в кожній його фразі маніпуляцію чи брехню, але це ніяк не вплинуло на отримані результати.
2. Інформацію можна вважати не надійною. Пошук джерел не був метою цього матеріалу.
3. Всі результати отримані із першої спроби без додавання додаткових запитань. Чату із LLM не було ні в одному із випадків. ChatGPT не міг врахувати Memory — це був перший пропмт із зареєстрованого акаунту.
4. Галюцинації можливі, саме для цього я вибрав 3 моделі і результат кожної із них показав схожий результат — немає ніяких суттєвих відмінностей. Якщо галюцинація в одному чи кількох із фактів сталась, то це не вплине суттєво на кінцевий результат, бо точність брехні та маніпуляцій близько 100%.

Надіюся, своїми відповідями прояснив ситуацію. Можливо пункти 3 та 4 потрібно було згадати в самому тексті статті.

P.S. Автор не писав наукову статтю.

Класне дослідження: хороша ідея і відмінне виконання.
Як дивно, що розвиток технологій, особливо в інформаційній сфері, не робить людей менш вразливими до маніпуляцій, відвертої брехні та дешевої пропаганди. Мало хто прагне перевіряти факти, просто споживають це лайно і просять добавки.

Супер! Завжди звертайтєся до ШІ, якщо у вас є відчуття, що хтось десь щось перебільшує для вас.
Я вже писав на ДОУ, що ШІ, що зуміють у логіку, революціонізують інформаційні технології

Підписатись на коментарі