Згідно з дослідженням, кожен другий не може відрізнити ШІ від людини в листуванні

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Кафедра когнітивних наук Університету Сан-Дієго провела тест Тюрінга, в якому порівнювали спілкування сучасних ШІ (як-от GPT-3.5 і GPT-4) з людським. Моделі були запрограмовані на певну поведінку (зокрема, вони використовували сленг, робили орфографічні помилки).

В експерименті взяли участь 500 людей, для яких було розроблено гру з інтерфейсом, що нагадує месенджер. Учасники мали п’ятихвилинні розмови з різними співрозмовниками, якими могли бути як люди, так і ШІ. Після кожної розмови вони повинні були визначити, з ким саме спілкувалися.

Учасникам було важко визначити, хто їхній співрозмовник: людина чи машина. Зокрема модель GPT-4 прийняли за людину в 54% випадках, тоді як GPT-3.5 — у 50%.

До речі, в дослідженні взяв участь і простий чатбот ELIZA 1960-х років: він зміг переконати 22% людей.

А ви легко впізнаєте текст, автором якого є ШІ?

Теми: AI, ChatGPT, чат-бот

Ctrl + Enter

Sergiy Morenets Java evangelist 26.06.2024 15:12

Насправді штучний інтелект і створювався для того, щоб допомагати людині, зокрема, з написанням текстів.
Цікаво інше. Скільки років мине, поки ШІ навчиться писати код краще за людину.

Відповісти

Підтримати

Sergey Lysak T/T Lead 26.06.2024 15:56

Скільки років мине, поки ШІ навчиться писати код краще за людину.

Небагато. Бо щоб людині гарно писати — їй треба — писати і отримувати фідбек, щоб покращуватись.
А якщо ШІ буде все більше допомагати, то людина буде писати все гірше і гірше.
От десь і зустрінуться ці криві — ШІ пише все краще, людина все гірше.

Письменники, поети — мабутьзалишаться, бо зазвичай пишуть нетипово. Краще-гірше до них некоректно застосовувати.

Sergiy Morenets

anonymous 25.06.2024 23:07

Юра 25.06.2024 22:09

мене колись вразило... десь вичитав...

дослідники навчили дві нейромережі спілкуватися між собою... обговорювати новини... навіть пліткувати... про третю нейромережу... 🤨

Юра 25.06.2024 22:05

Учасники мали п’ятихвилинні розмови з різними співрозмовниками, якими могли бути як люди, так і ШІ.

аж 5 хвилин базікання — думаю, можна легко визначити...
штучний інтелект все-таки... трохи дерев’яний...
люди зазвичай більш кмітливі...... невже це я написав таке слово 🤔

щоправда, невідомо ж — наскільки в тому тесті можна вільно розмовляти... ставити запитання, наприклад...
і та сторона може казати «не знаю», і спробуй вгадай, хто каже " не знаю" 🤔

Beaver Green 25.06.2024 12:59

Я гадаю що ШІ можна набагато легше викрити на брехні. Такими самими питаннями як і людину. З того, що я бачив — у ШІ поки що доволі погано з контекстом. Тобто він не «пам’ятає» (не враховує в модель) усе що раніше казав. А якщо і враховує — то не вміє робити логічні висновки.
Пам’ятаєте класичний анекдот:

— Мене кличуть їсти, а тебе?
— А мене кличуть Вася.

Впевнений що навіть на таких простих речах ШІ може «спалитися». Особливо якщо він спробує удавати не іноземця, а носія мови. Аби спілкуватись «на рівних» треба розуміти багато прислів’їв, мати деякий культурний бекграунд. Наприклад фраза «Ти ховраха бачиш? І не бачу — а він є». ШІ розуміє що це — мем, але коли співбесідник його використає — йому буде важко зрозуміти що це означає.
Але класичні методи викривання брехні, які діють на людей скоріше за все будуть ще краще діяти на ШІ, який удає людину — а отже має якусь вигадану «легенду». Наприклад можна запитати «Де ти живеш?» і в залежності від відповіді далі запитати «Отже ти ніколи не бачив море? (гори, Дніпро і т.і)». Живе в Одесі але не бачив моря? Живе в Києві але не бачив Дніпра? Тобто ШІ має «знати» якусь інформацію, яку знають більшість мешканців його вигаданого місця перебування.
Ще цікаво як ШІ відповість якщо йому «підсунути» факти, про які він не пам’ятає. Наприклад фраза «Ти ж казав що у тебе живе кішка, а не кіт?» — чи здатен ШІ пригадати що він нічого не казав мені а ні про кішку, а ні про кота?