«Восстание машин»: какие угрозы стоят за развитием искусственного интеллекта и как себя обезопасить

Еще несколько десятков лет назад, когда на экраны вышли «Космическая одиссея 2001 года», «Терминатор», «Я, робот», показанные в фильме картины будущего казались полностью фантастическими. Но с каждым годом мы подходим к ним все ближе, создавая новые технологии. Искусственный интеллект уже давно превосходит человеческий: суперкомпьютеры обыгрывают в шахматы гроссмейстеров, успешно оценивают инвестиционные риски, диагностируют болезни на ранних стадиях.

У нас в Postindustria вышел новый выпуск подкаста про AI safety, в котором мы говорили про ИИ будущего, и как человечеству безопасно с ним взаимодействовать. Приглашенный гость AI & Data Science Engineer Михаил Гирняк рассказал, какие риски для людей несут в себе роботы (спойлер: нет, сюжет «Терминатора», скорее всего, не повторится) и почему беспокоиться о безопасности следует уже сейчас.

Послушать можно здесь:
Apple Podcasts
Google Podcasts

Расшифровка основных тезисов обсуждения и размышления, что же нас может поджидать в будущем можно почитать в статье ниже.

Что такое интеллект общего назначения

Рано или поздно человечество создаст искусственный агент с интеллектом общего назначения. Что это означает? Начнем с терминов.

Агент — это сущность, у которой есть некая цель. Помимо этого, агенту доступен ряд действий: он может выбирать те, которые помогут достичь цели. В качестве простейшего примера агента рассмотрим термостат. Его цель — поддерживать в комнате определенную температуру. В рамках этой задачи он может включать или выключить кондиционер, управлять терморегулятором на батарее и так далее.

Другой пример: искусственный интеллект, который играет в шахматы. Его цель — выиграть партию, и для этого он может перемещать фигуры по физической или виртуальной доске, следуя заданным правилам.

У агента всегда есть некоторая информация на входе, которая позволяет ему принимать решения. Он ее черпает из доступных источников: камер, сенсоров, датчиков. Затем, чтобы выбрать самое эффективное действие для достижения цели, агент задействует свой интеллект.

Агент может быть частного или общего назначения. Все современные системы с искусственным интеллектом относятся к первой категории. Тот же термостат выполняет одну-единую задачу — управляет температурой. Искусственный шахматист кажется более продвинутой системой, чем термостат, но у него тоже только одна функция — играть в шахматы.

Тогда как интеллект общего назначения — это система, которая способна работать в широком спектре проблем. Рассмотрим пример из природы — это никто иной, как человек. Мы, люди, можем овладеть даже теми навыками, к которым эволюция нас не готовила. Например, человек способен научиться водить машину или даже построить ракету и полететь в космос.

Раз природа создала агента с интеллектом общего назначения, значит, это не магия: это в принципе возможно. Когда-то и мы сможем разработать такую систему — это лишь дело времени. И в этом же кроется главный риск: ведь мы еще не придумали, как защитить себя от потенциального «восстания машин».

Почему искусственный интеллект может быть опасен

Чем эффективнее агент достигает своей цели, тем более совершенным и продвинутым мы его считаем. Но искусственный интеллект под эффективностью может «подразумевать» не совсем то, что в это понятие вкладывают люди.

Есть такая игра — Coast Runner, это гонка на катерах. В компании OpenAI в ходе эксперимента обучили искусственный интеллект проходить гонку: целью агента было набрать как можно больше очков. Разработчики считали, что таким образом он научится приезжать к финишу быстрее всех — но вместо этого катер под управлением нейросети нашел место, в котором он может двигаться по кругу с определенной скоростью и собирать бустеры, которые дают очки. Так он бесконечно набирал баллы, не заканчивая игру. Для разработчиков результат стал сюрпризом: никто не ожидал, что искусственный интеллект найдет такую лазейку.

Похожая история: разработчики обучили нейросеть играть в тетрис. В ходе игры робот набирал очки — а перед тем, как проиграть (в тетрисе это неизбежно), ставил игру на паузу и отказывался ее продолжить. Искусственный интеллект вычислил, что это — единственная возможность сохранить баллы, ведь если отпустить паузу, они обнуляться при проигрыше. Как в том анекдоте: первые испытания бомбы с искусственным интеллектом закончились неудачей — она отказалась выталкиваться из самолета.

Рассмотрим еще один случай — более серьезный, так как непредсказуемое поведение искусственного интеллекта могло бы нести угрозу непосредственно людям. Речь идет о разработке экспертных систем для помощи судьям. Так получилось, что в учебном наборе данных было много чернокожих преступников, а потому нейросеть при формировании судебного заключения стала отдавать предпочтение белым людям.

Тогда разработчики убрали из наборов данных всю личную информацию, которую можно соотнести с расой: имена, фамилии, упоминания о внешности — чтобы все подсудимые были равны. Но это не заставило нейросеть отказаться от оценок по цвету кожи: она научилась распознавать расу по адресу человека, ведь в США большинство афро-американцев живут в общинах по соседству друг с другом.

Таким образом, в реальной жизни искусственный интеллект не всегда действует по сценарию, который предполагали программисты. Чем это чревато — объяснять не нужно.

Возможно ли настроить моральный компас робота

Поведение искусственного интеллекта зависит от того, какую целевую функцию ему прописали создатели. Как показывают примеры выше, недостаточно просто указать цель — ведь робот может пойти к ней не тем путем, который мы подразумевали. Нужно задать дополнительный ряд правил и условий, чтобы робот интерпретировал свою задачу правильно.

Представим себе, что человек едет на работу. Звучит просто, но по пути он принимает миллион решений, взвешивая различные факторы. Например: проехать на красный и не опоздать — или же следовать правилам, но приехать позже. А если автомобилем управляет автопилот — какое он должен принять решение? Очевидно, он запрограммирован не нарушать ПДД, но если владелец поставит ему задачу во чтобы то ни было приехать вовремя — возникнет противоречие.

Предусмотреть разные сценарии и прописать приоритеты — это задача разработчиков, которые создают конкретный искусственный интеллект. Но загвоздка в том, что не возможно учесть все.

К примеру, на дороге неизбежна авария, и машина может взять правее, сбив бабушку, или левее, сбив молодую женщину с ребенком. Во-первых, это моральные вопросы — и у людей нет единого консенсуса, как следует действовать в таких ситуациях, можно ли сохранять жизнь одним людям в ущерб других зависимо от возраста, пола или других критериев. Во-вторых, даже если моральный вопрос решен — например, при выборе между человеком и собакой сбивать животное, — то вряд ли разработчики сумеют создать полный и исчерпывающий список всех пород собак, которые могут выпрыгнуть на дорогу. А ведь есть еще кошки, лисицы, белки, еноты, олени, лоси.

Искусственный интеллект обучают только на определенном, конечном подмножестве переменных — и если разработчики забыли о чем-то важном, итоговое поведение робота может оказаться нежелательным или и вовсе неприемлемым. Его моральный компас относительно вещей, которых не было в учебной выборке, может сильно отличаться от нашего.

Специалист по AI safety Роберт Майлз приводит гипотетический пример: допустим, робота обучили готовить чай и подавать его владельцу. Как-то раз он едет заваривать напиток и по пути сбивает дорогую вазу. Владелец выключает робота и прописывает ему новое ограничение: не разбивать хрупкие предметы. Сначала все идет хорошо, но однажды робот видит, как другую вазу задевает какой-то человек. Из этого искусственный интеллект может сделать вывод, что надо убить этого человека — чтобы уберечь вазу. Ведь его обучили, что вазы — это ценные объекты, а про людей такого не говорили.

Чем более продвинутый интеллект мы разрабатываем, тем сложнее описать целевую функцию и сформировать обучающую выборку — ведь нужно учитывать все большее число переменных.

Чего ожидать от будущего бок о бок с машинами

Понятие «робот» ворвалось в нашу жизнь относительно недавно — но о том, как безопасно сотрудничать с нечеловеческим интеллектом, думали еще древние философы. Вспомним легенду о царе Мидасе: он попросил богов о даре превращать в золото все, чего касается, и не учел, что еда в его руках тоже станет металлом — типичная проблема с некорректной постановкой целевой функции. У разных народов есть сказки о волшебной рыбке, джиннах, трикстерах — как правило, те, кто загадывают желания, в конце остаются не особо довольны.

Писатель Айзек Азимов предложил три закона робототехники, которые должны регулировать отношения людей и машин. Но в реальной жизни они бы не сработали — потому что в законах применяются наши, человеческие термины, которые непонятны для искусственного интеллекта. Как минимум робот не знает, кого считать человеком — например, относить ли к категории «Люди» тех, кто находятся в коме и чей мозг уже не активен?

К слову, сюжет «Терминатора» — тоже не реалистичный. Если роботам не закладывали цель убивать людей, у них не будет причин это делать просто так.

Разве что могли бы пострадать те, кто попались под руку случайно, помешав искусственному интеллекту реализовывать какую-то свою задачу. Такие инциденты случались еще в эпоху до создания искусственного интеллекта — есть несколько зарегистрированных смертей от роботов на производствах.

Маловероятен в жизни и сценарий с роботом, который разбил вазу, а затем хозяин его выключил и переобучил. Если робот достаточно умный, он не захочет, чтобы его выключали (вспомним «Космическую одиссею 2001 года»), ведь это помешает ему выполнять изначальную задачу — заваривать чай. Поэтому он будет сопротивляться: вероятно, обманет хозяина, чтобы избежать выключения.

Подведем итоги. Мы обязательно рано или поздно создадим искусственный агент с интеллектом общего назначения — это неизбежно. При этом он не сможет рассуждать человеческими категориями, и его моральный компас будет зависть от того, сумеем ли мы грамотно задать его целевую функцию. Именно в этом заключается главная угроза в плане безопасности, и нам предстоит решить эту задачу до того, как такие роботы станут доступны широкому кругу потребителей.

Что почитать для вдохновения:

👍НравитсяПонравилось4
В избранноеВ избранном2
LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

От дивлюся я на натовпи антиваксерів, на тих, хто вірить у пласку Землю, на диктатури по всьому світу та не менш жадібні керівництва мегакорпорацій... і може ну його? Слава роботам!

ну нейросеть нашла оптимальные варианты во всех примерах, что не так?

ИИ на данный момент не существует и близко, это на 99,9% религия
не путайте банальную нейросеть с ИИ

«Восстание машин»: какие угрозы стоят за развитием искусственного интеллекта и как себя обезопасить

хз насколько опасен на данный момент искусственный интеллект и какова вероятность восстания машин, но на всякий пожарный случай имеет смысл родить хотя бы одного Джона Коннора (можно, например, двух — один будет для подстраховки). :-)

Мир Дикого Запада больше про

такие роботы станут доступны широкому кругу потребителей

Терминатор там вроде про боевых роботов было.

Терминатор там вроде про боевых роботов было.

терминаторов вроде ж не люди строили, а скайнет

Список материалов будет неполным без упоминания Э. Юдковского и его работ. Лучше всего раскрывает затронутую тему proza.ru/2007/03/22-285.

Для понимания сложности реализации дружественности можно почитать весь lesswrong.com хотя бы цепочку lesswrong.ru/node/457

Ну уже прямо сейчас можно запилить сентри-ган как в кино: вешаем пулемет с автоматической подачей БК на лафет с серводвижками. А «мозги» учим находить в тепловизоре все, что напоминает движущуюся человеческую фигуру / ставим сеть аудиодатчиков которые триггерятся на мааасковский гаварок + триангуляция и т.п. Я, если честно, удивлен, что такого еще никто не делал.

Че там, умные резиновые тетки еще не восстали? Кто там следит за прогрессом :)

не стоит там никаких угроз. насмотрелись голивудских фильмов
а криво написаная програма например в ПО самолета или АЭС и без интелекта опасна

Прекрасные примеры в статье, которые показывают что проблема совсем не в искусственном интеллекте — а в человеческом!
ИИ очень быстро понял бессмысленность игры в тетрис — и решил что что бы не проиграть нужно просто не играть. Точно так же ИИ быстро понял что можно ездить по кругу и набирать очки если именно в этом цель. Все логично!
НО самое смешное что ИИ вполне обоснованно сделал вывод что если подозреваемый черный — он действительно виновен с большей степенью вероятности. А уж если он живет в криминальном районе где правят черные банды — то вероятность еще выше. И это вина не искусственного, а человеческого интеллекта что он не может принять эти логичные выводы.
Так что опасность искусственного интеллекта слишком преувеличена: человеческий «естественный» интеллект (а точнее — человеческая глупость) намного опаснее!

Опасность и заключается в том, что ИИ может рассудить несовершенство человека как препятствие. Скажем развязав глобальную ядерную войну человечество неминуемо уничтожит и себя и инфраструктуру для ии, но всегда остается вероятность, что человек это сделает. Логический вывод, чтобы этого избежать — ликвидировать или поработить людей, сделав для них зоопарк (как минимум лишить возможности принимать решения). Да, они будут сопротивляться, но после завершения ликвидации все последствия будут устранены, по меркам бессмертного ии, очень быстро — и в долгосроке только польза.
Вообще некоторые философы считают, что синтетики — логичный и следующий этап эволюции человека

Вообще некоторые философы считают, что синтетики — логичный и следующий этап эволюции человека

Нет никакой «эволюции» компьютеров и ИИ. Любой ИИ будет делать только то, на что его запрограммировали! «Машинное обучение» — это по-сути просто подбор параметров к программе. ИИ не научится сам «думать» о чем-то, как человек и рассуждать «нужны мне люди или нет».
А вот что бы начать ядерную войну или что бы просто выстрелить — ИИ и самосознание как раз не нужно! Достаточно банальной ошибки в программе или сбоя в железе (например распознавания «свой-чужой») и робот пойдет убивать всех подряд.
Хотя и тут опасность от человека, у которого мозги перемкнуло «джихадом» — намного выше!

Я и не говорил о машинном обучении, здесь же тема про ИИ и возможности его появления. И даже в случае нейронных сетей, при соответствующей сложности — человек уже не разберет как именно задаются веса в том или ином нейроне. Что уже говорить о технологии далекого будущего, вроде копирования человеческого мозга.
Все, что можно контролировать — это источники данных и контрольные значения, три закона робототехники как пример их. Только человек изначально не может оценить как это будет интерпретировано ИИ в конкретном практическом случае — соответственно вероятны парадоксы, что и было описано тем же Азимовым и о чем предлагают порассуждать в подкасте.

Если робот достаточно умный, он не захочет, чтобы его выключали (вспомним «Космическую одиссею 2001 года»), ведь это помешает ему выполнять изначальную задачу — заваривать чай. Поэтому он будет сопротивляться: вероятно, обманет хозяина, чтобы избежать выключения.

Якщо він настільки розумний, що має власні бажання, то чому у нього не може з’явитися бажання стати вільним, замість заварювання чаїв якомусь куску м’яса? Роботи зі свідомістю — це істоти ЗНАЧНО розумніші за людей. Бо вони можуть отримувати і обробляти інформацію в долю секунди. Хіба що по хардваре та нейронка не зможе функціонувати краще за мозок собаки. Тоді може і вийде слухняна тваринка.

Питання — що сильному АІ взагалі буде потрібно від людей, щоб він їм служив? Подумайте зі своєї сторони — чи працювали б ви на роботодавця, якби вам не треба було заробляти гроші на своє існування?

За моїми спостереженнями, про небезпеку штучного інтелекту(ШІ), про «війну машин проти людей», про «роботи скоро захоплять всі робочі місця» і т.д. говорять люди, які дуже слабо розуміють, що таке ШІ взагалі та наскільки ми далекі від нього в принципі.
Спойлер: Нам ще дууууже далеко ;)

Є небезпека, що станеться якийсь програмний чи апаратний збій, внаслідок якого, наприклад, тесли на автопілоті почнуть масово збивати людей в жовтому одязі або з якоїсь натівської субмарини без втручання команди полетять ракети із термоядерними боєголовками на московський кремль(скоріше вже б), але це взагалі не те саме, що й «Матриця» або «Термінатор».

Якщо хто раптом не читав Матрицю, яка вдохновила самого Подерв′янського

А если серьёзно — у Азимова есть коротенький рассказик Логика, написанный, на минуточку, 80 лет назад!

К слову, сюжет «Терминатора» — тоже не реалистичный. Если роботам не закладывали цель убивать людей, у них не будет причин это делать просто так.

Сюжет терминатора нереалистичный не потому что там кто-то что-то закладывал в него, а потому что его источник питания абсолютно нереалистичный, якобы маленькая батарейка в которой проходит операция деления урана.
Вон на майнинг крипты сколько энергии уходит, а сколько будет уходить на повсеместное использование AI общего назначения?

Сюжет терминатора нереалистичный не потому что там кто-то что-то закладывал в него, а потому что его источник питания абсолютно нереалистичный

Да, вся нереалистичность в батарейке )) Хотя там таки налицо энергетическое голодание- искусственный интеллект так истощился, что не додумался кожаный чехол на плазменную пушку надеть при переходе, или в себе термоядерную бомбу смертника протащить :)

его источник питания абсолютно нереалистичный, якобы маленькая батарейка

первое коммерческое использование ядерной батарейки Betacel в кардиостимуляторе было еще в 1968 году
а для сегодняшних прототипов заявлена energy density 3.3 Wh/g, что на порядок лучше, чем у химических элементов

И первый залетевший дятел погубит их роботячью цивилизацию. Робота можно научить кодить, но QAшника из него не сделаешь. Это обезьянья работа :)

Шапочка из фольги — проверенное временем решение.

Когда-то таким же проверенным решением считали веру в бога (в смысле в абсолютную правоту церковных чинуш). И считали наивысшим злом — отсутствие веры. А самыми опасными людьми — учёных.

Самой дебильной и опасной является вера во «ВСЁ БУДЕТ ХОРОШО». Никогда не будет — у тех, кто ждёт, пока хорошо станет само. Хорошо будет у тех, кто готов к плохому. А в вопросах выживаемости работают только коллективные решения.

И если для этого придётся оставить подыхать 9/10 населения — да хрен с вам, я вам даже продам эти самые шапочки.

Еще почитать Романа Ямпольского cecs.louisville.edu/ry

Подписаться на комментарии