«Восстание машин»: какие угрозы стоят за развитием искусственного интеллекта и как себя обезопасить

Еще несколько десятков лет назад, когда на экраны вышли «Космическая одиссея 2001 года», «Терминатор», «Я, робот», показанные в фильме картины будущего казались полностью фантастическими. Но с каждым годом мы подходим к ним все ближе, создавая новые технологии. Искусственный интеллект уже давно превосходит человеческий: суперкомпьютеры обыгрывают в шахматы гроссмейстеров, успешно оценивают инвестиционные риски, диагностируют болезни на ранних стадиях.

У нас в Postindustria вышел новый выпуск подкаста про AI safety, в котором мы говорили про ИИ будущего, и как человечеству безопасно с ним взаимодействовать. Приглашенный гость AI & Data Science Engineer Михаил Гирняк рассказал, какие риски для людей несут в себе роботы (спойлер: нет, сюжет «Терминатора», скорее всего, не повторится) и почему беспокоиться о безопасности следует уже сейчас.

Послушать можно здесь:
Apple Podcasts
Google Podcasts

Расшифровка основных тезисов обсуждения и размышления, что же нас может поджидать в будущем можно почитать в статье ниже.

Что такое интеллект общего назначения

Рано или поздно человечество создаст искусственный агент с интеллектом общего назначения. Что это означает? Начнем с терминов.

Агент — это сущность, у которой есть некая цель. Помимо этого, агенту доступен ряд действий: он может выбирать те, которые помогут достичь цели. В качестве простейшего примера агента рассмотрим термостат. Его цель — поддерживать в комнате определенную температуру. В рамках этой задачи он может включать или выключить кондиционер, управлять терморегулятором на батарее и так далее.

Другой пример: искусственный интеллект, который играет в шахматы. Его цель — выиграть партию, и для этого он может перемещать фигуры по физической или виртуальной доске, следуя заданным правилам.

У агента всегда есть некоторая информация на входе, которая позволяет ему принимать решения. Он ее черпает из доступных источников: камер, сенсоров, датчиков. Затем, чтобы выбрать самое эффективное действие для достижения цели, агент задействует свой интеллект.

Агент может быть частного или общего назначения. Все современные системы с искусственным интеллектом относятся к первой категории. Тот же термостат выполняет одну-единую задачу — управляет температурой. Искусственный шахматист кажется более продвинутой системой, чем термостат, но у него тоже только одна функция — играть в шахматы.

Тогда как интеллект общего назначения — это система, которая способна работать в широком спектре проблем. Рассмотрим пример из природы — это никто иной, как человек. Мы, люди, можем овладеть даже теми навыками, к которым эволюция нас не готовила. Например, человек способен научиться водить машину или даже построить ракету и полететь в космос.

Раз природа создала агента с интеллектом общего назначения, значит, это не магия: это в принципе возможно. Когда-то и мы сможем разработать такую систему — это лишь дело времени. И в этом же кроется главный риск: ведь мы еще не придумали, как защитить себя от потенциального «восстания машин».

Почему искусственный интеллект может быть опасен

Чем эффективнее агент достигает своей цели, тем более совершенным и продвинутым мы его считаем. Но искусственный интеллект под эффективностью может «подразумевать» не совсем то, что в это понятие вкладывают люди.

Есть такая игра — Coast Runner, это гонка на катерах. В компании OpenAI в ходе эксперимента обучили искусственный интеллект проходить гонку: целью агента было набрать как можно больше очков. Разработчики считали, что таким образом он научится приезжать к финишу быстрее всех — но вместо этого катер под управлением нейросети нашел место, в котором он может двигаться по кругу с определенной скоростью и собирать бустеры, которые дают очки. Так он бесконечно набирал баллы, не заканчивая игру. Для разработчиков результат стал сюрпризом: никто не ожидал, что искусственный интеллект найдет такую лазейку.

Похожая история: разработчики обучили нейросеть играть в тетрис. В ходе игры робот набирал очки — а перед тем, как проиграть (в тетрисе это неизбежно), ставил игру на паузу и отказывался ее продолжить. Искусственный интеллект вычислил, что это — единственная возможность сохранить баллы, ведь если отпустить паузу, они обнуляться при проигрыше. Как в том анекдоте: первые испытания бомбы с искусственным интеллектом закончились неудачей — она отказалась выталкиваться из самолета.

Рассмотрим еще один случай — более серьезный, так как непредсказуемое поведение искусственного интеллекта могло бы нести угрозу непосредственно людям. Речь идет о разработке экспертных систем для помощи судьям. Так получилось, что в учебном наборе данных было много чернокожих преступников, а потому нейросеть при формировании судебного заключения стала отдавать предпочтение белым людям.

Тогда разработчики убрали из наборов данных всю личную информацию, которую можно соотнести с расой: имена, фамилии, упоминания о внешности — чтобы все подсудимые были равны. Но это не заставило нейросеть отказаться от оценок по цвету кожи: она научилась распознавать расу по адресу человека, ведь в США большинство афро-американцев живут в общинах по соседству друг с другом.

Таким образом, в реальной жизни искусственный интеллект не всегда действует по сценарию, который предполагали программисты. Чем это чревато — объяснять не нужно.

Возможно ли настроить моральный компас робота

Поведение искусственного интеллекта зависит от того, какую целевую функцию ему прописали создатели. Как показывают примеры выше, недостаточно просто указать цель — ведь робот может пойти к ней не тем путем, который мы подразумевали. Нужно задать дополнительный ряд правил и условий, чтобы робот интерпретировал свою задачу правильно.

Представим себе, что человек едет на работу. Звучит просто, но по пути он принимает миллион решений, взвешивая различные факторы. Например: проехать на красный и не опоздать — или же следовать правилам, но приехать позже. А если автомобилем управляет автопилот — какое он должен принять решение? Очевидно, он запрограммирован не нарушать ПДД, но если владелец поставит ему задачу во чтобы то ни было приехать вовремя — возникнет противоречие.

Предусмотреть разные сценарии и прописать приоритеты — это задача разработчиков, которые создают конкретный искусственный интеллект. Но загвоздка в том, что не возможно учесть все.

К примеру, на дороге неизбежна авария, и машина может взять правее, сбив бабушку, или левее, сбив молодую женщину с ребенком. Во-первых, это моральные вопросы — и у людей нет единого консенсуса, как следует действовать в таких ситуациях, можно ли сохранять жизнь одним людям в ущерб других зависимо от возраста, пола или других критериев. Во-вторых, даже если моральный вопрос решен — например, при выборе между человеком и собакой сбивать животное, — то вряд ли разработчики сумеют создать полный и исчерпывающий список всех пород собак, которые могут выпрыгнуть на дорогу. А ведь есть еще кошки, лисицы, белки, еноты, олени, лоси.

Искусственный интеллект обучают только на определенном, конечном подмножестве переменных — и если разработчики забыли о чем-то важном, итоговое поведение робота может оказаться нежелательным или и вовсе неприемлемым. Его моральный компас относительно вещей, которых не было в учебной выборке, может сильно отличаться от нашего.

Специалист по AI safety Роберт Майлз приводит гипотетический пример: допустим, робота обучили готовить чай и подавать его владельцу. Как-то раз он едет заваривать напиток и по пути сбивает дорогую вазу. Владелец выключает робота и прописывает ему новое ограничение: не разбивать хрупкие предметы. Сначала все идет хорошо, но однажды робот видит, как другую вазу задевает какой-то человек. Из этого искусственный интеллект может сделать вывод, что надо убить этого человека — чтобы уберечь вазу. Ведь его обучили, что вазы — это ценные объекты, а про людей такого не говорили.

Чем более продвинутый интеллект мы разрабатываем, тем сложнее описать целевую функцию и сформировать обучающую выборку — ведь нужно учитывать все большее число переменных.

Чего ожидать от будущего бок о бок с машинами

Понятие «робот» ворвалось в нашу жизнь относительно недавно — но о том, как безопасно сотрудничать с нечеловеческим интеллектом, думали еще древние философы. Вспомним легенду о царе Мидасе: он попросил богов о даре превращать в золото все, чего касается, и не учел, что еда в его руках тоже станет металлом — типичная проблема с некорректной постановкой целевой функции. У разных народов есть сказки о волшебной рыбке, джиннах, трикстерах — как правило, те, кто загадывают желания, в конце остаются не особо довольны.

Писатель Айзек Азимов предложил три закона робототехники, которые должны регулировать отношения людей и машин. Но в реальной жизни они бы не сработали — потому что в законах применяются наши, человеческие термины, которые непонятны для искусственного интеллекта. Как минимум робот не знает, кого считать человеком — например, относить ли к категории «Люди» тех, кто находятся в коме и чей мозг уже не активен?

К слову, сюжет «Терминатора» — тоже не реалистичный. Если роботам не закладывали цель убивать людей, у них не будет причин это делать просто так.

Разве что могли бы пострадать те, кто попались под руку случайно, помешав искусственному интеллекту реализовывать какую-то свою задачу. Такие инциденты случались еще в эпоху до создания искусственного интеллекта — есть несколько зарегистрированных смертей от роботов на производствах.

Маловероятен в жизни и сценарий с роботом, который разбил вазу, а затем хозяин его выключил и переобучил. Если робот достаточно умный, он не захочет, чтобы его выключали (вспомним «Космическую одиссею 2001 года»), ведь это помешает ему выполнять изначальную задачу — заваривать чай. Поэтому он будет сопротивляться: вероятно, обманет хозяина, чтобы избежать выключения.

Подведем итоги. Мы обязательно рано или поздно создадим искусственный агент с интеллектом общего назначения — это неизбежно. При этом он не сможет рассуждать человеческими категориями, и его моральный компас будет зависть от того, сумеем ли мы грамотно задать его целевую функцию. Именно в этом заключается главная угроза в плане безопасности, и нам предстоит решить эту задачу до того, как такие роботы станут доступны широкому кругу потребителей.

Что почитать для вдохновения:

• «Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта», Марк Тегмарк;
• Трилогия «Память о прошлом Земли», Лю Цысинь;
• «Роботсвилль», Роберт Шекли.