Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

8.5 Морально-этические вопросы применительно к ИИ

На свете есть мало занятий, — сказал Ме-ти, — которые бы так расшатывали мораль человека, как занятия моралью. Мне доводилось слышать: надо быть правдолюбивым, надо выполнять свои обещания, надо бороться за добро. Но деревья не говорят: надо быть зелёными, фрукты должны падать на землю вертикально вниз; надо шелестеть листвой, когда подует ветер.

Бертольд Брехт. Ме-ти. Книга перемен [3332]

3332

^* Пер. С. Земляного.

Развернувшаяся в последние годы гонка гигантских трансформерных архитектур — ещё один довод в пользу необходимости создания новых моделей. Исследователи в области глубокого обучения

отлично это понимают, что и показывает активный поиск ими новых разновидностей разреженных трансформеров. Конечно, гонка больших моделей будет продолжена даже при появлении новых, более эффективных архитектур, но ведь возможности этих архитектур, умноженные на мощь новых аппаратных средств, сулят ещё больший прогресс в решении задач ИИ. Забавно, что революция трансформеров в NLP в некотором смысле вернула нас в эпоху мейнфреймов, только на совершенно новом технологическом уровне. Вновь для решения некоторых типовых для индустрии задач нужны машины, которые пока что слишком дороги, чтобы предоставить их в индивидуальное пользование. Рассказы родителей об их работе на компьютерах с терминальным доступом за пару лет из «преданий старины глубокой» превратились во вполне актуальный нарратив.

Ещё к одной интересной проблеме современного ИИ привлекли внимание общества французский исследователь Жан-Франсуа Боннфон и его коллеги. В 2016 г. Боннфон, Азим Шариф и Ияд Рахван опубликовали в журнале Science статью под названием «Социальная дилемма автономных транспортных средств» (The social dilemma of autonomous vehicles) [3333] . В ней они задались вопросом о том, что, хотя массовое внедрение автономного транспорта может сократить общее количество жертв на дорогах, в определённых ситуациях автопилотам придётся совершать выбор из двух зол, который непросто сделать и человеку. Речь идёт о ситуациях, напоминающих знаменитую проблему вагонетки (Trolley problem) — мысленный эксперимент, впервые сформулированный в 1967 г. английским философом Филиппой Фут. Фут использовала несколько формулировок своего эксперимента, вот одна из его современных формулировок: «Представьте себе, что тяжёлая неуправляемая вагонетка мчится по рельсам в направлении стрелки, которую вы можете переключить. В зависимости от положения стрелки вагонетка продолжит свой путь по одному из путей. На первом из них (по нему вагонетка пойдёт, если стрелку не переключить) лежит пятеро человек, привязанных к рельсам сумасшедшим философом. На другом пути к рельсам привязан лишь один человек».

3333

Bonnefon J.-F., Shariff A., Rahwan I. (2016). The social dilemma of autonomous vehicles / Science, Vol. 352, Iss. 6293, pp. 1573—1576 // https://doi.org/10.1126/science.aaf2654

Участникам этого мысленного эксперимента предлагается сделать выбор: либо остаться безучастными, что приведёт к гибели пяти человек, либо вмешаться — в результате чего погибнет только один несчастный. Также, для исключения юридического аспекта, иногда добавляют оговорку типа: «Вас никто не видит, и никто не узнает о принятом вами решении».

Выбор в пользу вмешательства обычно ассоциируют с утилитаристской (утилитарной) этикой, то есть такой этической системой, в которой моральная ценность поступка определяется его полезностью, под которой подразумевается суммарное удовольствие или счастье, полученное всеми сторонами. Исследования показывают, что большинство людей в наши дни выбирают именно этот вариант, но есть и те, кто предпочитают путь невмешательства: в конце концов, на первом пути могут быть привязаны пять условных Гитлеров, а на втором — условный Эйнштейн. «Кто мы, чтобы не дать свершиться божественному провидению и решать, кому жить, а кому умереть?» — могут сказать приверженцы какой-нибудь человеколюбивой религии. Однако таких в нашем обществе, похоже, всё-таки меньшинство. Ситуация перестаёт быть такой однозначной, если исходный эксперимент подвергнуть небольшой модификации, как это сделала философ Джудит Томсон. В её формулировке задача становится следующей: «Как и прежде, вагонетка несётся по рельсам, к которым привязаны пять человек. Вы находитесь на мосту, который проходит над рельсами. У вас есть возможность остановить вагонетку, бросив на пути что-нибудь тяжёлое. Рядом с вами находится толстый человек, и единственная возможность остановить вагонетку — столкнуть его с моста на пути. Каковы ваши действия?»

Возможно, в силу того, что совершать насилие без посредника в виде механизма сложнее, а может быть, в силу того, что толстяк может оказать сопротивление, людям труднее совершить в такой ситуации утилитарный выбор. Будучи толстяком, в этом эксперименте я обладаю уникальной третьей возможностью — прыгнуть на рельсы самостоятельно, но по условиям эксперимента выбор следует сделать всё-таки из двух зол, а не из трёх. К настоящему времени специалисты по этике и просто шутники придумали множество собственных модификаций проблемы вагонетки. В Facebook мемам, связанным с проблемой вагонетки, посвящено целое сообщество — Trolley problem memes.

Какое

всё это имеет отношение к автономному транспорту? Самое непосредственное. В случае отказа тормозов или в результате внезапно возникшей на дороге ситуации автопилот может быть поставлен перед выбором, аналогичным выбору в проблеме вагонетки. И если в ситуации выбора между, например, гибелью пяти пешеходов или одного решение более-менее очевидно, как осуществить выбор, например, между гибелью старика и гибелью ребёнка? А что, если выбор заключается в том, совершить ли наезд на пешеходов или принести в жертву пассажиров автомобиля ради спасения пешеходов (резко вывернув руль и направив транспортное средство в отбойник). Определение алгоритмов, которые помогут автономным транспортным средствам принимать такие этические решения, является сложной задачей. Авторы исследования обнаружили, что участники шести исследований на платформе Amazon Mechanical Turk в основном одобрили использование автономными транспортными средствами утилитарной этики (предполагающей принесение в жертву пассажиров транспортного средства в ситуациях, когда это позволяет спасти больше жизней), но хотели бы, чтобы такие автомобили покупали другие люди, в то время как сами предпочли бы ездить в машине, автопилот которой защищает пассажиров любой ценой. Соответственно, реализация в автопилотах утилитарных алгоритмов может привести к нежеланию людей ими пользоваться и парадоксальным образом увеличить количество жертв. В общем, простая система правил в духе азимовских «трёх законов робототехники» вряд ли поможет решить все этические проблемы, возникающие из-за использования систем ИИ. Вряд ли существует универсальный набор принципов, который устроил бы всех. Конечно, существуют правила дорожного движения, которые обязательны к соблюдению всеми его участниками, но они не регламентируют действия водителя транспортного средства во многих нештатных ситуациях, что оставляет пространство для этического выбора.

Исследование этических проблем автономных транспортных средств было позже продолжено расширенным коллективом авторов в рамках проекта Moral machine — «Моральная машина» (или «Машина морали»?) [3334] ^, [3335] . Зайдя на сайт проекта, любой желающий может поучаствовать в выборе «правильных» решений автопилота в различных критических ситуациях с участием двух групп людей (или животных). Каждая из этих групп включает от одного до пяти персонажей, при этом, в зависимости от принятого решения, одна из групп обречена на смерть, а вторая будет спасена.

3334

Марков А. (2018). Моральные проблемы беспилотных автомобилей не имеют универсального решения / Элементы, 29.10.2018 // https://elementy.ru/novosti_nauki/433355/Moralnye_problemy_bespilotnykh_avtomobiley_ne_imeyut_universalnogo_resheniya

3335

Awad E., Dsouza S., Kim R., Schulz J., Henrich J., Shariff A., Bonnefon J.-F., Rahwan I. (2018). The Moral Machine experiment / Nature, Vol. 563, pp. 59—64 // https://doi.org/10.1038/s41586-018-0637-6

В каждой из дилемм у беспилотного автомобиля внезапно отказали тормоза, в то время как перед ним кто-то переходит дорогу (либо по правилам, либо нарушая их — на красный свет). В одних дилеммах выбор нужно осуществить между двумя группами пешеходов, в других — между группой пешеходов и группой пассажиров.

Участники групп различаются по возрасту (младенцы в колясках, дети, взрослые, пожилые), полу, физической форме (люди с избыточным весом, обычные люди и спортсмены), социальному статусу (бездомные, обычные люди и начальники). Кроме людей, участниками групп могут быть собаки и кошки. Система выбирает параметры дилеммы случайным образом, поэтому вероятность того, что участник исследования дважды столкнётся с одной и той же задачей, пренебрежимо мала.

Создателям проекта удалось собрать почти 40 млн решений дилемм от жителей 233 стран (при этом для 130 стран было не менее 100 респондентов). Участники исследования также заполняли анкету, в которой указывали свои возраст, пол, образование, ежегодный доход, отношение к религии и политические взгляды.

Исследователи стремились решить четыре основные задачи: 1) оценить значимость каждого из девяти факторов в среднем по всей выборке; 2) соотнести значимость факторов с индивидуальными характеристиками респондента; 3) сравнить результаты респондентов из разных стран и выделить кластеры стран со сходными моральными установками и 4) выяснить, можно ли по экономическим и/или культурным особенностям страны предсказать, как её жители предпочли бы программировать беспилотные транспортные средства.

В среднем респонденты сделали уверенный выбор в пользу спасения людей (а не животных) и больших групп (а не маленьких). Почти столь же уверенно они выступили за спасение молодых, законопослушных (переходящих дорогу на зелёный свет) и высокостатусных людей. Несколько менее значимыми, но всё же положительно влияющими на выбор признаками оказались хорошая физическая форма и женский пол. Кроме того, респонденты в среднем несколько чаще делали выбор в пользу пешеходов (а не пассажиров), а также в пользу того, чтобы транспортное средство продолжало ехать прямо, а не сворачивало на другую полосу.