Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

По всей видимости, для того, чтобы ещё больше не зависеть от машины, находящейся в телестудии, сама машина была заменена макетом. Сделка, в соответствии с которой телекомпания CBS получила для демонстрации поддельный UNIVAC (настоящая машина находилась на другом конце линии связи — в Филадельфии), появилась из просьбы телевизионной сети к компании Remington Rand о бесплатном предоставлении во временное пользование сотни электрических пишущих машинок и счётных машин. Взамен это оборудование должно было появиться на экранах во время освещения ночи выборов, то есть по сути предполагалась бесплатная реклама бесплатно предоставленных машин. Но более привлекательной идеей оказалось бесплатное предоставление компьютера взамен на его бесплатную рекламу.

По результатам подсчёта всего 3 млн голосов (7%) UNIVAC предсказывал триумф Эйзенхауэра: 438 голосов коллегии выборщиков против 93 за Стивенсона. Большинство прогнозов предсказывало близкие друг к другу результаты кандидатов, поэтому такому прогнозу в Филадельфии просто не поверили. Ввиду этого программисты быстро внесли исправления в программу, чтобы получить более «правдоподобный» результат, который и был продемонстрирован. Однако в итоге оказалось, что Эйзенхауэр получил 442 голоса против 89 — то есть очень близко именно к первоначальному прогнозу! Когда ночная история выплыла наружу, известный американский тележурналист Эд Мерроу сказал: «Главная проблема с машинами — это люди» [3185] ^, [3186] .

3185

Wulforst H. (1982). Breakthrough to the Computer Age. Charles Scribner // https://books.google.ru/books?id=5X9QAAAAMAAJ

3186

Winston B. (1998). Media technology and society: a history: from the telegraph to the Internet. Psychology Press // https://books.google.ru/books?id=TZOF_1GZRmYC

В

наши дни люди часто, напротив, склонны переоценивать качество решений, предлагаемых моделями, предполагая, что модель обладает сверхчеловеческими способностями. На самом деле поведение модели может быть связано с дефектами, допущенными на стадии разработки. Недоверие к системам ИИ легко переходит в безоговорочное принятие. Люди не всегда отдают себе отчёт в том, что тот факт, что некоторая система ИИ выиграла в го или шахматы у чемпиона мира, вовсе не значит, что система кредитного скоринга не ошибётся, присваивая клиенту кредитный рейтинг. ИИ очень часто воспринимается людьми как некая универсальная сверхчеловеческая сущность — такое представление активно формируется под влиянием плохого кино и бульварного чтива. В действительности мы имеем дело с разными системами, создававшимися разными командами, обладающими разными свойствами и предназначенными для решения совершенно разных задач, — такое положение дел характерно для эпохи прикладного ИИ.

В своей весьма пессимистичной по духу книге «Искусственная неразумность: как компьютеры неверно понимают мир» (Artificial Unintelligence: How Computers Misunderstand the World) [3187] (в русском переводе заголовок книги звучит как «Искусственный интеллект: пределы возможного» [3188] ) профессор Нью-Йоркского университета Мередит Бруссард обращает внимание на опасность техношовинизма — наивной веры в то, что технологии сами по себе могут решить все существующие в обществе проблемы. Такой подход может приводить к формированию специфического «слепого пятна». Качество решений, предлагаемых системами, основанными на машинном обучении, сильно зависит от особенностей данных, на которых эти системы были обучены. При этом сами данные являются продуктом определённых процедур, несущих на себе отпечаток существующих социальных практик. Простой пример — библиотеки научных публикаций. Исследователи, которым не удалось подтвердить свои изначальные гипотезы, часто отказываются от публикации результатов. В итоге в подавляющем большинстве опубликованных работ эксперименты подтверждают гипотезы, хотя в реальных исследованиях это совсем не так. Данные могут содержать намеренные и ненамеренные искажения, распределение данных в базе может отличаться от распределения соответствующих им объектов или явлений реального мира (по самым разным причинам), наконец, данные могут быть просто неполны. Существующие в данных корреляции могут ошибочно интерпретироваться создателями систем ИИ как причинно-следственные связи. Но даже если в процессе создания подобных систем и удастся обойти существующие подводные камни, то неразумное применение плодов «искусственного разума» может привести к нежелательным последствиям.

3187

Broussard M. (2019). Artificial Unintelligence: How Computers Misunderstand the World. MIT Press // https://books.google.ru/books?id=4r34DwAAQBAJ

3188

Бруссард М. (2020). Искусственный интеллект: Пределы возможного. — М.: Альпина нон-фикшн // https://books.google.ru/books?id=YR3JDwAAQBAJ

Бруссард показывает, какие ошибки можно сделать, пытаясь создать систему, предсказывающую вероятность выживания в кораблекрушении на основе сведений о судьбе пассажиров «Титаника», особенно если не вдаваться в содержательный анализ событий, стоящих за этим небольшим массивом данных.

Например, шлюпки с нечётными номерами спасли больше людей, чем шлюпки с чётными номерами. Значит ли это, что для повышения безопасности следует всем спасательным шлюпкам давать нечётные номера? В действительности за этой сухой статистикой скрывается драматическая история. Капитан корабля при организации эвакуации отдал приказ сажать в шлюпки женщин и детей, а затем спускать шлюпки на воду. Офицеры, отвечавшие за эвакуацию, поняли этот приказ по-разному. Первый офицер, который отвечал за спасательные шлюпки на правом борту (с нечётными номерами), подумал, что капитан велел сажать в шлюпки женщин и детей в первую очередь (т. е. мужчин сажали в шлюпки, если поблизости не было женщин и детей). Второй офицер, отвечавший за шлюпки левого борта (с чётными номерами), посчитал, что сажать в шлюпку нужно только женщин и детей. В итоге большинство спасшихся пассажиров «Титаника» покинули корабль на шлюпках правого борта (разумеется, были и иные факторы, повлиявшие на это соотношение) [3189] .

3189

Tenner E. (2012). Did a Rumor Doom Titanic Passengers? / The Atlantic, April 11, 2012 // https://www.theatlantic.com/national/archive/2012/04/did-a-rumor-doom-titanic-passengers/255706/

Доля выживших пассажиров «Титаника» была существенно выше среди тех, кто путешествовал по более дорогим билетам. Значит ли это, что страховая компания может снизить стоимость страховки для пассажиров, отправляющихся в круиз в каютах первого класса? Ведь данные говорят нам о том, что их шансы погибнуть при кораблекрушении будут ниже.

В общем, не стоит думать, что «умные машины» решат все проблемы человечества самостоятельно — использование продвинутых вычислительных моделей вовсе не является гарантией отсутствия ошибок в результатах, полученных с их помощью. И даже в случае отсутствия ошибок полученные результаты ещё нужно понять и правильно ими распорядиться. В общем-то на эту тему в своё время высказался ещё Чарльз Бэббидж: «Однажды меня спросили [члены парламента]: „Если ввести в машину неправильные числа, она даст верный ответ?“ <…> Я не могу взять в толк, какая мешанина идей должна быть в голове, чтобы спросить такое» [3190] .

3190

Babbage C. (1864). Passages from the Life of a Philosopher. Longman, Green, Longman, Roberts & Green // https://archive.org/details/passagesfromlif01babbgoog/page/66/mode/2up

5.

Формирование «токсического цикла». Представим себе систему социального рейтинга, использующую модель машинного обучения для присвоения гражданам определённого балла на основании их поступков. От социального рейтинга может зависеть доступ граждан к государственным сервисам и благам. Проблема заключается в том, что человек, по юности оступившись и получив в некоторый момент плохое значение социального рейтинга, утрачивает доступ к качественному образованию, тем самым уменьшая свои шансы на дальнейшую реабилитацию. Цель системы — корректировать поведение людей в положительную сторону, но вместо этого она может на деле способствовать дальнейшему погружению людей на социальное дно. Хотя такого рода явления существовали и ранее (например, работодатели избегают брать на работу людей с судимостью, тем самым уменьшая их шансы на возвращение к нормальной жизни), использование ИИ может приводить к тиражированию подобных практик. Потенциально это очень опасное свойство такого рода моделей. Хорошей иллюстрацией этого «токсического цикла» является первый эпизод третьего сезона телесериала «Чёрное зеркало», в котором мир будущего основан на системе оценок, которые люди могут ставить друг другу при помощи специального приложения.

7.5 Законодательное регулирование ИИ

Проблемы, описанные О’Нил, периодически привлекают внимание прессы и законодателей. При этом общественную дискуссию и законотворческие инициативы во многом подпитывают те или иные зрелищные демонстрации возможностей современного ИИ. За последние десять лет государственные и международные институты совершили несколько «подходов к снаряду» в области регулирования сферы ИИ, и в некоторых областях им удалось продвинуться от деклараций, напоминающих тосты «за всё хорошее», до конкретных законодательных актов (либо принципиального отказа от регулирования) и зачатков системы международных стандартов. Детальный обзор положения дел в области современной регуляторики в области ИИ потребовал бы увеличения объёма книги ещё на один том, поэтому здесь мы ограничимся упоминанием только некоторых документов и событий в этой области.

Хотя законы, так или иначе затрагивающие сферу ИИ, принимались и раньше [3191] , первые попытки систематически подойти к регулированию разработки, внедрения и эксплуатации ИИ-систем относятся к началу 2010-х гг., когда внимание законодателей было привлечено к сфере беспилотного транспорта. Действующее на тот момент законодательство просто не разрешало использовать мобильные автопилоты, что ставило под вопрос дальнейшее развитие этой технологии. В соответствии с Венской конвенцией о дорожном движении 1968 г. [3192] , участниками которой, по данным на 2023 г., являются 88 стран мира, одним из основополагающих принципов дорожного движения являлась концепция, согласно которой водитель всегда полностью контролирует и несёт ответственность за поведение транспортного средства. В 2016 г. реформа конвенции позволила использовать автоматизированные функции в транспортных средствах [3193] , однако изменения, разрешающие использование беспилотного транспорта, вступили в силу лишь в июле 2022 г. [3194]

3191

^* В качестве примера можно привести требования по сертификации различных потенциально опасных систем: в медицине, на транспорте, в энергетике, на производстве и так далее, которые косвенно могли затронуть алгоритмы ИИ, если те были частью таких систем, или южнокорейский рамочный закон «О национальной информатизации» 1995 г.

3192

Конференция Организации Объединённых Наций по дорожному движению. Заключительный акт (2023) // https://treaties.un.org/pages/ViewDetailsIII.aspx?src=TREATY&mtdsg_no=XI-B-19&chapter=11&Temp=mtdsg3&clang=_en

3193

UNECE paves the way for automated driving by updating UN international convention (2016). / United Nations Economic Commission for Europe, 23 March 2016 // https://unece.org/press/unece-paves-way-automated-driving-updating-un-international-convention

3194

Reference: C.N.26.2022.TREATIES-XI.B.19 (Depositary Notification). CONVENTION ON ROAD TRAFFIC. VIENNA, 8 NOVEMBER 1968. ACCEPTANCE OF AMENDMENT TO ARTICLE 1 AND NEW ARTICLE 34 BIS TO THE CONVENTION (2022) // https://treaties.un.org/doc/Publication/CN/2022/CN.26.2022-Eng.pdf

Крупнейшей западной страной, не являющейся участником Венской конвенции, являются США. И хотя на федеральном уровне в этой стране пока не существует закона о беспилотном транспорте, на уровне отдельных штатов такие законы действуют уже достаточно давно. Пионером в этой области стала Невада, которая ещё в 2011 г. приняла закон, разрешающий использование беспилотных автомобилей, а точнее — «автоматизированных транспортных средств» [automated vehicle]. Таким образом, Невада оказалась первой юрисдикцией в мире, где на дорогах общего пользования стало возможным на законных основаниях эксплуатировать такие авто (в определённых зонах, которые устанавливает Департамент транспортных средств Невады). Принятие нормативного акта было поддержано компанией Google, которая была заинтересована в том, чтобы легально тестировать свои беспилотники [3195] . Закон штата Невада определяет автоматизированное транспортное средство как «автомобиль, который использует искусственный интеллект, датчики и координаты глобальной системы позиционирования для управления собой без активного вмешательства человека-оператора», и признаёт, что оператору не нужно сохранять постоянное внимание во время работы автопилота. Однако Google не смогла добиться исключения из запрета на отвлечённое вождение (то есть такое вождение, при котором водитель может заниматься посторонними делами, которые отвлекают его от вождения, например отправлять текстовые сообщения). Кроме того, закон Невады требует, чтобы во время использования беспилотного транспорта в машине находился водитель, сидящий за рулём, и не более одного пассажира. Таким образом, закон, по сути, открыл дорогу лишь испытаниям, но не полноценной эксплуатации беспилотного транспорта [3196] ^, [3197] .

3195

Markoff J. (2011). Google Lobbies Nevada to Allow Self-Driving Cars / The New York Times, May 10, 2011 // https://www.nytimes.com/2011/05/11/science/11drive.html

3196

Bill AB511 Nevada Legislature (2011) // http://www.leg.state.nv.us/Session/76th2011/Bills/AB/AB511_EN.pdf

3197

Healey T. (2011). Nevada Passes Law Allowing Self-Driving Cars / Motor Authority, June 24, 2011 // https://www.motorauthority.com/news/1062178_nevada-passes-law-allowing-self-driving-cars