Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Ныне уже покойный профессор Стивен Хокинг, один из самых уважаемых и известных британских учёных, заявил, что усилия по созданию мыслящих машин могут привести к тому, что само существование человечества окажется под угрозой. В интервью Би-би-си он отметил, что «появление полноценного искусственного интеллекта может стать концом человечества» [3065] . Хокинг в данном случае имел в виду сценарий «интеллектуального взрыва» [intelligence explosion]: «Он [полноценный искусственный интеллект] сам вырулит на взлётную полосу и станет сам себя совершенствовать со всё возрастающей скоростью. Люди, ограниченные медленной биологической эволюцией, не смогут тягаться [с ИИ] и будут вытеснены [superseded]». Конечно, в отличие от Батлера, Хокинг не предлагал уничтожить машины и вернуться к первобытному порядку вещей, однако если «полноценный искусственный интеллект» действительно угрожает самому существованию человечества, то некоторые люди могут

сделать вывод о том, что необходимо полностью запретить исследования в данной области.

3065

Cellan-Jones R. (2014). Stephen Hawking warns artificial intelligence could end mankind / BBC News, 2 December 2014 // https://www.bbc.com/news/technology-30290540

На необычный вариант ИИ-риска указывает популярный в наши дни шведский философ, профессор Оксфордского университета Ник Бостром. Он придерживается мнения, что достигший интеллектуального уровня человека ИИ [human-level AI] будет способен уничтожить человечество ввиду ошибочного целеполагания. Бостром объясняет это на примере машины, предназначенной для производства канцелярских скрепок: предположим, что вы поставили перед системой ИИ задачу изготавливать скрепки, причём делать их максимально эффективно и как можно больше. Система в какой-то момент поймёт, что человек представляет угрозу, поскольку может просто отключить её, что будет противоречить задаче максимизации количества скрепок. Кроме того, человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. В итоге, руководствуясь поставленной целью, машина изведёт всё человечество на скрепки [3066] . История с машиной для производства скрепок имеет немало общего со средневековыми легендами, в которых фигурирует договор с дьяволом (вроде польской легенды о пане Твардовском). В этих историях дьявол обычно находит способ трактовать то или иное положение договора в свою пользу — совсем не так, как понимает его заключивший договор человек.

3066

Bostrom N. (2003). Ethical Issues in Advanced Artificial Intelligence / Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence (2003), Vol. 2, International Institute of Advanced Studies in Systems Research and Cybernetics, pp. 12—17 //https://nickbostrom.com/ethics/ai.html

Более прямолинейные суждения можно услышать от икон высокотехнологического бизнеса. Например, в июне 2014 г. Илон Маск заявил, что создание продвинутых систем ИИ может привести к воплощению в жизнь сюжета фильма «Терминатор», и предупредил, что, если человечество не предпримет необходимых мер, чтобы обезопасить разработку, уже через пять лет планету может ожидать появление реальной SkyNet [3067] .

Не останавливаясь на отсылке к кинобоевику, в октябре того же года на симпозиуме MIT Маск задействовал религиозные аналогии: «Разрабатывая ИИ, мы призываем демона. Знаете, все эти истории, где есть парень с пентаграммой и святой водой? Он уверен, что сможет управлять демоном, но это не так» [3068] .

3067

Mack E. (2014). Elon Musk worries Skynet is only five years off / c|net, Nov. 19, 2014 // https://www.cnet.com/news/elon-musk-worries-skynet-is-only-five-years-off/

3068

McFarland M. (2014). Elon Musk: ‘With artificial intelligence we are summoning the demon.’ / The Washington Post, Oct. 24, 2014 // https://www.washingtonpost.com/news/innovations/wp/2014/10/24/elon-musk-with-artificial-intelligence-we-are-summoning-the-demon/

В целом Маск характеризует ИИ как «самую большую угрозу существованию человечества» [biggest existential threat] [3069] . Правда, вполне возможно, что Маск со своей вульгарной риторикой не столько выражает своё мнение, сколько стремится привлечь внимание аудитории, что для него обычное дело.

Однако помимо упомянутых нами учёных, некоторые высказывания которых могут быть интерпретированы в технопессимистическом ключе, существуют и публичные персоны, поддерживающие идею ограничения развития технологий путём отказа от «нашего стремления к определённым родам знаний». К их числу относятся, например, американский писатель, автор книги «Хватит: оставаясь человеком в спроектированный век» (Enough: Staying Human in an Engineered Age) и сторонник антитехнологического «движения за отказ» [relinquishment movement] [3070] Билл Маккиббен, а также американский учёный в области теории вычислительных систем Билл Джой.

3069

Gibbs S. (2014). Elon Musk: artificial intelligence is our biggest existential threat / The Guardian, 27 Oct 2014 // https://www.theguardian.com/technology/2014/oct/27/elon-musk-artificial-intelligence-ai-biggest-existential-threat

3070

Shahrad C. (2011). Transgressive Man / Think With Google // https://www.thinkwithgoogle.com/future-of-marketing/emerging-technology/transgressive-man/

Хотя в своих работах ни Джой, ни Маккиббен не требуют запрета всех исследований в области ИИ, другими исследователями их позиция нередко трактуется именно в таком ключе. Например, именно так трактует эти идеи Билл Хиббард, исследователь из Висконсинского университета в Мадисоне и автор множества исследований, посвящённых рискам, связанным с развитием ИИ [3071] ^, [3072] .

Ещё дальше пошёл американский математик и социальный критик, бывший старший преподаватель Калифорнийского

университета в Беркли Теодор Качинский, печально известный ныне как Унабомбер (Unabomber, сокращение от University and airline bomber — подрывник университетов и авиалиний). Не ограничившись одной лишь пропагандой неолуддитских идей, в период с 1978 по 1995 г. Качинский разослал по почте 16 посылок с бомбами, целью которых были университеты, авиалинии и магазины компьютерной техники. Итогом стала гибель трёх (владелец компьютерного магазина, руководитель отдела рекламы и лоббист лесной промышленности) и ранение 23 человек. Среди получивших тяжёлые ранения были профессор Калифорнийского университета в Беркли Диогенес Ангелакос, профессор Мичиганского университета Джеймс Макконнелл, профессор Йельского университета Дэвид Джелернтер, ряд других сотрудников университетов.

3071

Hibbard B. (2006). Re:[agi] the Singularity Summit and regulation of AI / SL4, Thu May 11 2006 - 06:00:24 MDT // http://sl4.org/archive/0605/14856.html

3072

Hibbard B. (2003). RE: SIAI's flawed friendliness analysis / SL4, 26 May 2003 16:43:42 -0500 (CDT) // https://www.ssec.wisc.edu/~billh/g/message6.txt

В 1995 г. Качинский отправил в газету The New York Times письмо, в котором обещал отказаться от рассылки бомб, если в The New York Times или The Washington Post будет опубликован его манифест. Чтобы избежать жертв, ФБР рекомендовало опубликовать текст, что и было исполнено. Манифест Унабомбера, озаглавленный «Индустриальное общество и его будущее» (Industrial Society and Its Future), помимо позаимствованных позже Брейвиком рассуждений об опасности левых идей, содержит пространные рассуждения о том, как развитие технологий приводит ко всё большему порабощению людей. Террорист также анализирует различные сценарии развития человечества, один из которых, по его мнению, завершится порабощением человечества разумными машинами [3073] . Билл Джой писал: «Качинский действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это осознавать, но в рассуждениях, изложенных в этом единственном отрывке, я видел некоторую логику. Я чувствовал необходимость противостоять ей» [3074] .

3073

Claiborne W. (1998). Unabomber Special Report. The Washington Post Company // https://www.washingtonpost.com/wp-srv/national/longterm/unabomber/manifesto.text.htm

3074

Joy B. (2000). Why the Future Doesn't Need Us / Wired, 04.01.2000 // https://www.wired.com/2000/04/joy-2/

К сожалению, подобная риторика, отчасти легализующая нарративы Унабомбера, содержит в себе потенциальную опасность, поскольку расширяет границы допустимого противодействия ИИ-рискам. Хотя современные настроения в обществе трудно назвать технофобскими, никто не может поручиться за то, что ситуация не изменится в одночасье, как это произошло в случае антипрививочного движения, которое получило в последние десятилетия широкое распространение в развитых странах. Кто знает, на какие крайности окажутся способны люди, чьи страхи подпитываются заявлениями в духе отсылок к «Терминатору» или парню с пентаграммой?

Ситуация особенно обострилась вслед за запуском ChatGPT — впечатляющая демонстрация возможностей современных генеративных моделей привлекла к себе огромное внимание общественности и послужила «спусковым крючком» для ряда публичных заявлений. Под влиянием «момента ChatGPT» некоторые учёные пересмотрели свои прогнозы в отношении ожидаемых темпов развития технологий ИИ. И у некоторых из них это, похоже, привело к экзистенциальному кризису. Вот что, например, говорит известный американский физик и информатик Дуглас Хофштадтер:

Для меня это [быстрый прогресс в области ИИ] довольно страшно, потому что это говорит о том, что всё, во что я раньше верил, отменяется. <…> Я думал, что пройдут сотни лет, прежде чем появится что-то весьма отдалённо похожее на человеческий разум, что асимптотически приблизится к уровню человеческого интеллекта, причём снизу. Я никогда не представлял, что компьютеры будут соперничать с человеческим интеллектом или даже превосходить его. Это была настолько далёкая цель, что я не беспокоился об этом. А потом это начало происходить всё быстрее, недостижимые цели и вещи, которые компьютеры не должны были быть в состоянии сделать, начали сдаваться… <…> Я думаю, что [прогресс ИИ] ужасает. Я ненавижу его. Я думаю об этом практически всё время, каждый божий день. <…> Такое ощущение, что вся человеческая раса вот-вот будет превзойдена и оставлена в пыли.

Ускоряющийся прогресс оказался настолько неожиданным, что застал врасплох не только меня, но и многих, многих людей — возникает некий ужас перед надвигающимся цунами, которое застанет врасплох всё человечество. Неясно, будет ли это означать конец человечества в том смысле, что системы, которые мы создадим, уничтожат нас, неясно, так ли это, но вполне возможно. Если нет, то это просто превращает человечество в очень маленькое явление по сравнению с тем, что гораздо более разумно, чем мы, и что станет для нас непостижимым в той же мере, как мы непостижимы для тараканов [3075] ^, [3076] .

3075

Game Thinking TV (2023). Godel, Escher, Bach author Doug Hofstadter on the state of AI today // https://www.youtube.com/watch?v=lfXxzAVtdpU

3076

Карелов С. (2023). Это цунами, заставшее человечество врасплох / Facebook, 5 июля 2023 // https://www.facebook.com/sergey.karelov.5/posts/pfbid02429bkCkCsNtkYBdwJcETXhpHRoZNLhQPfCehF7xbLk6gxjjUcQgd1kyioBWR7XGxl