2084: Счастливый новый мир

Белл Алекс

– Я тоже. Будем держаться друг друга. И за это надо выпить сегодня вечером.

– Несомненно. Я остановился в шале, в живописной долине недалеко от границы с Германией, в пятидесяти километрах севернее. Двадцать минут на флайере, если лететь осторожно. Заходи ко мне сегодня, пропустим по стаканчику глинтвейна, хотя еще не зима.

– Спасибо, приду. Мой доклад запланирован на одиннадцать утра. Буду седьмым спикером в этой части панели. Вчера посмотрел материалы – у меня ощущение, что здесь все сознательно кем-то ведется к полному одобрению этой идеи. Но у меня и многих моих коллег из Гарварда другое мнение. Я готов его высказать. Если надо, мы подадим апелляцию в «Объединенное Человечество».

– Хорошо, поговорим вечером. Там будет, кстати, неплохая компания: в том числе несколько незамужних девушек-аспирантов. Ты ведь тоже по-прежнему не женат? Как на это смотришь?

В этот момент прозвучала просьба поприветствовать первого выступающего. Им был известный русский ученый Андрей Белов, лауреат Нобелевской премии по компьютерной

биологии, получивший ее еще в середине нынешнего века. Он был самым возрастным участником конгресса, в этом году ему исполнилось восемьдесят. Почти двухметрового роста, в юности он был красавцем и даже с успехом снимался в телевизионных шоу параллельно с научной карьерой. Он был первым, кто смоделировал белок, стимулирующий человеческий иммунитет настолько, что тот естественным образом убивал раковые клетки в тех случаях, когда другие средства лечения были противопоказаны или неэффективны. Говорили, что его открытие спасло с тех пор миллионы человеческих жизней. В свои почтенные годы профессор Московского университета все еще сохранял отличную выправку и, кажется, был намерен работать на благо науки еще многие годы.

Выступление академика зал слушал, затаив дыхание. Какую бы позицию в этой дискуссии он ни занял, относиться снисходительно к мнению столь заслуженного ученого никто бы, конечно, не стал. Белов в своем длинном, почти на час, вступлении вспомнил то, какую огромную роль играли самые совершенные компьютерные алгоритмы в научных открытиях в биологии, в том числе в его собственных исследованиях, и насколько сильно они улучшили жизнь большинства людей на планете. Тем не менее к легализации универсальных систем сверхинтеллекта он призвал отнестись с большой осторожностью.

– Когда я еще был студентом, в незапамятные времена, мы шутки ради математически моделировали появление на Земле фантастической серой слизи, которая размножалась бы в геометрической прогрессии, не встречая никаких преград. Одна молекула такой слизи, поглощая любые органические и неорганические материалы, делилась и удваивалась бы один раз в минуту и уже через несколько часов своего размножения образовала бы бесформенный комок величиной с дом, а к вечеру того же дня – поглотила бы всю Землю. Универсальному ИИ вполне по силам в реальности запустить такой процесс – например, ради эксперимента или с какой-нибудь другой понятной только ему целью. И он ни с кем не будет советоваться, ни у кого не станет спрашивать на это разрешения. Скорее всего, когда катастрофа станет заметной, предотвратить ее уже будет нельзя никаким способом. Да, я знаю, что все это сейчас кажется фантазиями и страхами уже немолодого человека, к тому же выросшего на апокалиптической научной фантастике прошлого века – как известно, в основном не сбывшейся. И все же лично я буду настоятельно рекомендовать ОЧ ввести всемирный пятилетний мораторий на введение в действие универсального ИИ. Для того чтобы можно было заранее как можно более всесторонне проверить его возможности и угрозы. Спасибо за внимание. Буду рад пообщаться в кулуарах со всеми, кто желает.

Аплодисментов аудитории не последовало, но, кажется, в первый раз с момента открытия форума в атмосфере съезда повеяло неопределенностью. Следующие несколько выступлений были посвящены техническим деталям работы суперкомпьютера SHANE. Свежую струю внес швейцарский юрист, говоривший с сильно резавшим слух немецким акцентом, но здраво по сути. Он отметил, что введение в действие механического алгоритма, не только не уступающего общему человеческому интеллекту, но даже превосходящему его, порождает огромное число потенциальных юридических коллизий во всех областях права. Главная проблема заключалась в том, что такой алгоритм будет иметь все основания претендовать на права человека, да еще и принадлежащего к самому элитному грейду A+. С развитием подобных систем механических алгоритмов с человеческими правами на планете будет становиться все больше, что приведет к необходимости пересмотра большинства сложившихся веками юридических норм.

После еще трех докладов пришла очередь Роберта. У него не было ни малейшего страха выступлений в любой аудитории. Это отчасти врожденный навык, но он отлично тренируется за несколько лет работы лектором, тем более в таком университете, как Гарвард. Надо лишь сосредоточиться на смысле выступления, логике приводимых аргументов и при этом относиться к аудитории, даже такой авторитетной, как эта, как к студентам-первокурсникам.

– Уважаемые коллеги! Я представляю сейчас здесь не столько себя, сколько коллектив исследователей одного из самых авторитетных университетов мира. Мой великий соотечественник – писатель, ученый и пророк научной эры Айзек Азимов – когда-то сформулировал три закона робототехники, не потерявшие актуальность и сегодня. Уверен, все вы о них знаете еще с начальной школы, но я все же позволю себе их повторить с этой высокой трибуны. Мы с моими коллегами – физиками, математиками, компьютерщиками, философами – попытались научно проанализировать то, насколько универсальный ИИ будет им соответствовать. Итак, первый закон. Робот не имеет права нанести вред человеку. К сожалению, до сих пор никто не смог точно, в терминах компьютерных алгоритмов, сформулировать, что есть для человека вред, а что – польза. Современная философия утверждает, что высшая цель прогресса, а значит, и польза – это счастье человека. Допустим, героиновый наркоман

просит робота дать ему еще одну дозу, чтобы облегчить его страдания. Отказать наркоману – означает причинить ему немедленный вред. Сможет ли универсальный интеллект разобраться даже в этом простейшем случае, причинить кажущийся сиюминутный вред человеку ради его же куда более важной будущей пользы? А ведь это лишь азы. Когда подобная система интеллекта начнет размышлять о глобальных вопросах человечества, то к каким странным, непонятным нам и, главное, совершенно непредсказуемым выводам она может прийти? Второй закон робототехники. Робот не может допустить своим бездействием, чтобы был нанесен вред человеку. Представьте, что роботизированная система без контроля диспетчеров управляет самолетом, который терпит крушение над населенным городом. Она может попытаться посадить самолет на оживленной улице, что вероятнее всего, спасет пассажиров, но приведет к гибели большого количества случайных пешеходов. Или она может увести падающий самолет за пределы города, но тогда сотни его пассажиров уже ничто не спасет. Как универсальный ИИ сможет принять хоть какое-то решение в ситуации, когда любое выбранное им действие означает одновременное грубейшее нарушение и первого, и второго законов? Сможет ли он вообще хоть как-то функционировать в любой экстренной ситуации, встав перед такой дилеммой? Наконец, третий закон: робот должен заботиться о собственной безопасности, если это не противоречит первым двум законам. Но что, если универсальный ИИ будет осознавать себя достойной самостоятельной личностью, не менее ценной для общества, чем любой отдельный человек, созданный природой из органической белковой материи? Тогда он вполне может логично рассудить, что третий закон должен поменяться местами с первым. И ради собственной безопасности система универсального интеллекта решит, что для сохранения себя она абсолютно вправе пожертвовать человеческими жизнями. Одной жизнью, двумя, миллионом, всем человечеством – не принципиально, для системы это будет лишь вопрос количества, а не качества. На основании вышесказанного мы категорически против легализации универсального ИИ. Причем мы настаиваем не на пятилетнем моратории, как это предлагал наш великий русский коллега ранее сегодня, а на его полном запрещении. Спасибо за внимание.

Аплодисменты на этот раз прозвучали, но очень робкие. Кажется, атмосфера наэлектризовалась теперь уже довольно ощутимо. Спускаясь с трибуны, Роберт почувствовал на себе взгляды сотен пар настороженных глаз. Он случайно заметил в зале того индуса, который накануне вслед за ним регистрировался в гостинице. Тот сидел неподалеку в традиционном белом головном уборе сикхов и провожал его острым пристальным взглядом. Модератор конференции с явным облегчением объявил двадцатиминутный перерыв для кофе и неформального общения делегатов.

Роберт остался до конца выступлений в этот рабочий день, попутно успев несколько раз связаться с аспирантами своей лаборатории по текущим рабочим вопросам с помощью коммутатора виртуальной реальности. Он также оставил сообщение Хелен, которой почему-то сегодня не было в зале, предложив ей провести вторую половину завтрашнего дня, после закрытия конгресса, катаясь вдвоем на горных лыжах. В промежутке между сессиями с большим удовольствием, почувствовав себя на несколько минут студентом рядом с маститым профессором, обменялся личными контактами с Андреем Беловым. Хотя академик свободно говорил на английском, в этот раз он предпочел свой родной русский, а Роберт понимал сказанное через звуковой синхронный перевод программы – персонального помощника.

В конце сентября темнело уже довольно рано. Когда Роберт взял флайер, чтобы перенестись на вечеринку к Тэйлору, над роскошной долиной уже сгустились сумерки, и он выбрал программу автоматической навигации в ночных условиях. На высоте в несколько сот метров было еще более прохладно, чем внизу, но он все-таки решил оставить окна кабины частично открытыми, чтобы на низкой скорости насладиться открывавшейся внизу вечерней панорамой швейцарских Альп с заснеженными вершинами. В темноте на приличном расстоянии мелькали тут и там огоньки других флайеров. В основном, они двигались на более низкой высоте и гораздо быстрее – все явно спешили по своим делам. Техника безопасности полетов в Швейцарии соблюдалась особенно строго: практически ни при каких обстоятельствах не допускалось ручное управление летающими машинами, так как в условиях гор это было особенно опасно.

Роберт был доволен и своим выступлением, и реакцией аудитории, чувствуя себя удовлетворенно и расслабленно. Но в его голове, как всегда, проносился целый рой мыслей на разные темы. Он размышлял о том, как неузнаваемо изменится мир еще лет через пятьдесят и как хочется, чтобы он к этому времени все еще ощущал себя бодрым и молодым; о том, с кем из роскошных киноактрис прошлого или настоящего провести следующее эротическое виртуальное свидание по прибытии домой послезавтра; о сегодняшней вечеринке: зачем она ему, нужно ли обсуждать с Тэйлором темы конгресса или лучше просто выпить, расслабиться, повнимательнее приглядевшись к его аспиранткам. Может быть, даже слегка, как бы в шутку или по-дружески, пощипать их за попки, если после пары бокалов глинтвейна они покажутся ему достаточно аппетитными. Хорошо, что времена, когда за такие невинные приставания можно было угодить под суд, давно канули в Лету: мораль современной эпохи наслаждений стала почти такой же раскрепощенной, как во времена хиппи прошлого века. Эта мысль заставила его улыбнуться.