На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
436
См., например, доводы Пинкера в книге “Просвещение продолжается” (2018, p. 300).
437
Демис Хассабис открыто говорит об этих вещах (Bengio et al., 2017): “Сейчас нам важнее всего сосредоточиться на проблеме координации. Нам хотелось бы избежать губительной гонки к финишу, в которой будут срезаться углы и страдать безопасность. Это станет серьезной проблемой мирового масштаба”.
438
Если бы системы могли совершенствовать собственный интеллект, это, возможно, вызвало бы каскадный эффект, называемый “интеллектуальным
Но нельзя сказать, что такой исход гарантирован. Начать хотя бы с того, что ИИ для этого должен быть способен исследовать ИИ не только лучше человека, но и лучше всего исследовательского сообщества ИИ (при сравнимых затратах). Следовательно, мы, возможно, успеем заметить, что система находится примерно на человеческом уровне, прежде чем дело дойдет до интеллектуального взрыва.
Кроме того, сложность каждого следующего шага на пути к повышению интеллекта системы будет, возможно, расти быстрее, чем уровень ее интеллекта, и тогда потенциал “взрыва” быстро сойдет на нет. Предполагается, что в какой то момент он действительно должен сойти на нет, и поэтому главный вопрос в том, есть ли где то ближе к началу процесса промежуток, когда усовершенствования порождают еще большие усовершенствования. Подробнее об этом см. у Bostrom (2014, p. 66).
439
Metz (2018). Согласен и Стюарт Рассел (Flatow, Russell & Koch, 2014): “Я замечаю, что ведущие исследователи отрасли, которые никогда публично не высказывали никаких опасений, негласно полагают, что к этому вопросу нам следует относиться со всей серьезностью, причем чем раньше мы начнем воспринимать его всерьез, тем лучше”.
Советы Хассабиса и Рассела вторят заблаговременному предупреждению И. Дж. Гуда (1970): “Даже если вероятность появления ультраинтеллектуальной машины невелика, это приведет к таким серьезным последствиям, будь они хоть плохими, хоть хорошими, что нам пора бы рассматривать такую возможность. Как бы то ни было, я надеюсь, что к 1980 году мы успеем в деталях обсудить последствия этого и необходимые меры безопасности, и это главная причина, по которой я поднимаю этот вопрос: пора начинать дискуссию”.
Если бы мы последовали совету Гуда, сегодня мы, возможно, оказались бы на несколько десятилетий впереди, а грозящий нам риск был бы небольшим и хорошо контролируемым.
440
В худших случаях, возможно, даже имеющем отрицательную ценность – а такой исход хуже вымирания.
441
Orwell (1949, p. 121; перевод В. Голышева) четко это формулирует: “Правящая группа теряет власть по четырем причинам. Либо ее победил внешний враг, либо она правит так неумело, что массы поднимают восстание, либо она позволила образоваться сильной и недовольной группе средних, либо потеряла уверенность в себе и желание править. Причины эти не изолированные; обычно в той или иной степени сказываются все четыре. Правящий класс, который сможет предохраниться от них, удержит власть навсегда”.
442
Можно даже сказать, что таким стал первый в истории серьезный экзистенциальный риск. С этой точки зрения первая волна антропогенного экзистенциального риска
В поддержку этой идеи можно вспомнить о характерной для нацистской Германии риторике о “тысячелетнем рейхе” как свидетельстве стремления создать поистине устойчивый режим. Обратите внимание, что вероятность этого не должна быть особенно высокой, чтобы принимать ее в расчет: вероятно, хватит и одного шанса на тысячу (поскольку это больше, чем годовой природный риск).
Хотя “1984” – художественное произведение, оно свидетельствует, что Оруэлла беспокоила вероятность поистине экзистенциальной катастрофы. Он нарисовал картину мира, пребывающего в состоянии постоянного конфликта между тремя тоталитарными сверхдержавами, каждая из которых коварными социальными и технологическими средствами подавляет любые намеки на сопротивление. Ключевой аспект этой картины в том, что в ней, вероятно, воплотилась необратимая дистопия: “Если вам нужен образ будущего, вообразите сапог, топчущий лицо человека – вечно”. Предвосхищая идею об экзистенциальном риске, он сравнил такой исход с вымиранием: “Если вы человек, Уинстон, вы – последний человек. Ваш вид вымер; мы наследуем Землю. Вы понимаете, что вы один? Вы вне истории, вы не существуете”.
Хотя книга была опубликована в 1949 году, письма военного времени показывают, что Оруэлла действительно тревожили такие перспективы (это были не просто умозрительные построения) и многие его идеи появились еще до создания ядерного оружия (Orwell, 2013). В примере Оруэлла почти ни у кого – даже у элит – не осталось в жизни ничего поистине ценного. Это один из возможных исходов – но ясно, что и менее радикальные могут быть дистопическими, поскольку обнищание масс вполне может перевесить обогащение избранных.
Я считаю, что Оруэлл рисует правдоподобную картину, но в целом я все равно склонен считать первым серьезным (и антропогенным) экзистенциальным риском ядерное оружие (либо из за угрозы воспламенения атмосферы, либо из за угрозы мировой ядерной войны).
443
Обратите, однако, внимание, что, даже если изначально глобальная экспансия не входила в их планы, развитие все равно могло пойти в этом направлении, как только они обеспечили бы себе такую возможность. Даже если сначала у них были средства только для того, чтобы построить режим, способный держаться десятилетиями, это давало время, чтобы разработать технологические и социальные методы, чтобы десятилетия стали веками. За это время режим продолжил бы укрепляться и дальше.
444
Скотт Александер убедительно анализирует такие возможности в книге “Размышления о Молохе” (2014).
445
К. С. Льюис (1943; перевод Н. Трауберг) намекает на эту возможность, анализируя растущую власть человечества над природой, в частности обеспечиваемую генетическими технологиями. Он отмечает, что такая власть вполне может дойти до уровня, где одно поколение (или даже его часть), по сути, сможет определять траекторию развития человечества на все последующие поколения вперед: “Таким образом, речь может идти не о «прогрессе», но об одном столетии (скажем, сотом от Рождества Христова), которому лучше прочих удастся подмять под себя все остальные века и овладеть родом человеческим. Несомненно, в столетии этом, или, скорее, поколении, такой силой будет обладать не большинство, а меньшинство. Если мечты ученых осуществятся, крохотная часть человечества получит власть над многими миллиардами людей”.