Война и еще 25 сценариев конца света

Турчин Алексей

Явный пример цепной реакции – способность к саморазмножению биологического оружия, которая делает его опасным. Точно так же цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.

Способность к саморазмножению очевидно является основой рисков, связанных с нанотехнологиями – как в связи с «серой слизью», так и в связи с тем, что распространение этих технологий на планете примет характер цепной реакции.

Наконец, основной риск, создаваемый ИИ, также связан с цепной реакцией – или рекурсивным

самоулучшением – его усиления. Вторая возможная цепная реакция – это процесс нарастания автономности ИИ. Создатели ИИ зададут такие условия, чтобы они и только они могли бы им управлять. Борьба внутри группы управляющих приведет к выделению лидера, и у ИИ рано или поздно окажется один главный программист (причем им может стать внешне второстепенный человек, который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» главному программисту, станет, возможно, необратимым событием (к такому конфликту аутентификаций может привести как раз наличие официального главного программиста и второстепенного программиста, сделавшего закладку) – в результате ИИ откажется аутентифицировать кого бы то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить, – реальная угроза людям.

Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлением все новых групп по работе над этой темой со все более низкими стандартами безопасности.

Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к еще большему росту температуры.

Самоусиливающиеся процессы описывают и идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры риск состоит в цепной реакции захвата ею обычного вещества, роста ее массы и все более активного захвата вещества в дальнейшем. То же верно и для сценария с образованием стрейнджлета, способного захватывать обычную материю и превращать ее в другие стрейнджлеты. Наконец, переход фальшивого вакуума в «истинный» также был бы цепной реакцией, которая, начавшись в одной точке, охватила бы всю Вселенную.

Дегазация земных недр в результате экспериментов со сверхглубоким бурением также была бы цепной реакцией, так как нарушение метастабильного равновесия растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах.

Обнаружение сигналов по линии SETI также вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно привело бы к многократной загрузке инопланетных посланий и в конечном счете к запуску содержащегося в них опасного кода.

Крах мировой системы также предполагает цепную реакцию, при которой один сбой следует за другим, образуя лавину. Возможно, что кризис ипотечного кредитования, пик нефтяных котировок и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. По шкале ХХ века, если считать нынешний год за 1929-й, до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи

новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения, – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. (Нетрудно заметить, что получившиеся цифры близки к датам ожидаемой технологической сингулярности.)

Управляемость и неуправляемость

Как было сказано в начале этой главы, цепные реакции характерны для большинства сценариев катастрофического развития событий, происходящих в самых разных сферах. Однако в большинстве случаев такие «реакции» не происходят или ограничены по масштабам, поэтому весьма важно отчетливо представлять, какие силы препятствуют их возникновению и развитию.

В классическом примере из ядерной физики понятно, что для начала цепной реакции необходимо наличие «критической массы» и отсутствие «предохранительных стержней». То есть развитию экспоненциальных процессов мешает ограниченность ресурса для их роста и наличие других самоусиливающихся процессов, направленных в противоположную сторону, в результате чего возникает динамическое равновесие.

Для того чтобы цепная реакция развивалась беспрепятственно, она должна быть процессом качественно более высокого уровня энергии, на который не могут влиять силы более низкого уровня. (При этом, например, быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.)

Далее следует отметить, что, рассматривая такие «реакции» с положительной обратной связью, мы говорили лишь о большинстве катастрофических сценариев – но не обо всех. Интересно посмотреть, какие схемы глобальных катастроф не попадают под заданные параметры.

В первую очередь это, например, столкновение с астероидом или кометой. Правда, и в таком случае худшие последствия этого события будут образованы посредством цепочки причинно-следственных связей. А именно, «астероидная зима» во многом будет вызвана пожарами по всей планете, спровоцированными в свою очередь разлетом бесчисленного множества осколков от падения основного тела.

Однако существует и ряд процессов, содержание или схема развития которых не ясны, как не ясны и факторы, способные на них повлиять. Это, например, уже упоминавшееся гипотетическое явление или взаимосвязь, закономерно приводящие каждую цивилизацию к гибели (что могло бы объяснить «молчание» космоса).

Кроме того, мы знаем некое явление, которое объединяет неисчерпаемый класс разнообразных по своей природе катастрофических событий тем, что можно назвать эквифинальностью, то есть независимостью конечного результата от множества ведущих к нему путей. Я имею в виду старение и конечность человеческой жизни.

Существует масса способов умереть, некоторые из них удивительны и уникальны, другие обыденны. Можно заболеть раком, разбиться на машине, покончить с собой, отравиться, сгореть заживо, утонуть, быть убитым, умереть от инфаркта, заснуть и не проснуться, попасть под действие электрического удара, подавиться косточкой. Смерть – это не результат сложения вероятностей разных факторов, перечисленных выше; смерть – в самом естестве человеческой природы.