На краю пропасти. Экзистенциальный риск и будущее человечества

Орд Тоби

461

Ядерное оружие не вошло бы в список, поскольку механизм радиоактивного распада был открыт только в 1938 году. Туда бы также не вошли пандемии искусственного происхождения, так как первая демонстрация генной инженерии состоялась в 1960-х годах. Компьютеры еще не были изобретены, а идею об искусственном интеллекте и сопряженных с ним рисках ученые стали всерьез обсуждать лишь в 1950-х годах. Гипотеза о вероятности антропогенного глобального потепления восходит к 1896 году, но поддержку она получила только в 1960-х годах, а статус общепринятого

риска приобрела в 1980 х.

Американский правительственный доклад о будущем технологий, подготовленный в 1937 году, служит прекрасным примером того, насколько трудно осуществлять прогнозирование (Ogburn, 1937; Thomas, 2001). В нем не упоминаются ни атомная энергия, ни антибиотики, ни реактивные самолеты, ни транзисторы, ни компьютеры, ни какие либо вопросы, связанные с космосом.

462

Bostrom (2013; 2018).

463

Einstein & New York Times (1946).

464

По данным онлайн-анкетирования, проведенного пользователем GitHub под ником Zonination (Zonina-tion, 2017). Эти результаты во многом совпадают с результатами эксперимента, проведенного ЦРУ над офицерами разведки (Heuer, 1999).

465

В связи с этим возникают трудности с использованием фразы “крайне маловероятно, что случится X” в качестве аргумента, поскольку необходимо уделять больше внимания X. Ситуация была бы иной, если бы фраза “крайне маловероятно” соответствовала диапазону вероятности, например от 1 к 10 до 1 к 100, поскольку на эти цифры легко ссылаться, утверждая, что риск необходимо принимать всерьез. Из-за этого проблемы возникают у МГЭИК, которая в своих отчетах использует не численные вероятности, а подобные фразы.

466

Pinker (2018), p. 295; перевод Г. Бородиной и С. Кузнецовой.

467

Еще одна причина, по которой некоторые предпочитают не называть цифры, состоит в том, что им не хочется быть пойманными на слове, а словесные описания допускают расплывчатость. Мне же нравится называть точные цифры, раскрывать карты и давать другим возможность найти пути для улучшения ситуации. Только прозрачность и готовность признать ложность своих выводов позволяют нам расти в интеллектуальном отношении.

468

Моя оценка в 1 к 10 000 на век эквивалентна ожидаемой продолжительности жизни в 1 млн лет. Хотя я полагаю, что летопись массовых вымираний, вполне возможно, дает нам истинную частоту вымираний, около одного в 100 млн лет, я также считаю, что лучше ориентироваться на типичную продолжительность существования видов, а это сильно увеличивает средние показатели. Не забывайте, что палеонтологическая летопись надежна лишь при изучении природных рисков вымирания, но не других типов экзистенциального риска. Здесь я предполагаю, что их уровень примерно совпадает с уровнем рисков вымирания, поскольку это в общих чертах соответствует реальности для рисков, которые мы рассмотрели подробно, но неопределенности с ними больше.

469

Это

аналогично Байесовскому выводу, согласно которому гипотеза становится отправной точкой и корректируется по мере получения новых данных. В нашем случае я предлагаю начинать с нестрогой априорной вероятности, определенной на основе базовых норм и других факторов, учитываемых при расчете лучшей оценки, пока не появятся объективные данные (если они появятся вообще). Я не вижу веских доводов в пользу того, чтобы начинать с априорной вероятности, очень близкой к нулю.

470

Как мои оценки выглядят в сравнении с другими? Эти риски редко получают серьезные оценки от ученых, которые уделяют им пристальное внимание. К счастью, несколько пионеров исследования экзистенциального риска назвали свои цифры. Джон Лесли (1996, pp. 146–147) оценил риск в последующие пять столетий в 30 % (после чего, по его мнению, нам очень повезет, если мы сохраним возможность реализовать свой потенциал). Ник Бустрём (2002b) высказался об общем экзистенциальном риске в долгосрочной перспективе: “На мой субъективный взгляд, ошибкой будет присвоить ему вероятность менее 25 %, а лучшая оценка может быть и существенно выше”. Мартин Рис (2003) оценил вероятность глобального (хотя, возможно, временного) коллапса цивилизации в XXI веке в 50 % (в книге нет точных указаний на масштаб оцениваемой катастрофы, но позже Рис пояснил, что имел в виду коллапс цивилизации). Мои оценки сопоставимы с этими.

Кроме того, показательную оценку вероятности вымирания в последующие 100 лет дал Карл Саган – 60 % (Sagan, 1980, p. 314; Sagan et al., 1980). Интересно, что он назвал эту цифру в 1980 году, еще до открытия ядерной зимы и до написания своей знаковой работы о том, насколько плохо вымирание человечества. Неясно, однако, насколько взвешенной была эта оценка. Она дана без комментариев в перечне ключевых статистических данных о Земле, которые могли бы попасть в гипотетическую “Галактическую энциклопедию”.

471

Другая проблема с оценками, основанными на допущении, что жизнь пойдет в привычном режиме, состоит в том, что сложно описать, что именно это значит: какую реакцию человечества нам следует считать базовой? Хотя оценить риск с учетом всех обстоятельств очень сложно, вполне понятно, что в него вкладывается, – это просто степень уверенности человека в том, что катастрофа произойдет.

472

Cotton-Barratt, Daniel & Sandberg (готовится к публикации).

473

Более точное правило предписывает анализировать более мелкие шаги, например искать фактор, который легче всего уменьшить на 1 % от текущего уровня. Затем предполагается применять это правило снова и снова, работая над одним фактором, фактором, который легче всего уменьшить на 1 %, не станет другой – и тогда нужно переключиться на него. Если работа над каждым из факторов приносит достаточный убывающий добавочный доход, а бюджет достаточно велик, в итоге проработанными могут оказаться все три фактора.