На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
553
Медленный прогресс (в отличие от простого сдвига всех дат назад на некоторое количество лет) может также дать нам больше времени, чтобы выявить угрозы, пока они не реализовались, и разобраться с ними. По сути, он уменьшит время нашего реагирования на них.
554
А еще теневые издержки для окружающей среды, о которых говорится чаще. Аргументы в этом случае аналогичны, и я также призываю пускать некоторую часть выгод, приобретаемых при использовании технологий, на снижение этих издержек.
555
Можно
В узком смысле это верно также в отношении самих технологий. Стремительной разработкой технологий движет алчность. В результате повышается технологический уровень на следующий год, но снижается ожидаемый технологический уровень в долгосрочном будущем.
556
Сложно найти время на это, когда в академической среде людей подталкивают к публикации как можно большего количества статей, а вознаграждение получают те, кто пишет о технической стороне дела, а не рассматривает вопросы этики и регулирования. Но систему мотивации в академической сфере разрабатывают сами ученые, поэтому они и должны изменить систему, если она их подводит (и вместе с ними подводит все человечество).
557
Молодому ученому или инженеру действительно неплохо пойти работать в правительство. На недостаточную научную грамотность и квалифицированность правительства чаще всего сетуют именно те люди, которые обладают соответствующими навыками и могут применить их в соответствующей сфере. Иными словами, неразумно винить людей, работающих в правительстве, в недостатке научных знаний, но вполне разумно винить людей, которые прекрасно разбираются в науке, за нежелание принимать участие в разработке регламентов.
558
UN (n. d.).
559
См. Grace (2015). Существуют разные мнения о том, насколько успешной была Асиломарская конференция. С момента разработки ее принципов прошло несколько десятилетий; некоторые из рисков, обсуждавшихся учеными, оказались не такими страшными, как представлялось ранее, поэтому многие правила были постепенно смягчены. Кроме того, некоторые критики назвали несостоятельной модель саморегулирования, принятую в Асиломаре, и отметили, что необходимо было призвать к решению вопроса гражданское общество (Wright, 2001).
560
См. Bostrom (2002b).
561
Это различие проводит Бустрём (Bostrom, 2014). В своем обзоре я опирался на его работу в соответствующей сфере.
562
Точное время, за которое экспонента уменьшается вдвое, – это натуральный логарифм 2 (?0,69), деленный на годовой риск, а средняя продолжительность выживания – просто единица, деленная на годовой риск.
Обратите, однако, внимание, что падающей экспонентой описывается лишь объективная вероятность выживания. Поскольку мы не знаем, за какое время вдвое уменьшится субъективная вероятность нашего выживания, она представляется как взвешенное среднее двух этих экспонент и, как
563
Могут быть и риски, которые не входят ни в одну из этих категорий.
564
Различие между рисками состояния и рисками переходного периода не четкое. В частности, когда речь идет о рисках меняющегося характера, оно может зависеть от временных рамок. Возьмем, к примеру, риск ядерной зимы. В одних временных рамках он представляется риском состояния – и это логично для периода с 1960 по 1990 год. Но если уменьшить масштаб, мы увидим серию переходов, которыми нужно было управлять. Если увеличить масштаб, включив в рамки весь период до текущего момента, покажется, что уровень риска сильно различается при двух разных режимах (во время и после холодной войны). Если увеличить масштаб, включив в рамки все время, на протяжении которого человечество остается уязвимым для ядерного оружия, этот риск в масштабе веков снова покажется риском состояния, а геополитические колебания в масштабах десятилетий потеряют значимость. Если же еще сильнее увеличить масштаб, чтобы лишь небольшая область риска ядерной войны оказалась зажатой между доядерной и постъядерной эпохами, этот риск снова лучше будет рассматривать в качестве риска переходного периода, который ставит вопрос о том, как человечеству осуществить переход к режиму, при котором ядерную энергию удастся обуздать.
Подобное наблюдается при анализе риска ОИИ. Как только ОИИ будет разработан, человечество станет уязвимо для чрезвычайных происшествий, связанных с ним, и злоупотреблений со стороны тех, кто имеет к нему доступ. Покончить с этим можно будет лишь путем активных действий. В этот период (который может оказаться коротким) риск, сопряженный с ОИИ, будет риском состояния, но при расширении временных рамок он станет риском переходного периода.
Несмотря на существование таких неоднозначных случаев, проводить это различие полезно. Даже в описанных ситуациях оно позволяет изучать изменчивую природу рисков.
565
Эту мысль первым высказал Бустрём (Bostrom, 2013, pp. 24–26).
566
Разумеется, исследователь всегда утверждает, что исследования стоит продолжать. Надеюсь, читатель сможет понять, почему продолжение исследований экзистенциального риска действительно принесет огромную пользу человечеству. Здесь исследования нужны не просто для ответа на произвольно выбранный научный вопрос. Они нужны, чтобы ответить на чрезвычайно важный вопрос (что делать, чтобы лучше всего защитить долгосрочный потенциал человечества?), который пока практически не исследовался.
567
Например, к моменту написания этой книги вышло всего два исследования воздействия полномасштабной ядерной войны на климат, проведенных после окончания холодной войны в 1991 году (Robock, Oman & Stenchikov, 2007; и Coupe et al., 2019), а исследований ее воздействия на сельское хозяйство не публиковалось с 1986 года (Harwell & Hutchinson, 1986).
568
Например, исследовательскую стипендию, которая дала мне время на написание этой книги, мне предоставил индивидуальный благотворитель.