На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
498
Взято у Эндрю Снайдера-Битти.
499
“Дилемма Колингриджа” – особый случай компромисса между использованием преимуществ этого рычага и защиты от нашей близорукости, поскольку она связана с регулированием новых технологий. Колингридж отмечает, что чем дальше мы от внедрения некоторой технологии, тем больше у нас возможностей для контроля за траекторией ее развития, но тем меньше нам известно о ее влиянии (Collingridge, 1982).
500
Он
501
Мировые правительства расходуют на образование 4,8 % ВВП (World Bank, 2019b) – около 4 трлн долларов в год. Целевые расходы на работу по снижению экзистенциального риска составляют порядка 100 млн долларов. См. примечание 56 к главе 2, где подробнее объясняется, как оцениваются расходы на работу с экзистенциальным риском.
502
Это касается средств, направляемых именно на снижение экзистенциального риска, а не всей совокупности средств, направляемых в сферы, связанные с экзистенциальным риском (например, на работу с изменением климата и повышение биологической безопасности). Кроме того, я представляю себе мир, который выглядит так же, как наш сегодняшний. Если же экзистенциальный риск создаст явную чрезвычайную ситуацию (например, к нам будет приближаться огромный астероид), непосредственная работа с ним потребует гораздо больше средств.
503
Asimov (1979), p. 362; перевод А. Девеля и Л. Девель. Я начал эту цитату с заглавной буквы. [Extract from A Choice of Catastrophes: The Disasters That Threaten Our World by Isaac Asimov. Copyright © 1979 by Isaac Asimov. Reprinted with the permission of Simon & Schuster, Inc. All rights reserved.]
504
Можно охарактеризовать их и так:
1. Не потерпеть провал сразу и сделать провал невозможным.
2. Понять, как преуспеть.
3. Преуспеть.
505
Защита нашего потенциала (а следовательно, и экзистенциальная безопасность в целом) предполагает, что людям необходимо закрепить за собой обязательство не допустить экзистенциальной катастрофы. Здесь возникает любопытное противоречие с утверждением, что блокировку сценариев нужно сводить к минимуму (с. 189). Дело в том, что бороться с общей блокировкой (вызываемой экзистенциальным риском) лучше всего помогает закрепление небольшого количества отдельных ограничений.
И все же следует быть крайне осторожными, когда мы закрепляем хоть какую нибудь идею, поскольку мы рискуем отрезать путь к тому, что могло оказаться лучшим из вариантов. Можно сделать обязательство не допускать экзистенциального риска не категорическим (например, удерживать общий риск на определенном уровне во все грядущие века), а более мягким, чтобы от него было сложно, но возможно отказаться. Хороший пример – конституции: как правило, в них можно вносить изменения уже после принятия, но процедура очень сложна.
506
Обеспечивать это
507
Здесь поможет числовой пример. Для начала допустим, что мы сумели снизить вековой экзистенциальный риск до 1 % и удерживаем его на этом уровне. Это прекрасный первый шаг, но его необходимо дополнить обязательством снижать риск и дальше. При вековом риске в 1 % у нас в среднем будет только 100 веков, прежде чем случится экзистенциальная катастрофа. Может показаться, что это долгий срок, но это лишь 5 % от продолжительности нашего существования к настоящему моменту и лишь крошечная доля того, чего мы должны бы достигнуть.
Напротив, если бы мы нашли способ непрерывно снижать риск в каждом веке, экзистенциальная катастрофа не была бы предопределена. Например, если бы с каждым следующим столетием мы снижали вероятность вымирания на одну десятую (1 %, 0,9 %, 0,81 %…), вероятность того, что мы не столкнемся с экзистенциальной катастрофой никогда, сколько бы веков ни прошло, превысила бы 90 %. Ведь вероятность того, что мы выживем во все периоды, такова:
(100 % – 1 %) x (100 % – 0,9 %) x (100 % – 0,81 %) x … ? 90,4598 %.
Это значит, что с вероятностью более 90 % мы проживем до того момента, пока не дойдем до какого нибудь непреодолимого внешнего рубежа: например, когда умрут последние звезды, когда все вещество преобразуется в энергию или когда мы достигнем всего, чего можно достичь, имея доступные нам ресурсы.
Непрерывное снижение риска может оказаться проще, чем мы думаем. Если бы риски каждого века были никак не связаны с рисками следующего века, со временем нам приходилось бы прилагать все больше усилий, чтобы их снижать. Но многие действия, которые мы можем совершить сегодня, снижают риски на долгие времена. Это, например, изучение экзистенциального риска и лучших стратегий для работы с ним, воспитание благоразумия и терпения в нашей цивилизации, а также создание институтов для исследования экзистенциального риска и управления им. Поскольку эти действия влияют и на риски в последующие периоды, они могут способствовать снижению векового риска, даже если количество усилий со временем остается неизменным. Кроме того, число новых антропогенных рисков может быть ограничено, и тогда в последующие столетия не будет появляться новых рисков, которыми придется управлять. Например, если мы доберемся до технологического потолка, у нас не будет возникать новых технологических рисков.
508
При расстановке приоритетов важно соблюдать баланс между обеспечением надежной долгосрочной защиты и тушением пожаров, чтобы дать себе шанс дожить до того момента, когда надежная защита пойдет нам на пользу. И баланс этот зависит от того, как, на наш взгляд, риск распределяется во времени. Возможны даже такие ситуации, когда лучше всего совершать действия, сопряженные с мгновенным риском, если это нивелируется тем, насколько они снижают долгосрочный риск. Примерами могут служить разработка продвинутого искусственного интеллекта и централизация контроля над глобальной безопасностью.