На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
124
Ник Бустрём (2013, p. 24) особенно удачно сформулировал эту мысль: “Вполне возможно, что наши современные представления об аксиологии ошибочны. Сегодня мы можем не знать – по крайней мере, не знать в деталях, – какие итоги будут считаться большой победой для человечества; быть может, мы еще не умеем даже вообразить лучшие варианты окончания нашего пути. Если мы действительно понятия не имеем, каковы наши итоговые цели, то нам следует признать, что есть большая потенциальная выгода в сохранении – а лучше в повышении – нашей способности распознавать преимущества и направлять будущее в нужное русло. Обеспечить существование новой версии человечества,
Думаю, условие достоверности здесь очень важно. Я не говорю, что этот аргумент, основанный на неопределенности, работает даже в том случае, если вы в высшей степени уверены, что мы не обязаны оберегать свое будущее. Базой для такого аргумента, вероятно, может послужить и ожидаемая выгода, но я остерегаюсь аргументов, связанных с ожидаемой выгодой, когда вероятности чрезвычайно малы и плохо изучены (см. Bostrom, 2009).
125
Даже если придерживаться мрачной точки зрения, полагая, что значимы лишь неблагоприятные исходы, все равно продолжить путь, поскольку человечество, возможно, способно предотвратить неблагоприятные исходы в других точках Земли, а также в других областях космоса, где зародилась жизнь.
126
Иными словами, защита нашего будущего имеет огромную ценность отложенной альтернативы. Двигаясь по этому пути, мы сохраняем способность в будущем выбрать то, что окажется лучшим вариантом, когда у нас появится больше данных. Неимоверную ценность обретают и сами эти данные, будь то эмпирическая информация о наших перспективах или сведения о том, какие из гипотетических моральных соображений выдержали проверку временем. Разумеется, ценность отложенной альтернативы ограничивается той степенью, в которой будущее, по нашим прикидкам, окажется восприимчиво к новой информации о том, что лучше с точки зрения морали.
Подробнее о моральной ценности отложенной альтернативы и ценности информации морального характера с точки зрения всего человечества пишут Bostrom (2013, p. 24), MacAskill (2014), а также Williams (2015), который обобщает эту мысль: “…нам следует считать интеллектуальный прогресс того типа, который позволит нам как можно скорее находить и исправлять свои ошибки морального характера, первоочередным моральным приоритетом, а не просто роскошью; и нам также следует признать важность экономии ресурсов и повышения гибкости, чтобы тогда, когда настанет время изменить свои принципы, мы смогли бы сделать это быстро и безболезненно”.
127
Эти мысли прекрасно излагает Sagan (1994).
128
Бюджет на 2019 год составил 1,4 млн долларов (BWC ISU, 2019). В период с 2016 по 2018 год расходы на содержание ресторанов, управляемых компанией McDonald’s, составляли в среднем 2,8 млн долларов на ресторан ежегодно (McDonald’s Corporation, 2018, pp. 14, 20). Компания не сообщает о расходах на содержание ресторанов, открытых по франшизе.
129
По оценке Farquhar (2017), общемировые расходы на снижение экзистенциального риска от ИИ в 2017 году составили 9 млн долларов. После этого они значительно возросли, возможно в 2–3 раза. Я уверен, что расходы в 2020 году составили от 10 до 50 млн долларов.
По оценке IDC (2019), общемировые расходы на ИИ в 2019 году достигнут 36 млрд долларов и значительная их часть пойдет на расширение способностей ИИ. [По информации русскоязычного издания “Коммуникации в ИТ-бизнесе”, общемировые
130
В 2018 году объем мирового рынка мороженого оценивался в 60 млрд долларов (IMARC Group, 2019), или ~0,07 % валового мирового продукта (World Bank, 2019a).
Точно определить, сколько мы тратим на охрану своего будущего, нелегко. Я склоняюсь к простейшей формуле и учитываю лишь расходы, направленные на снижение экзистенциального риска. В этих рамках я оцениваю общемировые расходы примерно в 100 млн долларов.
Борьба с изменением климата показывает, насколько сложно определить, какие именно расходы нас интересуют. По одной из оценок, общемировые расходы на борьбу с изменением климата составляют около 400 млрд долларов (~0,5 % валового мирового продукта) (Buchner et al., 2017). Скорее всего, это завышенная оценка экономических издержек, поскольку большая часть средств идет на производство возобновляемой энергии, хотя в ином случае значительная доля этого шла бы на строительство невозобновляемых мощностей. Кроме того, как мы увидим в главе 4, экзистенциальный риск, связанный с изменением климата, главным образом проистекает из самых радикальных сценариев потепления. Следовательно, неясно, сколько в среднем долларов, расходуемых на борьбу с изменением климата, идет на снижение экзистенциального риска. Подобные трудности возникают и при оценке риска искусственной пандемии: США направляют на обеспечение биологической безопасности 1,6 млрд долларов из федерального бюджета, но лишь малая часть этой суммы в итоге пойдет на защиту от худших пандемий (Watson et al., 2018).
Не считая борьбы с изменением климата, совокупные расходы на обеспечение биологической безопасности и снижение природных рисков, а также рисков, связанных с ИИ и ядерной войной, все равно оказываются ниже наших расходов на мороженое. А непосредственно на снижение экзистенциального риска, я уверен, не тратится и десятой части этой суммы.
131
Robock, Oman & Stenchikov (2007) и Coupe et al. (2019).
132
King et al. (2015). Как мы увидим в главе 4, на основе имеющихся у нас сегодня научных знаний можно сделать вывод, что потепление на 6 °C вполне возможно.
133
Эти характеристики называются неисключительностью (поставщик не может сделать так, чтобы выгоду получали только оплатившие товар потребители) и неконкурентностью (потребление блага одним индивидом не ограничивает возможность его потребления для остальных). Как видно, большая часть товаров и услуг, предлагаемых рынком, обладают исключительностью и конкурентностью.
134
Cм. Bostrom (2013, p. 26). Оттолкнувшись от понятия трагедии общин, экономист Джонатан Уинер (2016) назвал такую ситуацию “трагедией редкостей”.
135
В долгосрочной перспективе рассматриваются лишь некоторые вопросы, например энергетическая политика, пенсионное обеспечение и реализация крупных инфраструктурных проектов. Как правило, они планируются на десять-двадцать лет вперед, но и это довольно краткий срок по меркам нашей книги.
136
Подробнее об эвристике и предубеждениях пишет Kahneman (2011). Глубокий анализ этих и других предубеждений, влияющих на общественную оценку редких катастрофических рисков, проводит Wiener (2016).