На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
446
Большинство нормативных установок обладает этим неочевидным свойством, поскольку задаваемый стандарт поведения не учитывает, что сама установка может быть неверна. Так как фиксация верной установки сопряжена с малыми издержками и большими выгодами, часто установка дает именно такую рекомендацию. К важным исключениям относятся установки, которые вообще не предполагают оглядки на последствия (например, если действия, способные привести к тому, что навсегда закрепится другая установка, не вызывают опасений), и установки с сильным либеральным посылом (например, если другая установка вызывает беспокойство, нормативная теория в явной форме
Хотя меня тревожит вероятность преждевременного утверждения нормативной теории, о которой все мы потом пожалеем, я не считаю встроенную в нее рекомендацию к фиксации причиной ее отвергать. Я думаю, что верное решение находится на том уровне моральной неопределенности, который я подробно проанализировал в другой работе (MacAskill, Bykvist & Ord, готовится к публикации). Людям следует сохранять некоторые сомнения в том, какие нормативные теории верны, и это дает нам веские, основанные на моральной неопределенности причины противостоять фиксации теории, даже если мы полагаем, что она с высокой вероятностью верна, поскольку нам надо оградить себя от риска ошибиться.
447
Бустрём (Bostrom 2013) предостерегает нас от этого, а Батлер (Butler 1863, 1872) заигрывает с этой идеей. Она практически гарантировала бы, что продолжительность жизни человечества будет ограничена фоновым уровнем природных рисков (хотя антропогенные риски, разумеется, все равно могут покончить с нами еще раньше). И это точно лишило бы нас возможности увеличить продолжительность своей жизни и расселиться за пределами Земли, хотя в ином случае это было бы в наших силах (и, вероятно, оставалось бы важной частью нашего потенциала).
448
Еще одним вероятным примером могут служить миры, где мы отказываемся от всех попыток покинуть Землю (возможно, чтобы оставить небеса нетронутыми). См. главу 8, где я рассуждаю о том, почему главное, чего мы можем достичь, стоит искать за пределами Земли.
449
Тринадцатая поправка гласит: “Запрещается вносить в Конституцию поправки, которые наделяют Конгресс полномочиями ликвидировать или видоизменять местные институты любого из штатов, включая институт принудительного труда или услужения, предусмотренный законами этого штата”.
Поправка была принята Конгрессом и даже поддержана Линкольном, но так и не ратифицирована. Неясно, могла ли она сработать, поскольку осталась бы возможность сначала аннулировать ее, а затем отменить рабство. Кроме того, она не гарантировала бы сохранение рабства навсегда, поскольку каждый из рабовладельческих штатов все равно был бы в состоянии отменить рабство на своей территории (Bryant, 2003).
450
По крайней мере, если его не подтолкнет к этому ранняя разработка продвинутого ОИИ. Такую катастрофу лучше причислять к рискам, сопряженным с ИИ.
451
Обратите внимание, что даже при таком подходе варианты могут считаться плохими в инструментальном смысле, если отсекают многие другие варианты. Следовательно, отсечение таких вариантов обретет инструментальную ценность (например, если отсечь вариант, в котором мы намеренно спровоцируем собственное вымирание). В связи с этим можно сделать вывод, что закреплять нам нужно лишь минимизацию блокировки.
Это изящный и логичный принцип, но, вероятно, его можно улучшить, просто ограничив нашу возможность выбирать такие варианты или сделав так, чтобы выбрать их можно было только огромным квалифицированным большинством голосов (такие техники часто применяются при заключении
452
Главная причина такого разброса вероятностей в том, что самовоспроизводящиеся машины кажутся технологически гораздо более сложными, чем фабрикаторы, и гораздо медленнее выходят на самоокупаемость, а потому над ними работают гораздо меньше (Phoenix & Drexler, 2004). Однако научное любопытство и возможность нишевого применения технологии в конце концов заставят нас испробовать ее, и на этот случай нужно разработать меры безопасности.
Атомарно точное производство позволит наладить дешевое производство ядерного оружия. Можно подумать, что такое невозможно, поскольку эта технология лишь перестраивает атомы, а атомы урана и плутония не входят в сырьевую базу. Но уран вообще то содержится в морской воде, и его концентрации лишь немного не хватает, чтобы его добыча с помощью существующих технологий стала экономически целесообразной (Schneider & Sachde, 2013). Снижая затраты на производство оборудования для добычи урана (и снижая энергетические затраты на его эксплуатацию путем применения солнечной энергии), атомарно точное производство может сделать уран гораздо более доступным. Злоумышленнику все равно придется обогащать концентрацию урана-235, чтобы создать материал, подходящий для производства оружия, но и это, вероятно, станет дешевле и проще с появлением такой мощной производственной технологии общего назначения.
453
Очевидно, что вероятность экзистенциальной катастрофы, вызванной обратным загрязнением с Марса, должна быть очень мала, если учесть все сложности, которые ей нужно будет преодолеть. Для этого на поверхности Марса должна все таки быть жизнь, хотя марсианские условия крайне суровы, а все прошлые попытки найти признаки жизни на планете ни к чему не привели. Но даже если бы на Марсе была жизнь, она должна была бы приспособиться к совершенно другой земной среде и суметь причинить ущерб экзистенциального масштаба. В формальных исследованиях этот риск, как правило, признается очень небольшим, но подходить к нему все равно рекомендуется с предельной осторожностью (Ammann et al., 2012).
Хотя вероятность на первый взгляд невелика, о необходимости принятия мер с целью предотвращения обратного загрязнения с других планет и лун говорится в подписанном в 1967 году Договоре о космосе, который представляет собой юридическую основу международного космического законодательства. Экзистенциальный риск, вызываемый обратным загрязнением, был одним из первых упомянут в философской литературе (Smart, 1973, p. 65): “Подобные долгосрочные катастрофические последствия должны предусматриваться при планировании полетов на другие планеты, если существует хоть какая то, пусть даже малая, вероятность того, что на этих планетах есть вирусы или бактерии, к которым у земных организмов нет иммунитета”.
Впервые о риске обратного загрязнения заговорили в период высадки на Луну. Еще не было подтверждения, что Луна стерильна, и главный санитарный врач США настоял, чтобы NASA приняла серьезные меры предосторожности, утверждая, что небезосновательно будет выделить 1 % бюджета ради предотвращения ужасной катастрофы на Земле (Atkinson, 2009). В конце концов на разработку карантинной системы ушло около 8 млн долларов, то есть менее двадцатой части от общей стоимости космической программы “Аполлон” (Mangus & Larsen, 2004).