На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
Человечеству угрожает не только ядерное оружие. Наше внимание направлено именно на него, поскольку оно стало первым серьезным риском и уже грозило человечеству. Но есть и другие риски.
Экспоненциальное повышение благосостояния, которое подтолкнула промышленная революция, сопровождалось стремительным ростом объема выбросов углекислого газа. Незначительный побочный эффект индустриализации в конце концов вылился в глобальную угрозу здоровью, окружающей среде, международной стабильности и, возможно, даже всему человечеству.
Ядерное оружие и изменение климата имеют поразительные сходства и различия. В обоих случаях
Технологии продолжают развиваться, и на горизонте возникают новые угрозы. Эти угрозы, вероятно, будут похожи скорее на ядерное оружие, чем на изменение климата: они будут возникать из-за неожиданных прорывов, приводить к резким катастрофам и связываться с действиями небольшого числа лиц. Меня особенно заботят две зарождающиеся технологии, которым будет посвящена пятая глава.
С самой неолитической революции мы меняли геном растений и животных, чтобы удовлетворять свои нужды. Но открытие генетического кода и создание инструментов, позволяющих читать и переписывать его, привело к резкому расширению нашей способности перестраивать жизнь с новыми целями. Внедрение биотехнологий приведет к значительному прогрессу в медицине, промышленности и сельском хозяйстве. Но возникнут и риски для цивилизации и самого человечества, и их источниками будут как случайности, которые могут произойти при санкционированных исследованиях, так и возможность создания биологического оружия.
Мы также наблюдаем стремительное расширение способностей систем искусственного интеллекта (ИИ), причем самый серьезный прогресс наблюдается в тех областях, где ИИ традиционно был слабее всего, таких как восприятие, обучение и общий интеллект. Специалисты полагают, что в этом столетии человеческие способности превзойдет не только узкий ИИ, но и общий, то есть умеющий преодолевать разнообразные препятствия для достижения поставленных целей. Человечество смогло обрести контроль над миром именно благодаря своим непревзойденным умственным способностям. Если мы уступим пальму первенства машинам, именно они в итоге займут наше уникальное положение. Это должно заставить нас задуматься, почему именно человечество и дальше будет править миром. Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.
Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс. Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.
Я
Я не призываю и к отказу от технологий. Технологиям принадлежит огромная заслуга в улучшении благосостояния человечества. Кроме того, без технологий человечество не сумеет раскрыть свой потенциал в долгосрочной перспективе. В отсутствие технологий мы были бы обречены из-за совокупного риска таких природных катастроф, как падение астероидов. В отсутствие технологий мы никогда не придем к истинному процветанию, хотя мы могли бы его достичь.
Проблема не столько в переизбытке технологий, сколько в недостатке мудрости[65]. Особенно хорошо об этом сказал Карл Саган:
Большинство угроз, с которыми мы сталкиваемся, действительно обусловлены наукой и технологиями, но на более фундаментальном уровне они вызваны тем, что мы стали могущественнее, при этом не став соизмеримо мудрей. Средства изменения миров, полученные нами благодаря технологии, требуют такой осмотрительности и дальновидности, которые не требовались нам никогда ранее[66].
Адвокатом этой идеи выступает даже бывший президент США:
Сама искра, которая служит отличительной особенностью нашего вида, – наши мысли, наше воображение, наш язык, наше умение изготавливать инструменты, наша возможность отстраняться от природы и подчинять ее своей воле – всё это также дает нам беспрецедентные способности к разрушению… Технологический прогресс, не сопровождаемый эквивалентным прогрессом в сфере человеческих институтов, обречет нас на гибель. Научная революция, которая привела к делению атома, требует и революции в моральной сфере[67].
Нам нужно обрести эту мудрость, пережить моральную революцию. Поскольку вымирание необратимо, нельзя откладывать дела на потом и ждать, когда угроза воплотится в жизнь. Необходимо действовать заблаговременно. Мудрость не обрести, а моральную революцию не начать в одночасье, поэтому нам пора браться за дело.
Думаю, мы, скорее всего, переживем этот период. Не потому, что трудности незначительны, а потому, что мы сумеем с ними справиться. Упомянутые риски проистекают из действий человека, и одно это показывает, что человек в состоянии на них ответить[68]. Пораженчество неуместно и контрпродуктивно, как самосбывающееся пророчество. Нам следует работать с этими рисками, рассуждая трезво и беспристрастно и руководствуясь позитивным видением будущего, которое мы стараемся защитить.
Как серьезны эти риски? Сложно точно ответить на этот вопрос, ведь речь идет о комплексных (то есть не поддающихся простому математическому анализу) и беспрецедентных (то есть не подлежащих аппроксимации по частоте возникновения в долгосрочной перспективе) рисках. И все же очень важно хотя бы попытаться дать количественную оценку. Такие качественные утверждения, как “серьезный риск вымирания человечества”, можно трактовать как риск в диапазоне от 1 до 99 %[69]. Они не проясняют ситуацию, а усиливают путаницу. В связи с этим я предлагаю количественные оценки, но с оговоркой, что их нельзя считать точными и можно пересматривать.