Российская Академия Наук
Шрифт:
Деградация в устойчивое состояние
Некоторые надеются, что риски глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф деградирует в, например, феодальное общество. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими феодальными обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует к ещё более примитивным формам и вымрет. Средневековье не устойчиво. Поэтому возвращение в средневековье даст только отсрочку, но не окончательное решение.
Предотвращение одной
Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:
1.Ядерная война останавливает развитие технологий вообще.
2.Тотальный ИИ предотвращает биотерроризм.
3.Биотерроризм делает невозможным развитие ИИ
4.Ядерная зима предотвращает глобальное потепление.
Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, однако малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде – однако это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.
Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носит только вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ. Кроме того, любая большая авария (но меньше отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь есть определённая предвзятость в отношении того, что ожидается повторение точно такого же риска.
Организации, ответственные за предотвращение катастрофы
Определённо, мы не знаем, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться – ведь кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату. Сейчас есть сотрудник в институте «Будущее человечества» Ника Бострома, есть гранты фонда Lifeboat foundation, есть исследования Е.Юдковски. Я сам потратил почти год чистого времени на перевод и написание материалов по глобальным катастрофам.) Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.
1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением. Проблемы: все договориться не могут. В результате принимаются самое слабое и компромиссное решение. Государства не готовы отдать свою власть в ООН.
2) «Мировое правительство». Проблемы: его нет. Невозможного его установление без войны, которая сама по себе глобальный риск. Оно не может быть нейтральным. С точки зрения многих групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.
3) «ЦРУ» – спецслужбы тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Конкуренция спецслужб. Путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще.
4) «Масоны» или «джедаи». Некая тайная частная организация ставит себе целью облагодетельствовать всё человечество. Однако промежуточный этап – это создание своего, возможно, тайного, мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействием им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие, и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» – явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.
5) Открытая дискуссия в обществе. Самоорганизация ответственных граждан. То, что называется
6) Не мешать системе самой по себе самонастроиться. Возможно, что борьба между разными «спасителями мира» окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия – чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный.
Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы общество целиком делегировало ей такие полномочия, что кажется гораздо менее вероятным. Позитивным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась общей и понятной.
Проблема моделирования сценариев глобальной катастрофы
К настоящему моменту наше описание элементов возможной глобальной катастрофы достигло такого уровня сложности, что оно превосходит способности человеческого разума к представлению, и необходимо сказанное проинтегрировать. Сделаем мы это с помощью описания нескольких воображаемых сценариев глобальной катастрофы. Смысл этих сценариев не в том, чтобы дать конкретный прогноз, а в том, чтобы дать срез пространства возможностей, то есть проиллюстрировать его устройство. При этом вспомним слова Бора, сказанные в героический период становления физики в начале XX века: «Это теория недостаточно безумна, чтобы быть верной». Иначе говоря, то, что некоторые сценарии выглядят фантастическими, не делает их невозможными. Рассмотрим эти сценарии также не как попытки предсказать будущее, а как пробные шары, с помощью которых мы исследуем саму свою способность создавать и оценивать сценарии. Отметим, что данное перечисление не есть попытка составить полный список, который был бы многократно длиннее. Часть этих сценариев откровенно фантастические. Пусть они будут попыткой исследовать наши границы восприятия в отношении реального и невероятного.
1. Мировой финансовый кризис, распад мира на враждующие сегменты, ускорение гонки вооружений, широкое распространение ядерного оружия и биологического оружия, война всех против всех, деградация в сторону постапокалиптического мира, в котором на каждом этапе деградации остается достаточно оружия от предыдущего этапа, чтобы перейти к следующему. Время действия 2010-2030 годы.
2. Создание универсальной биологической машины и её широкое распространение. Это как личный биопринтер плюс набор программ для него по созданию любых живых существ. В результате – резкий, очень быстрый взрыв биохакрества, отравление всей окружающей среды поедающими всё бактериями и заражение большей части людей смертельными болезнями. Ядерная война как попытка стерилизовать окрестности. Опять же постапокалиптический мир с неограниченной способностью к деградации – даже более сильной, чем в предыдущем варианте, так как более опасное оружие создано и может производиться последними оставшимися людьми. Время действия 2010-2030 годы.