Российская Академия Наук
Шрифт:
Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.
Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».
Структура катастрофы – взаимосвязь научных заблуждений, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе.
NBIC-конвергенция – означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano-bio-info-cogno.
Часть 1.
1.Общие замечания
Пространство возможностей
В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.
Один из важнейших способов достижения безопасности – это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.
Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.
Вся информация взята из открытых источников, доступных в Интернете.
Рассматриваемый промежуток времени: XXI век
В этой книге анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Но некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Эта граница позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.
Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2108-ым годом – 100 лет от настоящего момента – и 2100-ым годом – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)
Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 20, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.
Фактически,
Проблемы численного вычисления вероятностей различных сценариев
Начну с цитаты из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...»
Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 %, мы всё равно не узнаем, какова была её исходная вероятность.
Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.
Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI века, а риск Б – 50 % во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.
Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания за 100 лет, 75% за 200 и 99,9% за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50% вероятность вымирания цивилизации.