Российская Академия Наук

А.В. Турчин

Риск существованию – это тот риск, в котором негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.

Н. Бостром. «Угрозы существованию: анализ сценариев человеческого вымирания».

Если в ХХ веке возможность вымирания человечества связывалась только с угрозой глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков необратимой глобальной катастрофы, в основном создаваемых развитием новых технологий, и число это постоянно растёт. Исследование этого

вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству общих работ на эту тему. (Что, видимо, является естественным свойством человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о «беспокойстве» (‘worry’).) Проблемы исчерпания нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако бессмысленно обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Однако, к сожалению, сразу могу сказать, что мы не получим этого результата. Сэр Мартин Рис оценивает шансы выживания человечества в XXI веке как 50 на 50, и я склоняюсь к тому, что это вполне обоснованная оценка.

Предлагаемая читателю книга «Структура глобальной катастрофы» посвящена мало освещённой в отечественной литературе теме: систематическому обзору «угроз существованию», то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги – дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер. Она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался «принципом предосторожности», который рекомендует рассматривать наихудший из реалистических сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.

Исследование характера глобальных рисков и их вероятностная оценка необходимы, чтобы определить, насколько велика угроза и какие меры следует принять в отношении неё. И хотя возможные меры в этой книге обсуждаются, здесь вы не найдёте универсального рецепта избавления от глобальных рисков. Однако книга не должна внушить читателю ощущение неизбежности гибели. Автор полагает, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако выживание является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем то, каким бы мог быть совершенный мир, в котором новые технологии использованы во благо плюс, а не для разрушения.

В этом томе вы найдёте мою монографию «Структура глобальной катастрофы», а также три статьи в приложении к ней, необходимые для более ясного понимания темы. Монография распадается на две большие части – методологии анализа и собственно исследования рисков. Методология состоит в основном из критического анализа способности человеческого мышления к предсказанию и оценке глобальных рисков. (Более ранняя версия части, посвящённой методологии, вышла в сборнике Института системного анализа РАН в виде статьи «О возможных причинах недооценки глобальных рисков» .) Эта методология может быть полезна, с небольшими изменениями, и в любых других футурологических исследованиях. В разделе о методологии даётся ряд рекомендаций о том, как именно следует осуществлять анализ рисков. Разбор конкретных рисков во второй части состоит из максимального подробного перечня различных угроз со ссылками на источники и критического анализа. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие связанные с этим вопросы.

В материалах, прилагаемых к книге, следует, в первую очередь отметить новаторскую статью американца Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», переведённую

мной на русский язык. Эта статья выходит в научном сборнике «Риски глобальной катастрофы» , который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. Е. Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию саморазвивающегося Семени ИИ (Seed AI), много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.

Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в американском журнале Nature в разделе гипотезы, что говорит об определённом уровне признания.

Наконец, научный сотрудник Института системного анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.

Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:

1. Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.

2. Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.

3. Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, первый человек в космосе), или доводила их до масштабного предела («Царь-бомба»). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).

4. Безответственность и коррупция, влияющие на организацию производства («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.

5. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает в массовое сознание медленнее, чем сами технологии, и большая часть работ на тему глобальных рисков до сих пор не переведена на русский язык.

6. Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков компьютерных программ («русские хакеры»), и может быть крайне опасно, если тоже самое произойдёт в области биотехнологий.

7. РФ унаследовала мощные геополитические противоречия и комплекс неполноценности от распада СССР («постимперский синдром»), что может способствовать осуществлению опасных проектов.