На краю пропасти. Экзистенциальный риск и будущее человечества

Орд Тоби

569

Они также выделили крупный грант в поддержку оксфордского Института будущего человечества, где я работаю.

570

Особенно ценно их движимое искренней заботой о деле желание финансировать исследования, которые действительно приносят максимум пользы, поскольку если просто увеличивать финансирование исследований экзистенциального риска, то средства, вероятно, будут направляться главным образом в уже сложившиеся области (возможно, после удачного ребрендинга) и лишь малая их часть будет выделяться на поистине прорывную и смелую работу. Также можно

ожидать, что общее финансирование будет направляться на исследование более понятных рисков (например, астероидов), а более серьезные, но менее изученные риски (например, сопряженные с продвинутым искусственным интеллектом) останутся без внимания. Кроме того, финансироваться может и работа с катастрофическими рисками, которые не входят в категорию экзистенциальных. Если ведущие грантодатели начнут выделять средства на исследование экзистенциального риска, им необходимо соблюдать осторожность, чтобы не нарушить порядок приоритетов в отрасли. См. также Bostrom (2013, p. 26).

571

Есть и другие исследовательские институты, например Институт будущего жизни (FLI) и Институт глобального катастрофического риска (GCRI).

572

Отличный пример – энвайронментализм. На заре своего существования движение в защиту окружающей среды было гораздо менее политически ангажированным и добилось немалых успехов. Ричард Никсон основал Агентство по охране окружающей среды США, а Рейган заявил: “Необходимость защиты окружающей среды диктуют не программы либералов и консерваторов, а здравый смысл”. На мой взгляд, движение добилось бы большего, если бы ему удалось сохранить свою неангажированность.

573

Взять хотя бы движение в защиту окружающей среды. Первые энвайронменталисты главным образом сталкивались с проблемами загрязнения, снижения биологического разнообразия, вымирания и дефицита ресурсов. Но они не называли себя ни “экстинкционистами”, ни “поллюционистами” [от англ. extinc-tion – “вымирание” и pollution – “загрязнение”. – Прим. перев.]. Они отождествляли себя не с проблемами, с которыми боролись, а с положительной ценностью, которую всячески старались сберечь.

574

На момент написания этой книги у всех на слуху DeepMind и OpenAI. Им нужны толковые исследователи в сфере безопасности ИИ и умелые программисты – особенно те, кто воспринимает экзистенциальный риск всерьез.

575

В число организаций, работающих над снижением экзистенциального риска, входят:

Институт будущего человечества (FHI);

Центр изучения экзистенциального риска (CSER);

Институт будущего жизни (FLI);

Институт глобального катастрофического риска (GRCI);

Инициатива по исследованию экзистенциального риска в Беркли (BERI);

Проект “Открытая филантропия” (OpenPhil);

Инициатива по исследованию ядерной угрозы (NTI);

Бюллетень ученых-атомщиков;

Фонд глобальных вызовов;

Группа правового регулирования экзистенциальных рисков (LGER);

Альянс “Накормим Землю в разгар бедствий” (ALLFED).

На сайте 80 000 Hours перечисляются профессии, выбрав которые можно внести в общее дело наибольший вклад, и публикуются объявления о вакансиях: http://80000hours.org/job-board.

Кроме того, там объясняется, какие профессии действительно помогают миру: http://80000hours.org/career-reviews.

576

Придерживаясь

этого принципа, я решил направить весь свой писательский аванс и всю прибыль от продажи этой книги в благотворительные организации, которые помогают защищать долгосрочное будущее человечества.

577

Eig (2014). Эта заслуга в равной степени принадлежит активистке Маргарет Сэнгер, призывавшей к контролю над рождаемостью (именно она первой получила пожертвование от Маккормик), и ученым Грегори Пинкусу и Джону Року, исследования которых она профинансировала.

578

Fleishman, Kohler & Schindler (2009), pp. 51–58. См. примечание 97 к главе 4.

579

Wells (1913), p. 60.

580

Здесь – как и везде в этой книге – я называю “цивилизацией” человечество после неолитической революции (то есть условно в последние 10 тысяч лет, поскольку у нас нет точных данных о времени ее начала). Это широкое определение, поскольку обычно начало цивилизации связывают с появлением первых городов-государств 5000 лет назад. Я выбрал более протяженный период, так как, на мой взгляд, неолитическая революция была более важным переходом, а многое из того, что мы связываем с цивилизацией, формировалось постепенно, пока существовали только маленькие поселения и деревни, но еще не возникли города.

581

Сделанные на основе палеонтологической летописи оценки медианной продолжительности существования вида у млекопитающих находятся в диапазоне от 0,6 млн лет (Barnosky et al., 2011) до 1,7 млн лет (Foote & Raup, 1996). Оценки, сделанные на основе молекулярной филогенетики, как правило, свидетельствуют о более долгой жизни видов, но я не учитываю их, поскольку эта методика признается не повсеместно.

Оценки на основе палеонтологической летописи для всех видов находятся в диапазоне от 1 млн лет (Pimm et al., 1995) до 10 млн лет (De Vos et al., 2015). Мэй (May, 1997, p. 42) приходит к выводу: “Если речь идет о среднем показателе, лучше называть диапазон 1–10 млн лет”.

582

Время жизни большей части углерода в нашей атмосфере составляет около 300 лет, но длинный хвост этого распределения формирует углерод, который существует во много раз дольше. Согласно Archer (2005), через 100 тысяч лет в атмосфере сохранится 7 % углерода, попавшего туда при сжигании ископаемого топлива.

583

На полное восстановление после массового пермского вымирания, случившегося 250 млн лет назад и уничтожившего 96 % видов, морским видам понадобилось около 8–9 млн лет, а сухопутным – немного больше (Chen & Benton, 2012).

584

Forey (1990); Zhu et al. (2012); Shu et al. (1999).

585

Возраст древнейших ископаемых цианобактерий – от 1,8 до 2,5 млрд лет (Schirrmeister, Antonelli & Bagheri, 2011).

Как правило, считается, что простейшая жизнь зародилась не менее 3 млрд лет назад (Brasier et al., 2006).

Понятие “сложная жизнь” не имеет точного определения. Я отсчитываю ее историю от кембрийского взрыва (541 млн лет назад) или появления эдиакарской биоты (около 600 млн лет назад). Для дальнейших событий точная дата не имеет особого значения.