На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
383
Известно, что в прошлом в Израиле велась разработка биологического оружия (Carus, 2017), и Израиль – одна из всего десяти стран, которые не подписали и не ратифицировали конвенцию (ее подписали 182 государства, включая все остальные развитые страны) (Davenport, 2018).
384
Стоит отметить, что есть и другие трудности. Создать функционирующий вирус только на основе его ДНК не так просто (хотя это удалось одной небольшой группе). Кроме того, в настоящее время сложно замещать ДНК в бактерии. Также существуют ограничения по продолжительности синтеза последовательности,
385
DiEuliis, Carter & Gronvall (2017); IGSC (2018).
386
Часто аргументом против обязательного скрининга служит то, что он может открыть конкурентам доступ к интеллектуальной собственности в виде заказываемых последовательностей ДНК. Но у этой проблемы, по видимому, должно быть криптографическое решение (Esvelt, 2018).
Нам известно немало случаев, когда подобные системы защиты пользовательских продуктов подвергались взлому, но они тем не менее могут обеспечить определенный уровень безопасности, поскольку требуют от злоумышленников экспертизы не только в биологии, но и в компьютерных технологиях. Кроме того, они могут помочь “честным людям оставаться честными”, избавляя исследователей от искушения проводить эксперименты над контролируемыми патогенами.
387
Термин предложил Bostrom (2011b). Неформально их также называют “инфоопасностями”.
388
См. Bostrom, Douglas & Sandberg (2016), где авторы делают обзор этой проблемы, проводят ее формальный анализ и предлагают некоторые решения. В работе Lewis (2018) это понятие применяется к биотехнологическим информационным опасностям.
389
Эту ситуацию усугубляет дополнительная неопределенность в вопросе о размере выгоды и риска, поскольку из за нее распределение оценок чистой выгоды становится шире: самые оптимистичные прогнозы оказываются еще дальше от центральных оценок.
Я сказал, что достаточно одной чрезмерно оптимистичной оценки, но если ученому нужно, чтобы информация была опубликована в журнале, то оценок должно быть две – автора и редактора. Это подсказывает, что решать соответствующую проблему нужно на уровне редакторов журналов, где в процессе участвует меньше людей. Можно, как предлагается в Lewis (2018), обязать первый журнал, отклонивший статью из соображений безопасности, делиться своими опасениями с другими, чтобы автор статьи не принялся рассылать ее во все журналы в поисках того единственного, который слишком оптимистично оценит риск.
В Esvelt (2018) предлагается ввести предварительную регистрацию потенциально опасных исследований, чтобы открытые и широкие дискуссии по вопросам безопасности проходили еще до появления опасной информации.
390
В 1999 году Айман аз-Завахири (нынешний лидер “Аль-Каиды”) написал, что планирует приступить к исследованиям химического и биологического оружия: “Хотя они чрезвычайно опасны, мы узнали о них лишь тогда, когда противник привлек к ним наше внимание, многократно выражая беспокойство в связи с тем, что их разработка не представляет труда” (Wright, 2002).
391
Этим соглашением был Женевский протокол 1925 года, в котором был раздел, запрещавший подписавшим протокол государствам первыми применять бактериологическое оружие. Японцы подписали протокол лишь в 1970 году, но получили
392
Lewis et al. (2019).
393
Так, я специально привел лишь достаточно широко известные примеры.
394
McCarthy et al. (1955). Основы ИИ были заложены еще до Дартмутской конференции, но лето 1956 года обычно считается моментом появления ИИ как области исследований.
395
Это называется парадоксом Моравека по имени пионера ИИ и робототехники Ханса Моравека, который в 1988 году написал: “Однако по мере появления все новых демонстрационных версий стало очевидно, что сравнительно легко вывести компьютер на уровень взрослого человека при решении задач в тестах на интеллект или при игре в шашки, но сложно или вовсе невозможно наделить его навыками годовалого ребенка в области восприятия и мобильности”.
396
Структура главным образом усовершенствовалась за счет появления сверточных нейронных сетей (СНС) и рекуррентных нейронных сетей (РНС). Обучение – за счет применения различных модификаций алгоритма стохастического градиентного спуска, таких как Adam и импульс Нестерова. Усовершенствования в сфере аппаратного обеспечения были спровоцированы переходом от центральных процессоров к графическим, а теперь – к более специализированным устройствам, таким как тензорные процессоры. Эти успехи подпитывали друг друга в рамках благотворного цикла: теперь, когда нейронные сети так хороши, имеет смысл собирать крупные базы данных для их обучения и разрабатывать специализированное аппаратное обеспечение для их работы, в результате чего все становится лучше, оправдывая всё новые инвестиции.
397
He et al. (2015).
398
Phillips et al. (2011); Ranjan et al. (2018).
399
Перевод (Hassan et al., 2018); создание фотографий (Karras et al., 2017); подражание голосу (Jia et al., 2018); беспилотные автомобили (Kocic, Jovicic & Drndarevic, 2019); конструктор Lego (Haarnoja et al., 2018).
400
Bernstein & Roberts (1958); IBM (2011). На протяжении последних пятидесяти лет шахматные программы прибавляли примерно по 50 пунктов рейтинга Эло в год, причем примерно половину из этого им приносило усовершенствование алгоритма, а другую половину – усовершенствование оборудования (Grace, 2013).
401
Silver et al. (2018). Нужно осторожно относиться к таким цифрам и учитывать, какое оборудование использовалось. При обучении AlphaZero использовался гигантский объем вычислительной мощности (5000 тензорных процессоров), а значит, за указанные четыре часа она смогла смоделировать огромное количество партий в шахматы против других версий себя и таким образом нащупать наиболее выигрышную стратегию. Это важная оговорка при сравнении достижений AlphaZero с другими прорывами, поскольку программное обеспечение было усовершенствовано не так сильно, как кажется на первый взгляд. Но я думаю, что, оценивая риск, сопряженный с ИИ, важно знать, сколько времени система потратила на обучение, поскольку это показывает, как быстро ИИ-система может выйти из под контроля в реальном времени.