На краю пропасти. Экзистенциальный риск и будущее человечества
Шрифт:
Информационные угрозы
Из лабораторий утекают не только патогены. Страшнее всего не утечки микробов, а утечки данных, то есть не биологическая, а информационная угроза [387] . Она может принимать форму опасных данных, которые оказываются в открытом доступе, например при публикации геномов оспы и испанки. Это могут быть и опасные идеи, такие как обнародованные методы воскрешения оспы и испанки на основе их геномов (что перечеркнет все прошлые попытки ограничить физический доступ к ним). Оказавшись в открытом доступе, такая информация распространяется не хуже любого вируса и столь же яростно сопротивляется
Если лаборатория уровня BSL-4 устроена так, чтобы не допускать утечек микробов, то в научной среде идеями принято делиться. Научная работа зиждется на принципе открытости, а потому культура и правила, необходимые для предотвращения распространения опасной информации, приживаются плохо. Особенно если граница между в конечном счете полезным и слишком опасным настолько размыта и спорна.
В ученых поддерживают стремление думать самостоятельно и бросать вызов властям. Но когда каждый сам определяет, перевешивают ли выгоды от публикации возникающие издержки, возникает предрасположенность к риску, называемая проклятием односторонности[388]. Дело в том, что, даже если подавляющее большинство ученых полагает, что опасность перевешивает пользу, достаточно одной чрезмерно оптимистичной оценки, чтобы информация оказалась обнародованной[389]. Вопреки принятой в научном мире практике решение за все сообщество принимает единственный отщепенец.
Как только информация обнародована, предпринимать что-либо уже поздно. Если попытаться сдержать распространение раскрытой информации или дискредитировать того, кто ее опубликовал, это привлечет к ней больше внимания. Информация о том, на что обращают внимание бдительные люди, – отдельный вид информационной опасности. “Аль-Каиду” к биотерроризму подтолкнули предостережения Запада о мощности и простоте биологического оружия[390]. Японская программа по разработке биологического оружия во время Второй мировой войны (когда бубонная чума использовалась в борьбе с Китаем) была непосредственно вдохновлена соглашением о запрете биологического оружия: раз западные державы сочли необходимым запретить его применение, это оружие, должно быть, и правда отличается огромной мощностью[391].
Порой достаточно и знания о возможности чего-либо, ведь в таком случае злоумышленник может уйти в работу с головой, не боясь, что растратит ресурсы зря.
Информационные угрозы имеют особенную важность для биориска, поскольку для него характерно высокое соотношение риска злоупотребления и риска несчастного случая[392]. И они затрагивают не только биологов. Изучая текущие уязвимости общества и опасности новейших техник, сообщество специалистов по биологической безопасности также раскрывает опасную информацию (о чем я должен прекрасно помнить, когда пишу этот раздел)[393]. Это еще сильнее усложняет задачу тем, кто пытается нас защитить.
Неконтролируемый искусственный интеллект
Летом 1956 года небольшая группа математиков и программистов собралась в Дартмутском колледже, чтобы приступить к грандиозному проекту по разработке разумных машин. Они изучали многие аспекты познания, включая логическое мышление, креативность, речь, принятие решений и обучение. Их вопросы и установки в итоге определили облик зарождающейся сферы искусственного интеллекта (ИИ). Свою конечную цель они видели в том, чтобы создать машину, чей интеллект мог бы сравниться с человеческим[394].
Несколько десятилетий спустя сфера ИИ упрочила свои позиции, но умерила амбиции. Наблюдаются серьезные успехи в логике, мышлении и играх, но в некоторых других областях прогресса нет вовсе. К 1980-м годам исследователи начали понимать эту закономерность успехов и провалов. Как ни странно, с задачами, выполнение которых мы считаем вершиной человеческого интеллекта (например, математическим анализом и игрой в шахматы), компьютеры
Но маятник начал обратный ход. С первых дней исследования ИИ ученые стремились создать системы, способные обучаться новым вещам без перепрограммирования. Одним из первых подходов к машинному обучению стало конструирование искусственных нейронных сетей, напоминающих строение человеческого мозга. В последнее десятилетие этот метод наконец начал развиваться. Их структура и принципы обучения стали технически совершеннее, базы данных – больше, а вычислительная мощность – выше, и это в совокупности позволило нам обучать гораздо более крупные и глубокие сети, чем когда-либо ранее[396].
Такое глубокое обучение дает сетям способность усваивать тонкие идеи и проводить различия. Теперь они не только в состоянии узнать кошку, но и лучше человека справляются с распознаванием разных кошачьих пород[397]. Они лучше нас узнают людей в лицо и различают идентичных близнецов[398].
И мы научились применять эти способности не только для распознавания и классификации. Системы глубокого обучения могут переводить с языка на язык почти на уровне профессионального переводчика. Они могут создавать изображения людей и животных с фотографической точностью. Могут говорить голосами людей, которых послушали всего несколько минут. И могут освоить точное непрерывное управление, например научиться водить машину или собирать конструктор лего с помощью роборуки[399].
Но, пожалуй, главным предвестником грядущего служит их способность обучаться играм. Игры занимали центральное положение в сфере ИИ со времени Дартмутской конференции. В результате непрерывного поступательного прогресса ИИ, который в 1957 году играл в шахматы на любительском уровне, в 1997 году вышел на сверхчеловеческий уровень, а затем, по сути, пошел дальше[400]. Для этого потребовался огромный объем специальных человеческих знаний о шахматной стратегии.
В 2017 году в шахматное дело вступило глубокое обучение, которое показало впечатляющие результаты. Команда исследователей из ИИ-компании DeepMind создала AlphaZero – основанную на нейронной сети систему, которая научилась играть в шахматы с нуля. Она прошла путь от новичка до гроссмейстера всего за четыре часа[401]. Потратив меньше времени, чем у профессионала уходит на две партии, она приобрела стратегическое знание, на овладение которым у людей ушли века, и стала играть лучше, чем самые способные люди и чем традиционные программы. К огромному удовольствию шахматистов, она играла не в скучном методическом стиле, который ассоциируют с компьютерными шахматами, а выбирала нестандартные и смелые ходы, напоминающие о романтической эпохе в истории этой игры[402].
Но что самое главное – AlphaZero умела не только играть в шахматы. Тот же самый алгоритм с нуля научился играть в го и за восемь часов значительно превзошел способности любого человека. Ведущие мировые игроки в го привыкли считать, что играют почти идеально, и потому разгромное поражение стало для них неожиданностью[403]. Действующий чемпион мира Кэ Цзе сказал: “Человечество потратило тысячи лет на совершенствование своей тактики, но теперь компьютеры говорят нам, что мы заблуждались… Я бы даже сказал, что никто из людей пока и близко не подобрался к истине го”[404].