Российская Академия Наук
Шрифт:
Отдельной статьёй можно обозначить риск воскрешения опасных бактерий из древнего замороженного льда на Земле.
Столкновение с превосходящими нас разумными силами
И религиозные сценарии о втором пришествии, и идеи об инопланетянах, и идеи о том, что мы живём в мир, смоделированном разумными существами – все они имеют в виду, что есть превосходящие нас разумные силы, которые могут внезапно и необратимо вмешаться в нашу жизнь. Опять же трудно оценить вероятность такого рода событий из-за их нестатистической природы. И если мы можем уменьшить вероятность от любых экспериментов, просто запретив какие-либо эксперименты, то здесь от нас почти ничего не зависит. Чем шире человечество будет распространяться в пространстве и заявлять о себе, тем больше шанс, что рано или поздно оно кого-нибудь в нём встретит. Иначе говоря, вероятность встречи с другими разумными силами растёт. А по опыту земной истории, например, открытия Америки, мы знаем, что выдержать встречу с превосходящей культурой почти невозможно.
Вероятность
Шансы на то, что инопланетяне, даже если они есть, впервые прилетят к нам на звездолётах именно сейчас (а не раньше или позже на десятки миллионов лет), исчезающее малы из статистических соображений (меньше одного к миллиону). Следовательно, остаются два варианта:
1) Внезапное столкновение с некой разумной силой по мере экспансии в космосе. Экспансия в космосе здесь подразумевает не только космические полёты, но и всё более дальнее прослушивание космоса радиотелескопами. См. далее главу риски SETI.
2) Мы уже давно находимся под контролем или даже созданы некой разумной силой.
Один из вариантов такого сценария – это столкновение не с самими разумными силами, а с последствиями их деятельности. Например, если некая инопланетная цивилизация произвела опасный эксперимент, который её погубил, его последствия могут распространяться по Вселенной. Это может быть или распад метастабильного вакуума, как пишет Дж. Лесли, или распространение примитивных пожирающих всё нанороботов. В качестве примера можно привести то, что Марс и спутники Юпитера уже подверглись риску заражения земными микроорганизмами от межпланетных станций – хотя самого человеческого разума на них нет, и ещё долго не будет. Иначе говоря, опасные побочные эффекты от разумной жизни в космосе могут распространяться гораздо быстрее, чем сам разум.
Хотя у нас нет оснований считать возможных инопланетян враждебными, принцип предосторожности заставляет нас допустить это. Наихудшим выражением враждебности было бы стремление таких инопланетян стерилизовать окружающий космос, например, чтобы в будущем не иметь конкурентов. Есть предположение, что такая враждебная цивилизация могла бы разбросать по всей галактики некие наблюдательные станции, названные в одном фантастическом романе «берсеркерами», которые в случае обнаружения радиосигналов от разумной жизни направляются к ней и атакуют её. Это предположение крайне маловероятно, так как, если цивилизация действительно продвинутая, она могла бы разбросать такие станции около каждой солнцеподобной звезды, и мы бы давно подверглись её атаке (но здесь нельзя исключить действия эффекта наблюдательной селекции, в силу которого мы могли дожить до XXI века только у той звезды, рядом с которой нет контролирующей станции, как бы мала ни была эта вероятность.)
Опасным считается и посыланием сигналов в космос – METI, так как это вроде как может выдать наше местоположение другим цивилизациям. Однако эти усилия, видимо, перекрываются тем, что радиоизлучение Земли и без того вполне заметно, а также тем, что эти сигналы ушли на небольшое расстояние (менее 100 световых лет – то есть сфера, включающая только несколько тысяч звёзд), а на таком расстоянии вряд ли есть цивилизации, которые могут до нас быстро, со скоростью света долететь, но ни разу этого не делали. В Соединённых Штатах действует закон, запрещающий посылку сообщений в космос. Поэтому все подобные эксперименты проводятся на радиотелескопе в Евпатории. При этом существуют вычисления, показывающие, что вероятность того, что наше случайное сообщение к кому-нибудь попадёт – ничтожно мала .
Если мы живём в смоделированном мире (подробнее этот вопрос будет обсуждаться далее), то шансы того, что эту симуляцию «выключат», растут по мере того, как она становится всё более ресурсоёмкой. А она будет становиться более ресурсоёмкой по мере роста населения Земли, но особенно, когда люди начнут создавать свои компьютерами со своими симуляциями. Здесь срабатывает принцип: множество не может содержать само себя как подмножество.
Риски, связанные с программой SETI
SETI не относится к научной фантастике. Регулярные поиски внеземных сигналов идут с 60-х годов. В настоящий момент частный фонд ATA планирует развернуть 350 радиотелескопов по всему земному шару с бюджетом в десятки миллионов долларов. Это означает, что если опасные сигналы в нашей Галактике существуют, то они могут быть пойманы в ближайшие несколько лет. Даже если они не будут содержать кода, направленного на уничтожение человечества, шок от такой встречи будет иметь значительные последствия для Земли. Программа поиска внеземных радиосигналов уже давно осознаётся как потенциально опасная. Но не только активное METI, то есть посылание сигналов в космос, но и пассивное SETI, то есть чистое слушание, может быть опасно, поскольку получение и расшифровка сообщений может дать опасные технологии в руки неподготовленных индивидов и организаций. Однако есть и более жёсткий вариант рисков, связанных со слушанием космоса, которые возникают, если допустить, что ИИ возможен и его исполняемый код может быть переслан по радио.
Нет нужды говорить, что для
Идея о том, что пассивное SETI может быть опасно – не нова. Структурную схему инопланетной атаки через SETI-сигналы предложил Ф. Хойл в своём романе «Андромеда» . Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит описание компьютера и программу для него. Этот компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, создаёт продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои понимают, что действия компьютера враждебны человеческой цивилизации и уничтожают его, а девушка гибнет. Этот сценарий остаётся фантастическим, потому что большинство учёных не верит в возможность сильного ИИ, и, во-вторых, потому что мы не обладаем технологиями, позволяющими синтезировать новый живой организм по одному только его генетическому коду. Или, во всяком случае, не обладали ими вплоть до недавнего времени. Нынешние технологии секвенсирования и синтеза ДНК, а также успехи в создании изменённого кода ДНК с другим набором алфавита, говорят о том, что ещё через 10 лет задача воссоздания живого существа по присланному из космоса и синтезируемого компьютером коду была бы реализуема.
Ганс Моравек в книге «Дети ума» (1988) предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий. Примерно в этом же направлении развивается мысль Р.Кэрригена, который написал статью «SETI-хакер» , где высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-home. Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно. Через некоторое время Кэрриген выпустил вторую статью – «Следует ли обеззараживать сигналы SETI?» , переведённую мною на русский язык. В ней он указал на лёгкость передачи гигабайт данных на межзвёздные расстояния, а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от идеи о возможности того, что инопланетный вирус заразит земные компьютеры напрямую, и без человеческой помощи. В качестве возможного подтверждения этой идеи он показал, что без труда возможен обратный инжиниринг языка компьютерной программы – то есть по тексту программы можно догадаться, что она делает и затем восстановить значение операторов.
В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска», где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)
В начале предположим, что существует внеземная цивилизация, которая имеет цель послать такое сообщение, которое позволит ей установить власть над Землёй, и рассмотрим, как мог бы выглядеть такой сценарий. В следующей части мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация стала бы посылать такое сообщение.
Во-первых, отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны (от Энигмы от Айпода). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI. Вместе с тем, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI. Во-вторых, я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и что я потратил на обнаружение этой уязвимости не более месяца размышлений. Сверхцивилизация с IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный, и потом мы обсудим кратко другие варианты.