Российская Академия Наук
Шрифт:
Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:
• Ракеты сбиваются с помощью ракет ПРО.
• По местам производства ядерного оружия наносятся ядерные удары.
• ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.
• Биодатчики не дают распространиться биологическому оружию.
• Нанощит защищает от нанороботов.
Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (доклад Беллоны, глава IV.1. «Три «трещины» ДНЯО» ), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением мирного атома (то
Наконец, все щиты предлагаются в предположении, что у нас есть некая идеальная система, которая наблюдает и контролирует другую, несовершенную. Например, неподкупная милиция управляет несовершенным обществом. Если же мы милиция коррумпирована, то отдел собственной безопасности её контролирует, и так далее. Очевидно, что идеальных систем не бывает, поскольку и система контроля, и контролируемый объект сделаны из одного теста. Можно представить себе многоуровневую иерархическую систему щитов, но тут есть риск раскола между разными контролирующими системами. Наконец, у любого щита есть слепое пятно – он не может контролировать собственный центр управления.
Действующие и будущие щиты
Здесь я привожу краткий, но насколько возможно полный список щитов, которые уже есть или могут появиться в будущем.
1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.
2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.
3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.
4) Оруэлловский контроль. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически достижима, развёрнута только на несколько процентов от того, что могло бы быть, однако активно развивается. Проблемы с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, достаточно предотвратить злонамеренное поведение людей, чтобы не появлялось опасных био, нано и ИИ устройств. Далее мы обсудим недостатки этой системы подробнее.
5) Mind-контроль. Эта система подразумевает вживление в мозг неких контролирующих чипов. Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такая штука решит проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы убить всё человечество. Наконец, она не даст абсолютной защиты, так как её можно взломать, а так же, потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.
6) Антиастероидная защита. Ведётся наблюдение, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact использовался для столкновения с астероидом.)
7) БиоЩит. Действует на уровне разведки и международных соглашений по контролю.
8) НаноЩит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке.
9) ИИ-щит. Защита от создания враждебного ИИ. В SIAI ведётся обсуждение проблем безопасного целеполагания для сильного ИИ, то есть проблемы его Дружественности. Есть рекомендации по безопасной разработке.
10) Обычная полиция и службы безопасности.
Можно также охаректиризовать последовательность срабатывания щитов в случае развития опасной ситуации.
Первый уровень состоит в поддержании мира в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе на всех остальных уровнях. На этом уровне важны открытые дискуссии, сбор средств, пропаганда, образование и инвестиции.
Второй состоит в непосредственном контроле над людьми и опасными системами с тем, чтобы ситуации глобального риска вообще не могли возникнуть. На этом уровне действует МАГАТЭ, оруэлловский контроль и т. д.
Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов и т д. Это уровень систем ПРО.
Четвёртый – в эвакуации с Земли или закупоривании в бункеры (однако принцип предосторожности предполагает, что следовало бы начать это делать даже одновременно с первым пунктом).
Сохранение мирового баланса
Эрик Дрекслер описывает проблему следующим образом: «В поиске серединного пути, мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь – "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. В прошлом страна могла испытывать технологическое отставание на несколько лет и все же поддерживать приблизительный военный баланс. Однако, со стремительными репликаторами и продвинутым ИИ, задержка на единственный день могла бы быть фатальной» . То есть чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии. Сознательное нарушение баланса тоже опасно: попытка одной из стран явным образом уйти в отрыв по военным сверхтехнологиям может спровоцировать её врагов на агрессию по принципу «атака при угрозе потери преимущества».
Система контроля
Любая защита от глобального риска опирается на некую систему контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля, или содержать её в себе как часть. С другой стороны, щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор данных в единый центр.
Окончательным вариантом этого было бы оруэлловское государство, где из каждого угла торчало бы по видеокамере, или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и, особенно, анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, продвигаемые как альтернатива тоталитарному государству в борьбе с терроризмом, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока много неясного. Проблемы: