Российская Академия Наук
Шрифт:
4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.
Понятно, что весь начальный этап может уместиться в несколько дней. Этап функционирования:
5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См. текст «Таблица критический ошибок Дружественного ИИ» Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некого процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).
Сейчас
Другие риски, связанные с компьютерами
Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС, неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.
С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.
Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.
Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.
Время возникновения ИИ
Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той
Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.
Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра. Помешать возникновению ИИ могут:
• Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)
• Отскок прогресса назад
• Теоретические трудности на этом пути.
Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.
2.7. Риски, связанные с роботами и нанотехнологиями
Для начала приведу несколько ярких фактов с переднего края науки, поскольку иногда мы не осознаём то, насколько далеко мы продвинулись. 9-ый номер за 2007г. журнала «В мире науки» сообщает о создании молекулярного конструктора, который позволяет всего из нескольких стандартных блоков конструировать «наноскопические структуры практически любой формы» . В декабре 2007 опубликована 400-страничная «Дорожная карта развития нанотехнологий», над которой трудились десятки учёных под покровительством небезызвестного DARPA. До появления первых нанороботов (названных в ней «Atomically precise productive nanosystems» – наносистемы, позволяющие осуществлять производство с атомарной точностью) в соответствии с этой картой осталось от 10 до 25 лет .
Основной опасностью в отношении нанотехнологий считается распространение нанотехнологической «серой слизи», то есть микроскопических саморазмножающихся роботов. Основные её признаки таковы:
1. Миниатюрность
2. Способность к саморазмножению
3. Способность к самостоятельному распространению по всей Земле.
4. Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы
5. Анонимность
6. Дешевизна
7. Автономность от человека (солдата).
Серая слизь и основанное на ней нанотехнологическое оружие является высшим выражением этих принципов, объединяющих их все вместе. Однако вовсе не обязательно объединять все до единого эти принципы, чтобы получить опасное и эффективное оружие – достаточно реализовать некоторые. Разные комбинации этих принципов дают разные виды роботехнического оружия. Рассмотрим вначале опасных роботов.
Робот-распылитель
Основная проблема с биологическими и химическими ядами – это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с птицу (например, авиамодель). Множество таких роботов могло бы быстро и незаметно «опылить» огромную территорию.