Российская Академия Наук
Шрифт:
Системный кризис и технологические риски
Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как
Малый системный кризис – вовлекает только политику, ресурсы и экономику
Малый системный технологический кризис – вовлекает развитие одних технологий из других и сложные технологические катастрофы.
Большой системный кризис – в нём оба малых кризиса являются только его частями, плюс взаимодействие составляющих элементов друг с другом. Пример такого кризиса: Вторая мировая война.
Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы
Это утверждение опирается на следующие посылки, которые мы по отдельности обсудили в предыдущих главах.
a. Большинство крупных технологических катастроф, начиная с Титаника, носили системный характер, то есть не имели какой-то одной причины, а возникали как проявления сложности системы в виде маловероятного непредсказуемого стечения обстоятельств с разных планов: проектирования, управления, систематических нарушений инструкций, интеллектуальной слепоты и сверхуверенности, технических отказов и маловероятных стечений обстоятельств.
b. За счёт NBIC конвергенции и за счёт одновременности исчерпания взаимозаменяемых ресурсов мы получаем тот эффект, что все критические обстоятельства подтягиваются к одной дате, и дата эта – в районе 2030 года.
c. Обвал технологической цивилизации, начавшись даже с небольшой катастрофы, может принять форму устойчивого процесса, где одна катастрофа запускает другую, при этом в каждый момент времени силы разрушения превосходят сохранившиеся силы созидания. Это происходит по причине того, что раньше огромное количество сил разрушения сдерживалось, а затем они все одновременно высвободятся (исчерпание ресурсов, заражение среды опасными биоагентами, глобальное потепление). Эта способность одной катастрофы запускать другую связана с высокой концентрацией разных потенциально смертельных для человечества технологий – подобном тому, как где бы ни начался пожар на корабле, где очень много пороха, в конечном счёте взорвётся весь корабль. Другая метафора – если человек убегает от лавины, он должен бежать со всё большей скоростью, и всё меньшая задержка требуется, чтобы он попал от под всё большей силы лавину. Третья метафора – перекристаллизация некого вещества с несколькими фазовыми состояниями в районе фазового перехода. Эта метафора означает быструю и принципиальную перестройку всей цивилизации, связанную с возникновением мощного ИИ.
d. По мере нарастания сложности нашей цивилизации нарастает вероятность внезапных непредсказуемых переходов в иное состояние в духе теории хаоса, и одновременно нарастает наша неспособность предсказывать своё будущее и предвидеть последствия своих действий.
5. Криптовойны, гонка вооружений и другие сценарные факторы, повышающие вероятность глобвльной катастрофы
Криптовойна
Важным фактором будущих глобальных рисков является появление возможности «криптовойн» (термин С. Лема ). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного (то есть безнаказанного) удара,
Недоверие стран друг другу возрастёт, гонка вооружений усилится, моральный запрет на анонимный и подлый удар исчезнет, в результате может разгореться мировая война всех против всех и одновременный скачок в опасных технологиях.
Криптовойна будет во многом террористической – то есть информационное воздействие от удара должно превышать непосредственный ущерб. Но смысл этого будет не столько в создании страха – террора, а скорее, во всеобщем недоверии всех ко всем, которым можно манипулировать, подбрасывая разные «гипотезы». Многие политические убийства современности уже являются актами «криптовойны», например, убийство Литвиненко. В отличие от теракта, за который многие хотят взять ответственность, за криптоудар никто её не берёт, но каждый хочет использовать его на свою пользу, спихнув вину на другого.
Уязвимость к сверхмалым воздействиям
Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям (Более того, за счёт нелинейного сложения, несколько очень слабых событий может иметь значительно больший эффект, чем каждое в отдельности, что уменьшает требования к точности выбора и реализации каждого отдельного события.) Конечно, чтобы правильно рассчитать такое воздействие, нужен сверх-ум, способный смоделировать сверхсложную систему. А значит, этот ум должен быть сложнее этой системы, и эта система не должна содержать других таких умов. Такая ситуация может возникнуть на первых фазах развития искусственного интеллекта. Удар с помощью малых событий будет высшим проявлением криптовойны.
Пример: аварии с отключением электричества в США и РФ при относительно небольших замыканиях. Такие точки уязвимости можно вычислить заранее. Более сложную уязвимость я не могу предложить, ибо не обладаю достаточным умом. Однако ещё одним фактором может быть воздействие на родственников и друзей лиц, принимающих ключевые решения. (Например, недавно в Европе ограбили банк таким образом – взяли в заложники семью сотрудника, и он сам всё вынес.) Так нельзя уничтожить мир, но спровоцировать гигантский бардак можно – то есть перевести систему на более низкий уровень организации. В состоянии бардака вероятность непреднамеренного применения оружия массового поражения увеличивается, а способность к разработке принципиально новых технологий уменьшается. Соответственно, если средства всемирного уничтожения уже созданы, это повышает шанс глобальной катастрофы, а если ещё нет – то, возможно, снижает. (Но это не так, если уцелели другие технологически полноценные страны – для них такое событие станет спусковым крючком опасной гонки вооружений.)
Примеры гипотетической точки в системе, бесконечно малое воздействие на которую приводит к бесконечно большим последствиям. Чаще всего речь идёт о принятии решения человеком, а точнее, о неком факторе, который перевешивает критический порог принятия решения.
Скорее всего, речь может идти о:
• Решении о начале войны (выстрел в Сараево)
• Начале техногенной аварии (Чернобыль)
• Биржевой панике, или другом опасном слухе
• Отклонении астероида
• Убийстве правителя
Как вариант, возможно малое воздействие на несколько удалённых точек, дающее синергетический эффект. Среди особо опасных террористических сценариев таких воздействий, доступных уже сейчас:
• Влияние на родственников лиц, принимающих решения. Использование авиамоделей как своего рода телеуправляемых ракет, которые могут принести маленькую бомбу куда угодно. Я сильно удивляюсь, что авиамодели до сих пор не запретили. Объекты для атаки: президенты, самолёты, электроподстанции, вычислительные центры, системы управления ядерным оружием.