Российская Академия Наук
Шрифт:
Последовательность возникновения различных технологий во времени
Приведённый выше список «силы» технологий в целом похож на ожидаемую временн;ю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.
Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение
Обычно ожидают следующую последовательность созревания технологий: био – нано – ИИ. Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).
Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – или на пути создания синтетических организмов.
Сопоставление факторов риска разных технологий
Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).
Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.
Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов.
Качественно обобщая, можно сказать, что биотех получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.
Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или
ИИ, будучи «двухсторонним джокером», может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории машины, способной к самосовершенствованию, и нацеливанием её на захват власти на Земле. В этом случае она, скорее, создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Е. Юдковски (в статье в приложении к этой книге) метафорически так выражает эту мысль: Закон Мура в отношении ИИ гласит, что с каждым годом IQ человека-конструктора, необходимый для создания ИИ, падает на одну единицу.
Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» – см. далее.
Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.
Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвуют в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (но японцы приучены менять сотовые телефоны и одежду каждые три месяца), хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.