Конец света: прогнозы и сценарии
Шрифт:
Первый закон: робот не может причинить вреда человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Второй закон: робот должен выполнять приказы человека в той мере, в какой это не противоречит первому закону.
Третий закон: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит первому и второму законам.
Кроме того, значительно позже, уже в 1986 году, Азимов дополнил этот свод нулевым законом: робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству
Так вот, дело не в том, что человек способен в любой момент выключить «зарвавшийся» компьютер (это может оказаться непросто сделать), а в том, что рядом с суперинтеллектом человек окажется существом более низкого порядка. Даже самое минимальное отставание уже приведет к стойкому непониманию происходящего. Компьютер будет сам ставить перед собой задачи и сам будет их решать, причем методами, которые человек не сможет (или не будет успевать) постигнуть. Вокруг нас появятся объекты, тайну работы которых нам не под силу будет понять.
Нельзя сказать, что при ИИ человечеству будет жить плохо. Кошка не представляет, и, наверное, не пытается представить, по какому принципу работает электрообогреватель, но это не мешает ей греться около него.
Обогнать наш разум, кажущийся нам совершенным, вовсе не сложно. Нейрофизиологи говорят, что вычислительные способности человеческого мозга составляют 1014 (сто триллионов) операций в секунду. При этом современные суперкомпьютеры уже оперируют скоростями 1015 операций в секунду. По оценке физика Ричарда Кэрригена из Национальной американской лаборатории ускорения Ферми (US Fermi National accelerator laboratory) в Иллинойсе, объем сознательной памяти человека составляет всего 2,5 гигабайта. Это маловато даже по сравнению с обычными компьютерами, у которых только оперативная память уже сейчас иногда зашкаливает за 4 гига, а уж про жесткий диск с его минимально-стандартными 60 гигабайтами и говорить нечего. Нейрофизиологи установили, что в каждый конкретный момент человеческий мозг может «оперировать» не более чем пятью — девятью объектами (средний человек обычно держится на уровне семи объектов). Поэтому большинство телефонных номеров на Земле состоит из семи цифр: человек «на ощупь» определил наиболее продуктивное количество предметов. Число семь считается чуть не священным. Даже в поговорках внимание к нему отражено: «Семеро с ложкой, один с сошкой», «Семеро одного не ждут», «За семь верст киселя хлебать». Мы ходим за семь морей, поднимаемся на седьмое небо и т. д. Для нас просто то, что до семи, дальше начинаются сложности.
Нам сложно понять принцип решения дифференциальных уравнений, сложно взять в уме не только интеграл, но даже извлечь квадратный корень из трехзначного числа, так как при этом надо оперировать с большим количеством цифр. Для компьютера таких проблем не нет. Для него тот же интеграл — задача на уровне «У Васи было три яблока. Одно он съел, сколько яблок у Васи осталось». Для ИИ будет довольно сложно объяснить человеку вещи, кажущиеся ему элементарными, а уж со сложными он и заморачиваться не будет, успокоив себя тем, что это человеческому разуму без надобности.
Итак, с 2027 года, или с любого другого, в котором будет наконец создан искусственный интеллект, превышающий по возможностям интеллект человеческий, вокруг нас начнут происходить события и будут появляться предметы, смысла и устройства которых нам не удастся постичь. А поскольку ИИ, в отличие от нашего мозга, будет иметь реальную возможность самосовершенствоваться, все новое будет происходить с возрастающей скоростью. Появятся машины, приборы, установки, непонятно что делающие и неизвестно как работающие.
Такую точку в истории человечества, когда мы перестанем понимать, что происходит вокруг нас, ученые назвали технологической сингулярностью. Обычно этот термин приписывают американскому математику и писателю-фантасту Вернору Винджу, в 1993 году на симпозиуме, проводимом Центром космических исследований (НАСА) и Аэрокосмическим институтом Огайо, представившему статью, которая так и называлась «Технологическая сингулярность». В действительности впервые это словосочетание употребил еще в середине прошлого века Джон фон Нейман. По воспоминаниям друзей, великий ученый часто говорил «о
О том, как именно наступит эта сингулярность, писал в 1960-х годах другой известный ученый, британский статистик Ирвинг Джон Гуд: «Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умен тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить еще более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного. <…> Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем… И вероятность того, что в XX веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится».
Еще в 1904 году, когда не было даже слова «компьютер», американский историк Генри Адамс (1838–1918) написал эссе «Закон ускорения», в котором вывел «квадратичный закон истории». В соответствии с ним, каждый новый период в истории человечества по продолжительности примерно равнялся корню квадратному из длительности периода предыдущего. Чуть позже, в 1909 году, он опубликовал другой труд на эту тему — «Закон фазового перехода применительно к истории». По Адамсу, вслед за длившимся 90 тысяч лет «религиозным периодом» следовал 300-летний «механический период». На смену ему пришел 17-летний «электрический период», который должен был перейти в «эфирный период» продолжительностью 4–5 лет. Окончание последнего периода обозначало достижение человечеством предела своих возможностей, после чего должен был произойти фазовый переход на некий новый уровень развития. Так как точно установить даты прошедших периодов было невозможно, Адамс определил «вилку» этого перехода в промежутке между 1921 и 2025 годами. А во второй половине XX века американский философ и историк техники Льюис Мамфорд составил график роста количества значимых изобретений. Получилась довольно четкая гипербола, уходящая в конце 2020-х годов в бесконечность, то есть — в сингулярность. Согласно Мамфорду, техника постепенно «перестает быть простым инструментом, но сама становится активным субъектом реальности, трансформирующим человека по своему образу и подобию».
Конечно, многие возразят, что никакой катастрофы в этом нет. Наоборот, ИИ сделает нашу жизнь максимально комфортной. Человечество всю жизнь стремилось создать мир, в котором вареники сами летели бы в рот, а проблемы решались бы еще до их возникновения. Что ж, возможно. Но это уже будет не человеческая цивилизация. Мы не будем работать в современном смысле этого понятия, поскольку нашему хозяину это просто не будет нужно. Все, что можем выполнить мы, машины будут делать значительно лучше. Наверное, у нас останется какая-то своя культура, которая будет гораздо беднее культуры компьютерной, а ее мы не сможем постигнуть. Мы будем рисовать картины, сочинять музыку, писать стихи, но компьютер будет творить лучше, чем мы. Слоны тоже, как уверяют зоопсихологи, любят рисовать.
Есть еще надежда, что искусственному разуму не удастся превзойти человеческий, поскольку «ученик не может быть умнее учителя». Некоторые футурологи надеются, что человек с помощью генной инженерии сможет поднять свой разум на новый, сопоставимый с компьютерным, уровень. Или что он объединится с машиной, в результате чего получится некий Ногтю 8ирег8ар1еш, существо с мозгами, напрямую подключенными к некой всемирной информационно-вычислительной сети. Однако это уже будет не человек.
Мнение эксперта