Квантовый переход. Книга первая. Техническая сингулярность
Шрифт:
– Ну не скажи. У людей есть сознание. Душа, можно сказать.
Синтия-2, тем временем, неуклюже попыталась встать. Но у нее только получилось немного приподняться на локтях, а потом снова бухнуться на «землю».
– Почему ее тело такое слабое? – спросил Максим, – тоже упрощенная биология?
– Нет. С биологией все в порядке. Я тестировала. Это к тебе вопрос, почему не работает координация движений.
Максим стал внимательно разглядывать карту мозга.
– Действительно, нейросеть, ответственная за ходьбу, обучается довольно медленно, – согласился он.
Девушка
– У нее что-то получается, – обрадовался программист.
– Рано еще об этом говорить, – сбавила его пыл Анна.
Тут пришел Леонид.
– Ну, как дела? – спросил он.
– Наш электронный младенец учиться ходить, – доложил Максим.
– Отлично! Рабочий день скоро заканчивается, так что переведи компьютер в режим сна, и пойдем на кухню попьем чайку, я расскажу тебе о том, к чему такие меры безопасности.
Сначала «мозговая» активность Синтии-2 затихла. Сама она при этом легла в расслабленной позе и закрыла глаза. Теперь можно было отключить основные компьютеры. Что Максим и сделал, а потом поднялся наверх.
– Ты смотрел фильм Терминатор? – спросил Леонид.
– Ну да, смотрел, – ответил Максим, – но это же просто фантастическое кино.
– Фантастика иногда может стать реальностью, – философски заметил босс, – несколько десятилетий назад возможность иметь доступ к огромный объемам информации из любой точки мира и беседовать друг с другом по видео – было фантастикой. А сейчас у нас есть Skype и Интернет.
– Так ты боишься, что Искусственный Интеллект поднимет бунт и нас всех убьет?
– Это слишком примитивное представление о том, что может произойти, если вдруг мы создадим нечто, что превзойдет нас по уровню интеллекта. Ты, конечно, очень умный, имеешь красный диплом и все такое, но, при всем уважении, со стратегическим мышлением у тебя туго. Синтия права. Тебе нужно научиться мыслить более глобально.
– В смысле?
– Ну, вот смотри. Представь себе, что у тебя есть умный робот, и ты ставишь ему задачу: «Сделай мне хорошо». Но не расшифровал ему, что ты имеешь в виду. И он интерпретировал это по-своему, а именно: усыпил тебя и сделал операцию – вживил в мозг электрод. В зону удовольствия. А когда ты очнулся, пустил ток. И тебе хорошо. Формально задача выполнена. Но ты же не этого хотел, верно?
– Значит, нужно просто правильно поставить задачу….
– А что значит «Правильно поставить задачу»? Расшифровать подробно понятие «сделать хорошо»? Задать ограничения?
– Ну да, например, сказать роботу, что нельзя производить хирургическое вмешательство.
– Тогда робот накормит тебя наркотиками. Тебе будет хорошо, и он бодро отрапортует о выполнении задачи.
– Хм, – Максим задумался.
– Да, действительно, ограничений придется вкладывать слишком много, – наконец сказал он, – Нельзя оказывать химическое воздействие на мой организм, еще что-то нельзя. И не дай Бог что-то забуду. Хотя… стоп. А как же три закона робототехники, придуманные Азимовым?
– Ну, хорошо.
– Робот так же не может своим бездействием допустить, чтобы человек был причинен вред. То есть, он должен произвести операцию.
– А вот тут мы получаем конфликт мотиваций. Но, в принципе, разрешить данный конфликт мы можем сравнением, где больше вреда. Врачи, кстати, так и делают: оценивают риск от хирургического вмешательства и, исходя из опасности заболевания, выносят решение о том, показана ли операция. Да, искусственный интеллект может принимать решения по такой же методике. Но проблема не в этом. А в том, что умная машина может принять решение, которое нас не устроит. И последствия могут быть довольно плачевными.
– Ну, значит нужно тщательно тестировать. Выявить все возможные подводные камни.
– Чем мы, собственно и занимается….
– Это-то я понимаю. Но не понимаю одного: зачем держать Синтию-2 в подвале обитым фольгой? Как она может вырваться из отключенного от сети компьютера?
– А ты в курсе, что специальным оборудованием можно снять изображение с мониторов, находящихся за стеной?
– А… так ты опасаешься шпионов? … Но я все равно не вижу смысла обивать комнату фольгой, если любой сотрудник запросто может вынести информацию на флешке.
Леонид улыбнулся.
– Нет, вовсе не шпионов я опасаюсь, – сказал он, – вот представь себе, что искусственный интеллект исследует виртуальное пространство, в котором он живет. Как ты думаешь, до чего он может дойти, если применит научный метод?
– Сначала он откроет все законы виртуального мира. Возможно, доберется до «первокирпичиков». Захочет заглянуть, что у них «внутри». Естественно не сможет, так как внутри ничего нет.
– И что будет дальше? К каким выводам он придет?
– Ну, возможно, догадается, что он в «матрице».
– Вот именно. А может и не догадается, а будет думать, что он просто еще не все изучил и будет пытаться дальше изучать. Но не суть. А себя он будет изучать, как ты думаешь?
– Думаю, да.
– И к чему придет? Сможет он догадаться, что он компьютерная программа?
– Не представляю, как он может об этом догадаться. Но исключать такую возможность нельзя.
– Вот именно.
Максим посмотрел на начальника непонимающим взглядом и спросил:
– Ну хорошо, догадалась наша Синтия, что она всего лишь программа? А дальше-то что?
– А ты подумай….
– Ну, может быть, попробует переписать свой код. Правда, для этого ей придется взломать компьютер, на котором она запущена. Что само по себе уже несколько фантастично.
– Тем не менее, мы не можем полностью отрицать подобный исход.
– Ну хорошо, пусть даже мы примем и это фантастическое допущение. Но какую опасность может представлять программа, запущенная на изолированном от всех сетей компьютере? Разве что если она захочет самоубиться, отформатировав винчестер.