Мечты роботов: Фантастические произведения (сборник)
Шрифт:
Однако если компьютеры станут умнее людей, не возникнет ли опасность, что они нас заменят? Ну а почему бы и нет? Они могут быть не только разумными, но и добрыми и позволят нам просто плыть по течению. Будут держать нас при себе в роли домашних животных или так, про запас.
А теперь подумайте, что мы сами сейчас делаем со всеми живыми существами и с самой планетой, на которой живем. Вполне возможно, уже пора нас заменить? Может быть, главная опасность заключается в том, что компьютеры будут развиваться недостаточно быстро, чтобы занять наше место?
Подумайте об этом [7] .
Законы
Довольно трудно думать о компьютерах, представляя себе вариант, когда они могут «захватить» наше место.
Заменят ли они нас, превратят ли в какой-то пережиток, выбросят ли на свалку, как мы в свое время расправились с копьями и трутницами?
Если мы представим себе компьютерный мозг внутри металлической имитации человека, которую мы называем роботом, страх окажется еще более ощутимым. Роботы так напоминают людей, что один только их внешний вид может послужить причиной возникновения у них мятежных мыслей.
7
Я представляю вам эту точку зрения лишь в качестве темы для размышления. Совершенно другой позиции я придерживаюсь в эссе «Разумы, действующие совместно», напечатанном в данном сборнике.— Примеч. автора.
Эта проблема стала одной из самых популярных в мире научной фантастики в 1920-1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей.
Когда я был молодым человеком, мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода, поскольку мне представлялось, что робот — это всего лишь машина, а люди постоянно строят машины. Учитывая, что все машины так или иначе представляют для нас опасность, мы специально встраиваем в них самые разнообразные защитные устройства.
В 1939 году я начал серию рассказов, в которых с симпатией описывались тщательно сконструированные машины, выполнявшие определенные задачи, причем в каждой из машин имелось встроенное устройство, обеспечивающее их миролюбие.
В рассказе, написанном в октябре 1941 года, я наконец дал имя этому защитному устройству — Три закона роботехники. (Я изобрел термин «роботехника», который до тех пор никогда и нигде не использовался.)
Они звучат так:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.
Эти законы внесены в компьютеризированный мозг робота и явились темой многих моих рассказов, посвященных роботам. По правде говоря, они так понравились читателям и звучали так разумно, что другие писатели-фантасты начали использовать их (никогда не цитируя напрямую — в отличие от меня), и все старые рассказы о роботах, уничтожавших своих создателей, просто умерли.
Ну, это научная фантастика. А как насчет работ по созданию сложных компьютеров и искусственного интеллекта, которые проводятся учеными? Когда строятся машины, обладающие собственным разумом, будут ли в их сознание внедрены законы, подобные Трем законам роботехники?
Разумеется да, поскольку создатели
В тот момент, когда я придумал Три закона, я не понимал, что человечество уже давным-давно пользуется ими. «Три закона инструментов» звучат следующим образом:
1. Инструмент должен быть безопасным для использования.
(Это же очевидно! У ножей и мечей имеются рукояти. А инструмент, который может причинить вред тому, кто взял его в руки — если, конечно, человек знает об опасности,— никогда не будет использован, каким бы полезным он ни казался.)
2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нем заговорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!»
В таком случае давайте сравним «Три закона инструментов» с Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек?
Но можно ли сказать, что мы защищены от всех неприятностей в достаточной степени? Подумайте об усилиях, которые предпринимаются, чтобы сделать автомобили безопасными,— однако они продолжают убивать около 50 000 американцев в год. Подумайте об усилиях, которые предпринимаются, чтобы обезопасить банки,— однако ограбления продолжаются. Подумайте об усилиях, которые предпринимаются, чтобы защитить компьютерные программы,— однако количество компьютерного мошенничества растет.
Впрочем, если компьютеры станут достаточно разумными, чтобы «перехватить инициативу», они уже не будут нуждаться в ограничениях, предписываемых Тремя законами. И тогда по доброте душевной они решат заботиться о нас и оберегать от неприятностей и проблем.
Однако кое-кто из вас может возразить, что мы не дети и, как только возникнет необходимость нас охранять, мы лишимся своей человеческой сути.
Правда? Посмотрите на сегодняшний мир и мир прошлого и задайте себе вот какой вопрос: в самом ли деле мы не дети (причем склонные к насилию и уничтожению всего вокруг) и справедливо ли утверждение о том, что за нами не нужно присматривать?
Если мы хотим, чтобы с нами обращались как со взрослыми, возможно, нам следует вести себя как взрослые. И когда же начнем?
Будущая фантастика
В прошлом три фундаментальных достижения в области коммуникаций полностью изменили все области нашей жизни. Первое — это речь, второе — письмо и третье — книгопечатание.
Сейчас можно говорить о четвертом достижении, не менее важном, чем первые три,— о компьютере. Четвертое революционное изобретение позволит человеку развить свои творческие способности до небывалых высот. И если мы не уничтожим мир при помощи ядерного оружия, перенаселения или загрязнения окружающей среды, мы получим мир технодетей, настолько отличающийся от нынешнего, насколько нынешний отличается от мира пещерного человека. Каким будет мир следующего поколения по сравнению с миром наших предков ?