Выбор по Тьюрингу
Шрифт:
Брайан выключил динамик.
– Понимаете?
– Не совсем. Одно ясно: эта программа только и делает, что блокирует другие.
– Ну да, в этом-то и дело. Предполагалось, что она должна обучаться на опыте, вознаграждая хорошо работающие блоки и блокируя плохо работающие. Но ей был задан слишком высокий порог – ее устраивали только безупречные и мгновенные ответы. Поэтому она вознаграждала только те блоки, которые отвечали быстро, а более медленные отключала – даже когда они пытались сделать то, что в конечном счете было бы правильнее.
– А, понимаю. А дальше – эффект домино: когда какой-нибудь блок отключался,
– Вот именно. И тогда реакция этих блоков замедлялась, и они тоже, в свою очередь, отключались. Пока программа-координатор не заблокировала всех.
– Какой ужас! Получается, что она совершила самоубийство!
– Ничего подобного! – раздраженно сказал он голосом, хриплым от усталости. – Это чистейший антропоморфизм. Машина – не человек. И что такого ужасного, когда одна схема отключает другую схему? Да там же нет ничего, кроме электроники и программ. К человеку это никакого отношения не имеет, при чем тут ужас?
– Не говорите со мной таким тоном!
Кровь бросилась в лицо Брайану, но он тут же опустил глаза.
– Простите, беру свои слова обратно. Кажется, я просто устал.
– Вам кажется, а я точно это знаю. Ваши извинения приняты. И это действительно был антропоморфизм. Но дело не в том, что вы мне говорили, а в том, каким тоном. Давайте не будем больше цапаться, лучше пойдем подышим воздухом. И уложим вас спать.
– Хорошо. Только сначала я кое-что просмотрю.
Брайан подошел к терминалу и углубился в схему робота. Один за другим на экране появлялись чертежи.
В конце концов он мрачно кивнул:
– Ну конечно, опять ошибка. Она появилась после того, как я исправил последнюю. Помните, я ввел установку на подавление чрезмерной блокировки, чтобы робот не отключался сам собой? А теперь он бросился в другую крайность – не знает, когда нужно остановиться. Этот искусственный интеллект прекрасно отвечает на простые вопросы, но только если ответ можно найти почти не думая. А вы видели, что произошло, когда он не знал ответа. Начал произвольный поиск, заблудился и не понимал, что надо остановиться. Он, можно сказать, не знал, чего именно не знает.
– Мне показалось, что он просто свихнулся.
– Можно сказать и так. Для ошибок в работе человеческого мозга у нас есть множество слов – паранойя, кататония, фобия, невроз, нерациональное поведение. Наверное, для всех новых причуд, которые появятся у наших роботов, придется придумывать новые слова. И можно не надеяться, что новая конструкция заработает сразу после первого включения. В данном случае она пыталась воспользоваться всеми своими экспертными системами, чтобы решить одну и ту же задачу. Координатор оказался недостаточно силен, чтобы подавить ненужные. Весь этот набор слов свидетельствовал о том, что он цеплялся за любую ассоциацию, которая, казалось, может привести его к решению, как бы мало вероятно это ни было. А когда какой-нибудь подход оказывался неудачным, эта штука не догадывалась, что надо остановиться. Даже если наш искусственный интеллект будет работать, нет никакой гарантии, что он не окажется, с нашей точки зрения, ненормальным.
Брайан потер небритую щеку и взглянул на замершую в неподвижности машину.
– Давайте-ка как следует посмотрим вот здесь, – он ткнул пальцем в схему на экране. – Здесь видно, что случилось на этот раз. У Робина-3-1 была слишком
– Так что же делать?
– Ответ простой – ответа не существует. Нет, это никакая не мистика. Я хочу сказать, что координатор должен знать больше. Именно потому, что чудес не бывает, что общего решения нет. Не может быть простого рецепта, который срабатывал бы во всех случаях, – потому что все случаи разные. Стоит только это признать, как все становится намного понятнее! Координатор должен быть связан с базой знаний. И тогда он сможет на опыте учиться тому, что должен делать!
– Вы хотите сказать, что он узнает, какую стратегию применить в данной ситуации, вспомнив, какая пригодилась ему в прошлом?
– Именно так. Вместо того чтобы искать жесткую формулу, которая срабатывала бы всегда, пусть учится на опыте, от одного случая к другому. Потому что нам нужна машина, которая была бы разумна сама по себе, чтобы не приходилось постояннно дежурить поблизости, поправляя ее, когда что-то идет не так. Мы должны научить ее исправлять ошибки по мере их появления. Исправлять самостоятельно, без нашей помощи. Теперь я знаю, что делать. Помните, когда она словно ходила по кругу, повторяя одно и то же? Нам-то легко было видеть, что она бьется на одном месте. Но она не понимала, что зациклилась, – и именно потому, что зациклилась, она не могла выйти за пределы замкнутого круга и увидеть его со стороны. Это мы исправим – добавим записывающее устройство, которое будет запоминать, что она только что делала. И часы, которые будут то и дело прерывать работу программы, чтобы она могла просмотреть запись и увидеть, что движется по кругу.
– Или еще лучше – добавить еще один процессор, который будет постоянно работать, присматривая за первым. Мозг Б для присмотра за мозгом А.
– А может быть, и мозг В для присмотра, не зациклился ли мозг Б. Черт возьми! Я только что вспомнил, что в одной из моих старых записей говорилось: «Здесь поставить мозг Б, чтобы подавить зацикливание». Надо бы мне, конечно, тогда писать пояснее. Дайте-ка я прикину, каким должен быть этот мозг Б.
– Только не сейчас! В таком состоянии вы все испортите.
– Вы правы. Пора спать. Лягу, не беспокойтесь, только сначала чего-нибудь поем.
– Я пойду с вами и выпью кофе.
Брайан отпер дверь и сощурился от яркого солнечного света.
– Вы мне как будто не доверяете.
– Да, не доверяю – после сегодняшней ночи.
Шелли прихлебывала кофе, пока Брайан расправлялся с завтраком по-техасски – бифштексом с яйцом и оладьями. Не в состоянии его одолеть, он перевел дух и отодвинул тарелку. Если не считать двух сменившихся с дежурства охранников, которые сидели за столом в дальнем углу, они были в столовой одни.
– Вот теперь я чувствую себя более или менее человеком, – сказал он. – Еще кофе?
– Нет, мне более чем достаточно, спасибо. Как вы думаете, сумеете вы наладить ваш свихнувшийся искусственный интеллект?
– Нет, я так на него разозлился, что стер ему всю память. Придется заново переписать кое-какие программы, прежде чем мы снова его загрузим. Это займет пару часов. Даже ассемблеру «лама-5» требуется для таких вещей много времени. И на этот раз, прежде чем запускать новый вариант, я хочу сделать резервную копию.