Российская Академия Наук
Шрифт:
В нанотехнологиях, обычно предлагаемая цель состоит в развитии защитных щитов до появления наступательных технологий. Я очень обеспокоен этим, поскольку заданный уровень наступательной технологии обычно требует гораздо меньших усилий, чем технология, которая может защитить от него. Наступление превосходило оборону в течение большей части человеческой истории. Ружья были созданы за сотни лет до пуленепробиваемых жилетов. Оспа была использована как орудие войны до изобретения вакцины от оспы. Сейчас нет защиты от ядерного взрыва; нации защищены не благодаря обороне, превосходящей наступательные силы, а благодаря балансу угроз наступления. Нанотехнологии оказались по самой своей природе сложной проблемой. Так что, должны ли мы предпочесть, чтобы нанотехнологии предшествовали развитию ИИ, или ИИ предшествовал развитию нанотехнологий? Заданный в такой форме, это несколько мошеннический вопрос.
Мне кажется, что успешное создание ИИ существенно поможет нам во взаимодействии с нанотехнологиями. Я не вижу, как нанотехнологии сделают более простым развитие Дружественного ИИ. Если мощные нанокомпьютеры сделают проще создание ИИ, без упрощения решения самостоятельной проблемы Дружественности, то это – негативное взаимодействие технологий. Поэтому, при прочих равных, я бы очень предпочёл, чтобы Дружественный ИИ предшествовал нанотехнологиям в порядке технологических открытий. Если мы справимся с вызовом ИИ, мы сможем рассчитывать на помощь Дружественного ИИ в отношении нанотехнологий. Если мы создадим нанотехнологии и выживем, нам всё ещё будет предстоять принять вызов взаимодействия с ИИ после этого.
Говоря в общем, успех в Дружественном ИИ должен помочь в решении почти любой другой проблемы. Поэтому, если некая технология делает ИИ не проще и не труднее, но несёт собой определённый глобальный риск, нам следует предпочесть, при прочих равных, в первую очередь встретиться с вызовом ИИ. Любая технология, увеличивающая доступную мощность компьютеров, уменьшает минимальную теоретическую сложность, необходимую для создания ИИ, но нисколько не помогает в Дружественности, и я считаю в сумме её эффект негативным. Закон Мура для Безумной Науки: каждые 18 месяцев минимальный IQ, необходимый, чтобы уничтожить мир, падает на один пункт. Успех в усилении человеческого интеллекта сделает Дружественный ИИ проще, а также поможет в других технологиях. Но улучшение людей не обязательно безопаснее, или проще, чем Дружественный ИИ; оно также не находится в реалистически оцененных пределах наших возможностей изменить естественный порядок возникновения улучшения людей и Дружественного ИИ, если одна из технологий по своей природе гораздо проще другой.
13. Ход прогресса в области Дружественного ИИ.
«Мы предлагаем, чтобы в течение 2 месяцев, десять человек изучали искусственный интеллект летом 1956 года в Дармутском колледже, Ганновер, Нью Гемпшир. Исследование будет выполнено на основе предположения, что любой аспект обучения или любое другое качество интеллекта может быть в принципе столь точно описано, что может быть сделана машина, чтобы симулировать его. Будет предпринята попытка узнать, как сделать так, чтобы машины использовали язык, формировали абстракции и концепции, разрешали бы те проблемы, которые сейчас доступны только людям, и улучшали себя. Мы полагаем, что возможно существенное продвижение в одной или нескольких из этих работ, если тщательно подобранная группа учёных проработает над этим вместе в течение лета».
– Маккарти, Мински, Рочестер и Шеннон (McCarthy, Minsky, Rochester and Shannon, 1955).
Предложение Дартмутского Летнего Исследовательского Проекта по Искусственному Интеллекту являет собой первое зафиксированное употребление фразы «Искусственный Интеллект». У них не было предыдущего опыта, который мог бы их предупредить, что проблема трудна. Я бы назвал искренней ошибкой то, что они сказали, что «значительное продвижение может быть сделано», а не есть «есть небольшой шанс на значительное продвижение». Это специфическое утверждение относительно трудности проблемы и времени решения, которое усиливает степень невозможности. Но если бы они сказали «есть небольшой шанс», у меня бы не было возражений. Откуда они могли знать?
Дартмутское предложение включало в себя, среди прочего, следующие темы: лингвистические коммуникации, лингвистические рассуждения, нейронные сети, абстрагирование, случайность и творчество, взаимодействие с окружением, моделирование мозга, оригинальность, предсказание, изобретение, открытие и самоулучшение.
Теперь мне кажется, что ИИ, способный к языкам, абстрактному мышлению, творчеству, взаимодействию с окружением, к оригинальности, предсказаниям, изобретению, открытиям, и, прежде всего, к самоулучшению, находится далеко за пределами того уровня, на котором он должен быть так же и Дружественным.
В момент написания этой статьи в 2006 году, сообщество исследователей ИИ по-прежнему не считает Дружественный ИИ частью проблемы. Я бы хотел цитировать ссылки на этот эффект, но я не могу цитировать отсутствие литературы. Дружественный ИИ отсутствует в пространстве концепций, а не просто не популярен или не финансируем. Вы не можете даже назвать Дружественный ИИ пустым местом на карте, поскольку нет понимания, что что-то пропущено . Если вы читали научно-популярные/полутехнические книги, предлагающие, как построить ИИ, такие как «Гёдель, Эшер, Бах». (Hofstadter, 1979) или «Сообщество сознаний» (Minsky, 1986), вы можете вспомнить, что вы не видели обсуждения Дружественного ИИ в качестве части проблемы. Точно так же я не видел обсуждения Дружественного ИИ как технической проблемы в технической литературе. Предпринятые мною литературные изыскания обнаружили в основном краткие нетехнические статьи, не связанные одна с другой, без общих ссылок за исключением «Трёх законов Робототехники» Айзека Азимова. (Asimov 1942.) Имея в виду, что сейчас уже 2006 год, почему не много исследователей ИИ, которые говорят о безопасности? У меня нет привилегированного доступа к чужой психологии, но я кратко обсужу этот вопрос, основываясь на личном опыте общения.
Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели больших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это замешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерватизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминается. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.
У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.
Должно быть очевидно, что это не верно ни логически, ни философски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, который достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действительно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, который вы можете мгновенно изобрести, в точный момент, когда он понадобится, и затем вставить в существующий проект, отполированный дизайн которого в остальных отношениях никак не изменится.
Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; люди, которые изобрели и отшлифовали нейронные сети, не думали о долгосрочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запрашиваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, которая по своей природе не подходит для целей Дружественного ИИ. Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.