Футурология
Шрифт:
Конечно, можно смоделировать максимально точно обычного человека, и в этом случае его этика будет нам понятна. Но если мы создадим ИИ, способный к саморазвитию, необходимо сделать так, чтобы он сохранял свою систему ценностей неизменной в ходе самоапгрейда.
С безопасностью ИИ связано много заблуждений.
Некоторые полагают, что достаточно отключить разбушевавшийся ИИ от питания. Однако это не поможет. ИИ сначала «утечет» в Интернет, а потом только даст знать, что с ним что-то не так. До этого он будет притворяться правильным, если в него
Другие считают, что ИИ может быть опасен только там, где есть компьютерные сети, по которым он может распространяться. Однако ИИ, который превосходит человека, сможет манипулировать и управлять людьми с помощью денег, угроз и обмана. Кроме того, он может создать собственную производственную инфраструктуру, например, вырастив подчиненное себе биологическое существо, способное к быстрой репликации. Сверхчеловеческий ИИ может иметь много других способов установить свою власть за Земле, если он этого захочет.
Некоторые полагают, что любой разум должен быть по природе своей добр или что с ним можно договориться, или у ИИ не будет общих точек пересечения с людьми, так как он будет осваивать космос.
Однако представим себе такую гипотетическую ситуацию: некий ученый создал ИИ и заложил в него следующую задачу: посчитать число с максимальной точностью. Такой интеллект поймет, что наиболее эффективно он может решить эту задачу, только если превратит все вещество Земли в новые компьютеры. Для этого ему надо захватить власть на Земле, уничтожить людей, чтобы они ему не мешали, и потратить все вещество Земли на выполнение этой бессмысленной задачи. При этом он может понимать, что эта задача бессмысленна, но его система целей будет настолько жестко закреплена, что не позволит ее модифицировать.
Юдковски полагает, что ИИ может быть опасен даже при использовании текстового терминала — он может уговорить человека-оператора выпустить его в Интернет. Это может быть сделано с помощью обещаний, угроз, нейролингвистического программирования или предложения некой сделки. Чтобы доказать это, Юдковски провел «эксперимент с ИИ в черном ящике» (AI-Box Experiment).
В этом эксперименте Юдковски изображал ИИ, а другой человек, который заранее честно заявил, что ни при каких обстоятельствах не разрешит ИИ покинуть ящик, общался с ним по терминалу. Юдковски старался убедить оператора от имени ИИ выпустить его из ящика. В трех случаях из пяти люди изменили свое мнение и их удалось уговорить на освобождение ИИ. Реальный ИИ, вероятно, мог бы вести переговоры еще эффективнее.
Юдковски полагает, что, выйдя в Интернет, ИИ мог бы подчинить его себе за несколько часов. Кроме того, он мог бы создать собственную нанотехнологическую инфраструктуру, заказав в лабораториях с доставкой необходимые ДНК-ингридиенты и создав простейшую биологическую искусственную жизнь с возможностью радиоуправления. Это заняло бы от нескольких дней до недель. И после этого он установил бы полную власть над миром.
Важные приложения ИИ
Вполне разумно ожидать к концу XXI века существование всемирного распределенного ИИ, который будет сверхчеловеческим как по объему своего внимания (он сможет одновременно контролировать все доступное пространство), так и по качественному превосходству человеческого интеллекта.
Возможные
1
Продолжение нынешнего развития
Развивается Интернет и Веб 2.0, растет интеграция людей в социальных сетях, ускоряется доступ к данным, и возрастает их надежность
Сценарий более или менее однозначен, если не происходит чего-то чрезвычайного
2
Возникновение нескольких новых мощных продуктов с элементами ИИ, по масштабу воздействия сравнимых с
Google, Wikipedia
или
Wolfram Alpha
Возникает предсингулярный ажиотаж: обостряется конкуренция за создание первого ИИ. ИИ сможет отчасти понимать речь человека в большинстве практических ситуаций, автомобили смогут ездить на автопилоте, но под контролем человека и по специально адаптированным дорогам. Домашние роботы смогут выполнять команды голосом и совершать простую уборку. Возникает такой феномен, как псевдоинтеллект, то есть программа, в принципе способная подражать человеку, но при ближайшем рассмотрении оказывающаяся все же программои
Несколько разных вариантов сценария, связанных с тем, какие именно новые проекты появятся
3
Эпоха фазового перехода
ИИ достигает человеческого уровня, затем его доводят до фазы самоусиления. После чего он усилит себя до сверхчеловеческого уровня и так или иначе будет использован для контроля всей Земли
Бесконечное количество разных сценариев
4
Эпоха результатов
Или сама идея создания ИИ провалилась. Или некий единый ИИ контролирует мир и сотрудничает с людьми. Или ИИ уничтожил людей по тем или иным причинам
Всего три сценария
Возможные последствия создания сильного дружественного ИИ
Сильный ИИ будет достаточно универсальным и способным использовать любые алгоритмы оптимизации, то есть он в каком-то смысле будет независим от способов его создания.
Способность моделировать людей будет иметь много важных следствий.
ИИ сможет заменить людей почти во всех видах деятельности. С момента появления сильного ИИ все люди на Земле могут считать себя безработными. Огромное количество работ уже сейчас стоят в очереди на автоматизацию, в частности кассир, грузчик, водитель автотранспорта — тут даже сильного ИИ не требуется. Но сильный ИИ сможет заменить человека и в творческих профессиях.
ИИ сможет создавать модели людей для общения с людьми. Это могут быть виртуальные, но идеальные друзья и возлюбленные. Это могут быть реконструкции умерших любимых родственников (которые вовсе могут не быть точными — достаточно, чтобы человек узнавал в реконструкции своего родственника, чтобы это удовлетворило большинство людей; при этом речь не идет о бессмертии и воскрешении, а только о психологической компенсации).
После создания ИИ будут ускорены разработка и выпуск любых других новых технологий, что значительно упростит космические полеты, решит энергетические проблемы и т. д.