Российская Академия Наук
Шрифт:
– Пост-критический, самоулучшающийся ИИ достигает сверхинтеллекта в течение недель или меньше. Проекты ИИ достаточно редки, так что ни один другой ИИ не достигает критичности до того, как начавший первым ИИ становится достаточно сильным, чтобы преодолеть любое сопротивление. Ключевым порогом является критический уровень самоулучшения.
– ИИ-1 разрешает проблему свёртывания белков на три дня раньше ИИ-2. ИИ-1 достигает нанотехнологии на 6 часов раньше, чем ИИ-2. С помощью быстрых манипуляторов веществом ИИ-1 может (потенциально) отключить исследования и разработку ИИ-2 до её созревания. Бегуны близки, но тот, кто первым пересекает финишную
– Тот ИИ, который первым поглощает интернет, может (потенциально) не допустить в него другие ИИ. Затем, посредством экономического доминирования, скрытых действий или шантажа или превосходящих способностей к социальной манипуляции, первый ИИ останавливает или замедляет другие ИИ проекты, так что никакого другого ИИ не возникает. Ключевой порог – поглощение уникального ресурса.
Человеческий вид, Homo sapiens, является финишировавшим первым. С точки зрения эволюции, наши кузены – шимпанзе – отстают от нас только на толщину волоса. Homo sapiens заполучили все технологические чудеса, потому что мы попали сюда немного раньше. Эволюционные биологи всё ещё пытаются выяснить порядок ключевых порогов, потому что пришедшие первыми виды должны были первыми пересечь столь много порогов: речь, технология, абстрактное мышление. Мы всё ещё пытаемся понять, что первым вызвало эффект домино. Результат состоит в том, что Homo Sapiens движется первым без нависшего сзади соперника. Эффект пришедшего первым предполагает теоретически локальную стратегию (задачу, реализуемую, в принципе, исключительно местными усилиями), но при этом являет собой технический вызов чрезвычайной трудности. Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.
Я не могу произвести точных вычислений на основании точно подтверждённой теории, но моё мнение сейчас состоит в том, что резкие прыжки в интеллектуальности возможны, вероятны и являют собой доминирующую возможность. Это не та область, в которой я хотел бы давать узкие интервалы уверенности, и поэтому стратегия не должна потерпеть катастрофу – то есть не оставить нас в ситуации худшей, чем раньше, – если резкий прыжок в интеллектуальности не произойдёт. Но гораздо более серьёзной проблемой являются стратегии, представляемые для медленно растущего ИИ, которые терпят катастрофу, если здесь есть эффект пришедшего первым. Это более серьёзная проблема, потому что:
– Более быстро растущий ИИ является более сложной технической задачей.
– Подобно автомобилю, едущему по мосту для грузовиков, ИИ, спроектированный, чтобы оставаться Дружественным в экстремально сложных условиях (предположительно) остаётся Дружественным в менее сложных условиях. Обратное неверно.
– Быстрые скачки в интеллектуальности контринтуитивны с точки зрения обычной социальной жизни. Метафора G-фактора для ИИ является интуитивной, притягательной, заверяющей и, по общему согласию, требующей меньше конструктивных ограничений.
– Моя нынешняя догадка состоит в том, что кривая интеллектуальности содержит огромные, резкие (потенциально) скачки.
Моя нынешняя стратегическая точка зрения имеет тенденцию фокусироваться на трудном локальном сценарии: первый ИИ должен быть Дружественным. С этой мерой предосторожности, если никаких быстрых прыжков в ИИ не произойдёт, можно переключиться на стратегию, которая
Сценарий, который требует невозможной – требующей единодушия – стратегии:
– Единственный ИИ может быть достаточно силён, чтобы уничтожить человечество, даже несмотря на защитные меры Дружественных ИИ.
– Ни один ИИ недостаточно могуществен, чтобы остановить людей-исследователей от создания одного ИИ за другим (или найти другой творческий путь решения проблемы.).
Хорошо, что этот баланс возможностей кажется невероятным а приори, потому что при таком сценарии мы обречены. Если вы выкладываете на стол колоду карт одна за другой, вы рано или поздно выложите туза треф.
Та же проблема относится и к стратегии намеренного конструирования таких ИИ, которые выбирают не увеличивать свои способности выше определённого уровня. Если ограниченные ИИ недостаточно сильны, чтобы победить неограниченных, или предотвратить их возникновение, то тогда ограниченные ИИ вычёркиваются из уравнения. Мы участвуем в игре до тех пор, пока мы не вытащим сверхинтеллект, независимо оттого, что это – туз червей или туз треф. Мажоритарные стратегии работают, только если невозможно для одиночного вредителя причинить катастрофический ущерб. Для ИИ эта возможность является свойством самого пространства возможных проектов – эта возможность не зависит от человеческого решения, равно как скорость света или гравитационная константа.
11. ИИ и усиление человеческого интеллекта.
Я не нахожу достоверным, что Homo sapiens будут продолжать существовать в неограниченном будущем, тысячи или миллионы или миллиарды лет, без того, чтобы возник хотя бы один ум, который бы прорвал верхний предел интеллектуальности. И если так, то придёт время, когда люди впервые встретятся с вызовом более умного, чем человек, интеллекта. И если мы выиграем первый уровень схватки, то человечество сможет взывать к более умному, чем человек, интеллекту в следующих раундах схватки.
Возможно, мы скорее выберем другой путь, чем создание ИИ, более умного, чем человек, – например, будем улучшать людей вместо этого. Чтобы рассмотреть крайний случай, допустим, что кто-то говорит: «Перспектива ИИ меня беспокоит. Я бы предпочёл, чтобы, до того, как какой-либо ИИ был сконструирован, отдельный люди были бы отсканированы в компьютеры, нейрон за нейроном, и затем усовершенствованы, медленно, но наверняка, пока они не станут сверх-умными; и это та основа, на которой человечество должно сразиться с вызовом суперинтеллекта».
Здесь мы сталкиваемся с двумя вопросами: Возможен ли этот сценарий? И если да, то желателен ли он? (Разумно задавать вопросы именно в такой последовательности, по причинам рациональности: мы должны избегать эмоциональной привязки к привлекательным возможностям, которые не являются реальными возможностями.)
Представим, что некий человек сканирован в компьютер, нейрон за нейроном, как предлагает Моравек (Moravec, 1988). Отсюда однозначно следует, что использованная компьютерная мощность значительно превосходит вычислительную мощность человеческого мозга. Согласно гипотезе, компьютер выполняет детальную симуляцию биологического человеческого мозга, исполняемую с достаточной точностью, чтобы избежать каких-либо обнаружимых высокоуровневых эффектов от системных низкоуровневых ошибок.