Российская Академия Наук
Шрифт:
• Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляться в виде хаотической детерминированной системой.
• Невычислимость связана также с тем, что хотя нам может быть известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности
• Ещё один вид невычислимости связан с возможностью самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой. Я (следуя логике с Дж.Сороса) полагаю, что любой прогноз о поведении некого рыночного индекса, если из этого прогноза можно извлечь прибыль, не работает, поскольку все участники игры не могут получить прибыль в игре с нулевой суммой. В силу этого данный прогноз может знать только меньшинство участников, а, следовательно, скорее всего, я не принадлежу к этому меньшинству. Следовательно, моё предположение о будущем поведении системы скорее ложно, чем истинно. Возражения здесь могут быть следующие: рынок – не игра с нулевой суммой (но он становится ей, если я хочу получить доход больший, чем минимально возможный – то есть полагающийся по базовой процентной ставке или по норме прибыли). Или если участники рынка не равны, и имеет место инсайдерская торговля (но в этом случае надо учитывать риск попасть в тюрьму за нарушение законов, который весьма перевешивает повышенную прибыльность инвестиций.) Поскольку в современном обществе действуют механизмы превращения любых параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.
• Ещё одна причина невычислимости – секретность. Как есть поговорка, что «есть ложь, наглая ложь, статистика и статистика о нефтяных запасах». Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги Симмонса «Сумерки в пустыне» о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные скереты.
Психологической стороной этой проблемы является то, что люди рассуждают так, как если бы никакой невычислимости не было. То есть можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.
33. Наблюдательная селекция
Наблюдательная селекция происходит во всех случаях, когда в результате некого процесса число его наблюдателей может меняться, а глобальные катастрофы, очевидно, относятся к такому классу процессов. Подробнее см. в моей статье «природные катастрофы и антропный принцип» и в главе о непрямых оценках
5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта
1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности
Специалисты по компьютерам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их как примеры ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл в Интернете опрос среди разработчиков ИИ , какие риски они видят в нём, и получил следующий разброс мнений, с примерно одинаковым числом людей, высказавшимся в отношении каждого мнения. Итак, «ИИ является безопасным, потому что»:
1) Потому что ИИ невозможен.
2) Потому что ИИ может решать только узкие задачи, вроде распознания образов.
3) Потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона роботехники Азимова.
4) Потому что я знаю, как использовать ИИ во благо людям.
5) Потому что ИИ будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.
6) Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.
7) Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.
8) Потому что у ИИ не может быть своей воли.
9) ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.
10) Потому что ИИ не может сделать ничего плохого.
11) ИИ может быть опасен, но, скорее всего, всё обойдётся.
12) Нет, ИИ опасен, и мы все обречены.
13) ИИ уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.
В ходе опороса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают исследователи ИИ в целом, равна нулю.
2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. Это верно и насчёт систем целеполагания, каковыми, например, являются законы. Не следует рассчитывать, что мы сможем создать свод правил поведения для ИИ, несодержащий ошибок.
3. Ошибки в критике ИИ Пенроузом.
Р. Пенроуз в книге «Новый ум короля» утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые квантовые процессы, которые необходимы для творческого мышления и сознания . На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам:
1. Квантовая природа сознания – это далеко не мэйнстрим науки. Мы не можем основывать безопасность человечества на недоказанной (хотя и интересной) теории.
2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно – например, фон Нейман доказал возможность самоокопирующихся механизмов.)
3. Для того чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный ИИ может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция – это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. При этом нам достаточно сказать, что опасный ИИ – это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег – это разновидности таких игр.