Российская Академия Наук
Шрифт:
70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли
Юдковски пишет об этой проблеме, честно признавая, что не видит никакого её решения: «И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения».
71. Ошибка, связанная с неправильной корреляции силы и безопасности.
Эмоционально нам кажется,
72. Преждевременные инвестиции
Если бы в середине XIX века люди бы поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США во всю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» - автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в дронах именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.
73. Склонность людей путать свои ожидания того, как что будет в наиболее вероятном случае, и того, как что будет в наихудшем и наилучшем случаях
«Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший ожидаемый исход», – пишет Юдковски, описывая в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай. Даже ясное предупреждение о том, что людям свойственно совершать такую оценку не привело к тому, что испытуемые правильно скорректировали свои ожидания. Даже я сам, хотя и перевёл эту статью и хорошо знал о необходимости поправки, всё равно пал жертвой этой ошибки, оценивая ожидаемые сроки выхода данной книги в печати. А именно, я сделал предположение о том, когда эта книга выйдет, а затем, вспомнив о том, что реальность будет хуже моих ожиданий, я добавил к этому сроку три месяца. Уже сейчас очевидно, что я недооценил необходимую поправку, и книга выйдет ещё позже.
74. Апатия прохожего
Глобальные риски не являются чей-то личной ответственностью, и соблазнительно рассуждать в том смысле, что раз никто ничего не делает в связи с этим, то почему именно я должен? Более того, это состояние возникает бессознательно, просто как рефлекс подражания группе. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, никто не помогает ему. Но если один человек на тропинке в лесу увидит лежащего человека, он, скорее всего, ему поможет. Юдковски выделяет эту модель как важный фактор возможной недооценки глобальных рисков.
75. Потребность в завершении
Концепция когнитивной психологии, обозначающая стремление человека
76. Влияние авторитета и социальное давление группы
Этот вопрос подробно рассмотрен в книге «Человек и ситуация» . В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других испытуемых, чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» (на самом деле подсадные утки) умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66% испытуемых. В качестве причин такого поведения было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор. Всё это проявляется в динамике научного процесса.
77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»
Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать. Движение сверху вниз. Это Дрекслер, Фрейтас и др. И есть уровень конкретных исследований отдельных молекул и их эффектов. С точки зрения первых «за деревом не видят леса», с точки зрения вторых «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.
78. Ошибка, связанная с интеллектуальной проекцией
Юдковски пишет: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst 2003). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)» Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым», потому что он нас не убивает.
79. Представление о том, что изменять обстоятельства следует, уничтожая их причины
Однако спичка, от которой загорелся пожар, уже погасла. Далее, стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.
80. Забвение основного принципа медицины – «Не навреди!»