Российская Академия Наук
Шрифт:
Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её устойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит тоже к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, станция предупреждения о цунами на Гавайях оказалась перед дилеммой: если предупредить население о риске цунами, то в следующий раз ей не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба предупреждения
39. Подсознательное желание катастрофы
Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа таки случилась. Это подталкивает его или преувеличить предвестники приближающейся катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения»
40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса
Этот тип поведения можно назвать «Синдром Скарамеллы», в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко реагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски затушёвываются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в сказке о мальчике, который кричал «Волк, Волк!», а волка не было. Когда же волк пришёл на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и все сообщения начинают объясняться в терминах пиара и деления денег.
41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа
Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев документальный фильм-катасрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, даже как нечто приятное и желанное.
42. Логическая ошибка генерализации на основании художественного вымысла
Описана у Бострома как «искажение в духе «хорошей истории». Регулярное потребление развлекательных произведений – фильмов, романов – подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, и затем рассматриваются возможные следствия этого. Другая – в том, что противники выбираются равными по силе. Третья – в том, что нормой считается хэппи-энд. Однако в деле предотвращения глобальных рисков не может быть никакого хорошего конца – если мы предотвратили все риски в XXI веке, то тоже надо
43. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – благо человечества
Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». Потому что у любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. Потому что у любой организации есть конкурент. Потому что внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели.
44. Секретность как источник ошибок в управлении рисками
Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и в итоге могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их назначение для предотвращения последующих катастроф, потому что этих результатов никто не знает.
45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии
Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, тяжёлые хвосты, то именно странные идеи могут быть полезными. Корни критической настройки могут быть в том, например, что критикующий может претендовать на более высокий социальный статус.
46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически
Однако единственный реальный критерий – практика. Десятки лет безотказной работы – лучший критерий реальности безопасности. История знает массу примеров, когда приборы или проекты, теоретически имевшие огромную безопасность, рушились из-за непредусмотренных сценариев. Например, фонд LTCM и самолёт Конкорд. Американский писатель М.Крайтон в романе «Парк Юрского периода» отчеканил это следующими словами: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».
47. Недооценка человеческого фактора
От 50 до 80 процентов катастроф происходят из-за ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую защиту от дурака и натворить глупостей. Поэтому мы не можем отвергнуть ни один из сценариев глобальной катастрофы, исходя из того, что люди никогда не будут этого делать.
48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код
Но сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок – то есть если человек делает одну ошибку на 1000, то, сколько он не будет проверять, он не создаст безошибочный «код» длинною более 1 000 000.)
49. Статистика как источник возможных ошибок