Российская Академия Наук
Шрифт:
Литература по оценке рисков.
1. Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991.
2. Воробьё, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
3. Корнилова. Т.В. Риск и мышление // Психологический журнал, 1994. №4.
4. Корнилова. Т.В. Психология риска и принятия решений (учебное пособие).
– М.: Аспект Пресс, 2003.
5. Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений //
6. Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, 1998. №6. .
7. МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. — СПб.: Речь, 2001. — 560 с. (Гл. Логические ошибки)
8. Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996.
9. Тофлер, Элвин. Шок будущего.
– Москва, АСТ, 2002
10. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
– 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина.)
11. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe?
– Nature, Vol. 438, No. 7069, p. 754, 2005 (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня?)
12. Dawes, R.M. Rational Choice in an Uncertain World.
– San Diego, CA: Harcourt, Brace, Jovanovich, 1988.
13. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing.
– Journal of Risk and Uncertainty, 14: 238-300. 1997.
14. Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases.
– New York: Cambridge University Press, 1982.
15. Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames.
– Cambridge, U.K.: Cambridge University Press, 2000.
16. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989
17. Posner Richard A. Catastrophe: Risk and Response.
– Oxford University Press, 2004; vii + 322 pp
18. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn?
– New York: Random House, 2005
19. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина
20. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.)
Е. Юдковски
Искусственный интеллект, как позитивный и негативный фактор глобального
Перевод с английского А.В. Турчина.
Введение
До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает её» (Monod 1974). Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «Интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Наука об ИИ печально известна тем, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ сложен, и это на самом деле так. Но запутанность не происходит из сложности. Сложно сделать звезду из водорода, но звездная астрофизика не имеет дурной славы обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ сложен, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.
В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.
Гораздо труднее писать о глобальных рисках искусственного интеллекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследованиям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактически не обсуждается в существующей технической литературе.
Я вынужден анализировать тему со своей точки зрения, делать мои собственные выводы и делать всё, от меня зависящее, чтобы доказать их в ограниченном пространстве этой статьи.
Дело не в том, что я пренебрегаю необходимостью цитировать существующие источники на эту тему, но в том, что таких источников, несмотря на все мои попытки их найти, обнаружить не удалось (на январь 2006 года).
Соблазнительно игнорировать ИИ в этой книге (имеется в виду книга «Риски глобальной катастрофы», в которой в 2007 году в Оксфорде выходят обе статьи Юдковского – прим. пер.), потому что это наиболее трудная тема для обсуждения. Мы не можем обратиться к статистическим данным, чтобы вычислить маленькую годовую вероятность катастрофы, как в случае астероидных ударов. Мы не можем использовать вычисления на основании точных, точно подтверждённых моделей, чтобы исключить некие события или установить бесконечно малые верхние границы их вероятности, как в случае возможных физических катастроф. Но это делает катастрофы с ИИ ещё более беспокоящими, а не менее.