Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Простая математика теоремы Байеса
Если философская подоплека теоремы Байеса удивительно глубока, то ее математика потрясающе проста. В своей базовой форме это всего лишь алгебраическое выражение с тремя известными переменными и одной неизвестной. Однако эта простая формула способна привести к инсайтам в предсказаниях.
Теорема Байеса прямо связана с условной вероятностью. Иными словами, она позволяет рассчитать вероятность какой-либо теории или гипотезы, если произойдет какое-либо событие. Представьте себе, что вы живете с партнером и, вернувшись домой из командировки, обнаруживаете незнакомую пару нижнего белья в своем гардеробе. Возможно, вы зададитесь вопросом: какова вероятность того, что ваш партнер вас обманывает? Условие состоит в том, вы найдете белье; гипотеза состоит в том, что вы заинтересованы оценить вероятность того, что вас обманывают. Хотите – верьте, хотите – нет, но теорема Байеса способна
• Прежде всего вы должны оценить вероятность появления белья как условие правильности гипотезы – то есть при условии того, что вам изменяют.
Для решения этой проблемы давайте предположим, что вы женщина, а ваш партнер – мужчина, а предметом спора выступает пара трусиков. Если он вам изменяет, то несложно представить себе, как в ваш гардероб могли попасть чужие трусики. Но, даже если (или даже особенно в том случае если) он вам изменяет, вы можете ожидать, что он ведет себя достаточно осторожно. Давайте скажем, что вероятность появления трусиков при условии того, что он вас обманывает, составляет 50 %.
• Во-вторых, вы должны оценить вероятность появления белья при условии того, что гипотеза неверна.
Если муж вам не изменяет, должны быть другие, более невинные объяснения появления трусиков в вашем гардеробе. Некоторые из них могут оказаться довольно неприятными (например, это могли бы быть его собственные трусики). Возможно, что его багаж был по ошибке перепутан с чужим. Возможно, что в его доме по каким-то причинам вполне невинно заночевала какая-то ваша подруга, которой вы доверяете. Трусики могли бы быть подарком вам, который он забыл упаковать. Ни одна из этих теорий не лишена изъянов, хотя порой объяснения в стиле «мое домашнее задание съела собака» действительно оказываются правдой. Вы оцениваете их совокупную вероятность в 5 %.
• Третье и самое важное, что вам нужно, – это то, что байесовцы называют априорной вероятностью (или просто априори). Как вы оценивали вероятность его измены до того, как нашли белье? Разумеется, вам сложно сохранять объективность оценки сейчас, после того как эти трусики появились в поле вашего зрения (в идеале вы оцениваете эту вероятность до того, как начинаете изучать свидетельства). Но иногда оценивать вероятность подобных событий можно эмпирически. Например, в ряде исследований было показано, что в течение любого случайным образом взятого года своим супругам изменяет около 4 % женатых партнеров {570} , так что мы возьмем эту цифру за априорную вероятность.
570
Bret Schulte, «How Common Are Cheating Spouses?» U. S. News & World Report, March 27, 2008. http://www.usnews.com/news/national/articles/2008/03/27/how-common-are-cheating-spouses.
Если вы произвели оценку всех этих значений, то можете применить теорему Байеса для оценки апостериорной вероятности [107] . Именно в этой цифре мы и заинтересованы больше всего – насколько велика вероятность того, что нам изменяют, при условии что мы нашли чужое белье?
Расчет и простая алгебраическая формула, позволяющая его сделать, приведены в табл. 8.2.
Таблица 8.2. Пример расчета вероятности измены по теореме Байеса
107
Апостериорная вероятность (вероятность a posteriori) какого-либо события – условная вероятность события (переменной), которая назначается после принятого во внимание нового свидетельства, имеющего отношение к данной переменной.
Оказывается, что вероятность измены все равно достаточно мала – 29 %. Это может показаться нелогичным: разве трусики не являются достаточно весомой уликой? Возможно, такой результат связан с тем, что вы использовали слишком низкое априорное значение вероятности его измены.
Хотя у невиновного человека может быть значительно меньше вариантов разумных объяснений появления трусиков, чем у виновного, вы изначально посчитали его невиновным, и это оказало большое влияние на результат расчета по уравнению.
Когда мы априорно в чем-то уверены, мы можем проявить удивительную гибкость даже при появлении новых свидетельств. Одним из классических примеров таких ситуаций является выявление рака груди у женщин в возрасте старше 40 лет. К счастью, вероятность, что у женщины в возрасте после 40 лет разовьется рак груди, довольно невелика и составляет примерно 1,4 % {571} .
Исследования показывают, что даже если у женщины нет рака, то маммограмма ошибочно покажет его наличие в 10 % случаев {572} . С другой стороны, если у нее есть рак, маммограмма выявит его примерно в 75 % случаев {573} . Увидев эту статистику, вы можете решить, что положительный результат маммограммы означает, что все очень плохо. Однако расчет по теореме Байеса с использованием этих цифр позволяет сделать иное заключение: вероятность наличия рака груди у женщины в возрасте за 40 при условии, что у нее положительная маммограмма, все еще составляет примерно 10 %. В данном случае такой результат расчета по уравнению обусловлен тем, что довольно немного молодых женщин имеют рак груди. Именно поэтому многие врачи рекомендуют женщинам не начинать регулярно делать маммограммы до 50-летнего возраста, после достижения которого априорная вероятность рака груди значительно увеличивается {574} .
571
«Breast Cancer Risk by Age», Breast Cancer Centers for Disease Control and Prevention, last updated August 13, 2010. http://www.cdc.gov/cancer/breast/statistics/age.htm.
572
«Understanding Breast Exam Results – False Negative – False Positive Results», RealAge.com. http://www.realage.com/womens-health/breast-exam-results.
573
S. Eva Singletary, Geoffrey L. Robb, and Gabriel N. Hortobagyi, «Advanced Therapy of Breast Disease», B. C. Decker, May 30, 2004.
574
Gina Kolata, «Panel Urges Mammograms at 50, Not 40», New York Times, November 16, 2009. http://www.nytimes.com/2009/11/17/health/17cancer.html.
Проблемы такого рода, вне всякого сомнения, сложны. Во время недавно проводимого исследования статистической грамотности американцев им приводили этот пример с раком груди. И оказалось, что всего 3 % из них смогли правильно рассчитать значения вероятности {575} . Иногда, немного замедлившись и попробовав визуализировать эту проблему (как показано на рис. 8.2), мы можем легко проверить реальностью свои неточные аппроксимации. Визуализация помогает нам легче увидеть общую картину – поскольку рак груди встречается у молодых женщин крайне редко, сам факт положительного результата маммограммы еще ни о чем не говорит.
575
Dan M. Kahan, et al., «The Polarizing Impact of Science Literacy and Numeracy on Perceived Climate Change Risks», Nature Climate Change, May 27, 2012. See Supplementary Information: http://www.nature.com/nclimate/journal/vaop/ncurrent/extref/nclimate1547-s1.pdf.
Рис. 8.2. Графическое изображение исходных данных для теоремы Байеса на примере с маммограммой
Однако мы обычно склонны ориентироваться на самую новую или самую доступную информацию, и общая картина начинает теряться. Умные игроки вроде Боба Вулгариса научились умело пользоваться подобными недостатками нашего мышления. Вулгарис сделал выгодную ставку на Lakers отчасти потому, что букмекеры уделили слишком много внимания нескольким первым играм Lakers и изменили ставки на выигрыш командой титула с 4 к 1 до 65 к 1. Однако на самом деле команда играла ничуть не хуже, чем могла играть хорошая команда в случае травмы одного из ее звездных игроков. Теорема Байеса требует от нас более внимательно продумывать проблемы такого рода. Она может оказаться крайне полезной для выявления случаев, когда наши аппроксимации, основанные на чутье, оказываются слишком грубыми.
Но я не хочу сказать, что наши априорные ожидания всегда доминируют над новыми свидетельствами или что теорема Байеса всегда приводит к нелогичным, на первый взгляд, результатам. Иногда новые свидетельства оказываются настолько значимыми для нас, что перевешивают все остальное, и мы можем практически моментально изменить свое мнение и стать полностью уверенными в событии, вероятность которого считали почти нулевой.
Давайте рассмотрим более мрачный пример – атаки 11 сентября. Большинство из нас, проснувшись в тот день утром, присваивало практически нулевое значение вероятности того, что террористы примутся разбивать самолеты о небоскребы на Манхэттене. Однако мы признали очевидную возможность террористической атаки после того, как первый самолет врезался во Всемирный торговый центр. И у нас исчезли любые сомнения в том, что на нас было произведено нападение, после того как самолет врезался во вторую башню. Теорема Байеса способна отобразить этот результат.