Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Данные без контекста бесполезны
Ближе к концу своей карьеры Фишер смягчился и даже время от времени хвалил Байеса {589} . Некоторые из методов, разработанных им за долгие годы (хотя и не самые популярные в наши дни), представляли собой, по сути, компромиссы между байесовским и фреквентистским подходами. Однако в последние годы своей жизни Фишер допустил крайне серьезный просчет, который продемонстрировал ограничения этого подхода.
Вопрос касался курения сигарет и рака легких. В 1950-е гг. в значительном количестве исследований (в некоторых из них использовались стандартные статистические методы, а в других – байесовские) {590} утверждалось, что между ними существует связь, что в наши дни никого уже не удивляет.
589
Aldrich, «R. A. Fisher on Bayes and Bayes’ Theorem».
590
McGrayne, The Theory That Would Not Die, Kindle location 111.
Фишер
591
Sir Ronald A. Fisher, «Smoking: The Cancer Controversy», Oliver and Boyd. http://www.york.ac.uk/depts/maths/histstat/smoking.htm.
592
Jean Marston, «Smoking Gun», NewScientist, no. 2646, March 8, 2008. http://www.newscientist.com/article/mg19726460.900-smoking-gun.html.
593
McGrayne, The Theory That Would Not Die, Kindle location 113.
Многие научные выводы, которые в наши дни ни у кого не вызывают сомнения, когда-то могли восприниматься с большим недоверием. Иногда это было вызвано существовавшими культурными табу (как в случае заявления Галилея о том, что Земля вращается вокруг Солнца), а довольно часто тем, что просто отсутствовали данные, требующиеся для анализа проблемы. Мы, может быть, и позволили бы Фишеру сорваться с крючка, если бы к 1950 г. уже не было достаточного количества убедительных свидетельств существования связи между курением сигаретам и раком легких. Ученые, изучившие данные и свидетельства из прошлого, пришли к выводу, что на тот момент уже было множество статистических и клинических тестов, проводившихся большим количеством исследователей в разных контекстах, которые наглядно показывали причинно-следственную связь {594} . Идея быстро стала научным консенсусом.
594
Stolley, «When Genius Errs».
Так почему же Фишер отвергал эту теорию? Одна из причин могла быть связана с тем, что он консультировал производителей сигарет за деньги {595} . Другая – с тем, что он сам курил всю жизнь. Фишеру нравилось казаться противоречивым и демонстрировать, что он не любит все, имеющее привкус пуританства. Короче говоря, он сам был подвержен огромному количеству «искажений».
Возможно, однако, что более значимая проблема заключается в том, как статистическая философия Фишера воспринимает мир. Она уделяет особое внимание объективной чистоте эксперимента: каждая гипотеза может быть доведена до идеального заключения, если только был собран достаточный объем данных. Однако в процессе достижения такого уровня чистоты эта теория отвергает необходимость байесовских априорных значений или любого другого вида беспорядка в контексте реального мира. Этот метод не требует и не побуждает нас задуматься о некорректности нашей гипотезы – идея о том, что сигареты вызывают рак легких, ничем не отличается от предположения о том, что жабы способны предсказывать землетрясения. Но мне кажется, что стоит сказать Фишеру спасибо за то, что он признал тот факт, что корреляция не всегда предполагает наличие причинно-следственной связи.
595
Там же.
Однако фишеровские статистические методы никоим образом не помогают нам понять, какая корреляция предполагает наличие причинно-следственных связей, а какая нет. Так что не приходится удивляться тому, что после того, как Фишер всю жизнь думал определенным образом, он утратил способность рассказать о различии между ними.
Боб – байесовец
В байесовской картине мира предсказание представляет собой критерий, с помощью которого мы оцениваем степень прогресса. Возможно, мы никогда и не будем уверены, что знаем истину на все 100 %, однако создание корректных прогнозов представляет собой отличный способ понять, приближаемся ли мы к ней.
Сторонники взглядов Байеса особенно ценят тех, кто играет в азартные игры {596} . Байес и Лаплас, да и другие теоретики, разрабатывавшие теорию вероятности на ее раннем этапе, очень любили приводить примеры из азартных игр, чтобы пояснить свои идеи. (Хотя Байес, по всей видимости, сам не увлекался этим занятием {597} , он вращался в кругах, где часто играли на деньги в карты и бильярд.) Игрок делает предсказания (хорошо), и он делает предсказания, предполагающие расчет
596
Jo Tuckman and Robert Booth, «Four-Year-Old Could Hold Key in Search for Source of Swine Flu Outbreak», The Guardian; April 27, 2009. http://www.guardian.co.uk/world/2009/apr/27/swine-flu-search-outbreak-source
597
McGrayne, The Theory That Would Not Die, Kindle location 7.
111
Или, если говорить точнее, шансы, при которых вы хотите разместить ставку, чтобы остаться «при своих» при любом исходе. Большинство байесовцев требует, чтобы при расчете априорных вероятностей избегалась ситуация так называемой Dutch book – при которой не важно, каковы ваши шансы, и вы остаетесь в выигрыше при любом исходе. Если вы рассчитаете набор априорных вероятностей того, что каждая из 30 команд выиграет чемпионат НБА, они должны в сумме составлять ровно 100 %, так как являются взаимоисключающими исходами. – Прим. авт.
Боб Вулгарис представляет собой особенно ярко выраженный байесовский тип азартного игрока. Ему нравятся ставки на баскетбол как раз потому, что они дают ему возможность протестировать самого себя и правильность своих теорий. «Представьте себе, что вы управляете спортивной командой и набираете себе игроков, – сказал он мне ближе к концу интервью. – Вы не всегда понимаете, было ли ваше решение правильным или нет. В моем же случае я знаю – в конце дня или в конце сезона, – оказался ли я прав или нет, поскольку я либо теряю деньги, либо их выигрываю. Это довольно хорошее подтверждение теории». Вулгарис впитывает так много информации о баскетболе, как только может, поскольку практически любой факт способен изменить его расчеты вероятности. Профессиональный игрок на спортивных событиях такого типа, как Вулгарис, будет размещать ставки только в том случае, если считает, что вероятность выигрыша не меньше 54 %. Этого вполне достаточно для покрытия комиссионных, которые букмекеры взимают с выигрышных ставок, и риска, связанного с этим действием. При всех своих навыках и упорном труде – Вулгарис считается одним из лучших азартных игроков в мире в наши дни – он угадывает результаты правильно лишь примерно в 57 % случаев. Добиться более высокого результата исключительно сложно.
Таким образом, вся разница связана с незначительным объемом информации, позволяющим Вулгарису увеличить вероятность с 53 до 56 %. Именно на эту небольшую прибыль и живут игроки, проводящие время как за покерным столом, так и на фондовом рынке. Предложенное Фишером понятие статистической значимости, слишком вольно отсекающее те или иные факты вне зависимости от контекста [112] для определения уровня «значительности» {598} , несколько грубовато для людей, делающих ставки на спорт.
112
Было обнаружено, что из-за присутствия доверительного интервала в 95 % в статистическом тесте – традиционной для Фишера разделительной линией между «важным» и «не важным» – исследователи значительно чаще сообщают о результатах, укладывающихся в доверительный интервал 95,1 %, чем о результатах с 94,9 %. И, как мне кажется, эта практика связана скорее с суеверием, чем с наукой. – Прим. авт.
598
Raymond S. Nickerson, «Null Hypothesis Significance Testing: A Review of an Old and Continuing Controversy», Psychological Methods, 5, 2 (2000), pp. 241–301.%-AB%98%E7%B5%B1%E5%A0%B1%E5%91%8A.pdf.
Это не значит, что Вулгарис избегает создавать гипотезы на основе данных, которые показывает ему статистика (проблема подхода Фишера к тестированию гипотез состоит не в их существовании, а в том, как Фишер рекомендует их тестировать) {599} . В сущности, это критически важно для того, что делает Вулгарис. Статистические закономерности видны во всем, и рано или поздно они отражаются на ставках. Вопрос состоит в том, представляют ли они собой сигнал или шум. Гипотезы Вулгариса сформированы с учетом его знаний о баскетболе, поэтому он может увидеть разницу быстрее и точнее.
599
Andrew Gelman and Cosma Tohilla Shalizi, «Philosophy and the Practice of Bayesian Statistics», British Journal of Mathematical and Statistical Psychology, pp. 1–31, January 11, 2012. http://www.stat.columbia.edu/~gelman/research/published/philosophy.pdf.
Подход Вулгариса к ставкам на баскетбол представляет собой один из чистейших примеров научного метода, который только можно найти (табл. 8.4). Он изучает мир и задает вопросы: почему команда Cleveland Cavaliers так часто получает больше очков, чем предполагалось? Затем он собирает информацию о проблеме и формулирует гипотезу: команда делает это потому, что у Рики Дэвиса заканчивается контракт и он хочет играть в быстром темпе, чтобы его личная статистика стала выглядеть лучше. Четкая граница между тем, что делает Вулгарис, и тем, что делают физики или биологи, состоит в том, что он делает ставки на результат собственных предсказаний, а ученые надеются на подтверждение своих предсказаний путем экспериментов.