Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет

Сильвер Нейт

Если Вулгарису удается создать достаточно сильную гипотезу о том, что он видит в данных, он делает более агрессивные ставки. Предположим, например, что Вулгарис обращает внимание на ремарку тренера команды Denver Nuggets о том, что он хочет «устроить хорошее шоу» для фанатов. Возможно, это досужая болтовня, но не исключено, что команда будет играть в более быстром темпе, чтобы повысить зрелищность и заставить аудиторию покупать больше билетов на матчи. Если эта гипотеза верна, то Вулгарис может ожидать, что Nuggets будет выигрывать 70 % времени, в отличие от статистических 50 %. Как следует из теоремы Байеса, чем выше убежденность Вулгариса в правильности его гипотезы, тем быстрее он может начинать делать прибыльные ставки на игры Nuggets. Он может начать это делать, изучив, как проходили пары игр с участием команды, и поняв, выдерживает ли его теория испытание практикой. Причем он начнет делать это раньше, чем на данную закономерность обратят внимание букмекеры в Лас-Вегасе и изменят ставки. И, напротив, он позволяет себе не отвлекаться на статистические закономерности, такие как медленный старт Lakers в 1999 г., в котором нет никакого глубокого смысла, но который

другие игроки могут ошибочно принять за сигнал.

Таблица 8.4. Научный метод, используемый Вулгарисом {600}

Байесовский путь к снижению неправоты

Но какими можно считать расчеты вероятностей, которые делает Боб, – субъективными или объективными? Это довольно хитрый вопрос.

С эмпирической точки зрения, мы все имеем убеждения и предубеждения, основанные на комбинации нашего опыта, ценностей, знаний и, возможно, политических или профессиональных взглядов. Одна из полезных характеристик байесовской точки зрения состоит в том, что если мы явным образом признаем, что у нас имеются априорные убеждения (влияющие на то, как мы интерпретируем новые свидетельства), то сможем достаточно хорошо описать нашу реакцию на изменения в своем мире. Например, если, согласно априорному убеждению Фишера, вероятность, что курильщики заболеют раком легких, составляют всего 0,00001 %, это объясняет, почему его не могли убедить никакие свидетельства обратного. В сущности, согласно теореме Байеса, ничто не мешает вам оставаться убежденным в чем-то, что вы считаете совершенно правильным. Если, по вашему мнению, вероятность существования Бога – 100 % (или же, напротив, 0 %), то, согласно теореме Байеса, никакое количество доказательств не убедит вас в обратном.

600

* Хотя для описания шагов научного метода используются различные формулировки, эта версия базируется на следующем источнике «APPENDIX E: Introduction to the Scientific Method», University of Rochester. http://teacher.pas.rochester.edu/phy_labs/appendixe/appendixe.html.

Я не собираюсь ничего говорить о том, существует или нет что-то, во что вы можете верить с абсолютной и беспрекословной уверенностью [113] . Однако возможно, что нам нужно честно говорить об этом. Спор человека, считающего, что вероятность какого-то события составляет 0 %, с человеком, уверенным на 100 % в том, что оно произойдет, – дело бесполезное. Возможно, что именно из-за таких споров и возникало множество конфликтов, таких как религиозные войны в Европе в первые годы после появления печатного пресса.

113

При этом стоит помнить об одном из выводов этой книги: люди слишком самоуверенны; мы верим в слишком большое количество вещей с почти нулевой или с почти 100 %-ной вероятностью. – Прим. авт.

Но у нас нет оснований предполагать, что все априорные убеждения в равной степени правильны. Однако я склонен считать, что наши убеждения никогда не будут идеально объективны, рациональны или истинны. Вместо этого мы стараемся быть менее субъективными, менее иррациональными и менее неправыми. Создание предсказаний, основанных на наших убеждениях, представляет собой лучший (а возможно, и единственный) способ протестировать самих себя. Если объективность предполагает выявление истины, вне зависимости от наших личных обстоятельств, а предсказание представляет собой лучший способ изучения того, насколько тесно связано наше личное восприятие с великой истиной, то самыми объективными из нас будут считаться те, кто выступает с самыми точными предсказаниями. Статистический метод Фишера, согласно которому объективность была возможна лишь в замкнутых рамках лабораторного эксперимента, пригоден для решения таких задач куда меньше, чем байесовский.

Фактически одно из свойств теоремы Байеса состоит в том, что наши убеждения должны сближаться друг с другом – и приближаться к истине – по мере того, как нам со временем предоставляется все больше свидетельств. На рис. 8.4 я показал в качестве примера, как три инвестора пытаются определить, находятся ли они на «бычьем» или «медвежьем» рынке.

Рис. 8.4. Сближение по методу Байеса

Сначала инвесторы имеют совершенно различные наборы убеждений. Один из них оптимистично настроен и верит, что вероятность того, что рынок «бычий», составляет 90 %. Другой склонен к «медвежьим» настроениям и считает, что шансы «бычьего» рынка равны лишь 10 %. Каждый раз, когда рынок движется вверх, настроение инвесторов становится чуть более «бычьим» по сравнению с априорным, а при каждом движении вниз происходит обратная ситуация. Однако я имитировал такую ситуацию, что, хотя ежедневные колебания и носят случайный характер, в долгосрочной перспективе рынок растет в течение 60 % времени. Несмотря на то что на этой дороге есть свои ухабы, со временем все инвесторы точным образом определяют, что находятся на «бычьем» рынке, с уверенностью почти 100 % (но не с абсолютной).

В теории

наука должна работать именно таким образом. Понятие научного консенсуса довольно сложно, однако основная его идея состоит в том, что мнение научного сообщества идет по пути постепенного сближения, двигаясь в сторону истины в процессе обсуждения идей и появления новых свидетельств. Как и на фондовом рынке, эти шаги не всегда направлены вперед или их легко делать. Научное сообщество часто выступает слишком консервативно по вопросу адаптации существующих парадигм к новым свидетельствам {601} , хотя иногда наука и принимает новые данные с поразительной быстротой, напоминая человека, успевающего запрыгнуть в вагон уходящего поезда. Но если предположить, что мы все находимся в одном байесовском поезде [114] , то даже неверные убеждения и ошибочные априорные предположения пересматриваются, и мы постепенно движемся в сторону истины.

601

Thomas S. Kuhn, The Structure of Scientific Revolutions (Chicago: University of Chicago Press, Kindle edition).

114

Многие ученые не верят, что даже априорная вероятность событий будет составлять в точности 100 % или 0 %; согласно теореме Байеса, такие вероятности не могут и не будут меняться впоследствии. – Прим. авт.

Например, на наших глазах происходит изменение парадигмы в статистических методах, используемых учеными. Моя критика ошибок статистического подхода Фишера не является чем-то новым или радикальным – аналогичные аргументы уже много лет приводят знаменитые ученые из различных областей знаний, начиная от клинической психологии {602} и заканчивая политологией {603} и экологией {604} . Однако пока что фундаментальных изменений почти не видно.

602

Jacob Cohen, «The Earth Is Round (p< .05)», American Psychologist, 49, 12 (December 1994), pp. 997–1003. http://ist-socrates.berkeley.edu/~maccoun/PP279_Cohen1.pdf.

603

Jeff Gill, «The Insignificance of Null Hypothesis Significance Testing», Political Research Quarterly, 52, 3 (September 1999), pp. 647–674. http://www.artsci.wustl.edu/~jgill/papers/hypo.pdf.

604

David R. Anderson, Kenneth P. Burnham, and William L. Thompson, «Null Hypothesis Testing: Problems, Prevalence, and an Alternative», Journal of Wildlife Management, 64, 4 (2000), pp. 912–923. http://cat.inist.fr/%3FaModele%3DafficheN%26cpsidt%3D792848.

Тем не менее недавно целый ряд уважаемых статистиков начал утверждать, что фреквентистскую статистику не нужно преподавать студентам младших курсов университетов {605} . В некоторых профессиональных изданиях было официально объявлено об отказе в публикации результатов исследований, основанных на гипотезе Фишера {606} . Фактически, если прочитать все написанное за последние 10 лет, то сложно найти материалы, не защищающие байесовский подход.

605

William M. Briggs, «It Is Time to Stop Teaching Frequentism to Non-Statisticians», arXiv.org, January 13, 2012. http://arxiv.org/pdf/1201.2590.pdf.

606

David H. Krantz, «The Null Hypothesis Testing Controversy in Psychology», Journal of the American Statistical Association, 44, no. 448 (December 1999). http://www.jstor.org/discover/10.2307/2669949?uid=3739832&uid=2&uid=4&uid=3739256&sid=47698905120317.

Боб также ставит свои деньги на Байеса. Дело не в том, что он буквальным образом применяет теорему Байеса в каждом случае. Однако его практика тестирования статистических данных в контексте гипотез и убеждений, основанная на его знаниях о баскетболе, является в чистом виде байесовской, равно как и его готовность признавать вероятностные ответы на его вопросы.

Для изменения наших учебников и традиций потребуется некоторое время. Однако теорема Байеса утверждает, что мы будет постепенно приближаться к лучшему из возможных исходов. Теорема Байеса предсказывает, что байесовцы одержат победу.

Глава 9

Восстание против машин

Как и многие другие, 27-летний Эдгар Аллан По, был очарован «Механическим турком» (рис. 9.1) – хитроумным изобретением, которому удалось обыграть в шахматы Наполеона Бонапарта и Бенджамина Франклина. Машина, сконструированная в Венгрии в 1770 г., то есть еще до рождения По или Соединенных Штатов Америки, была доставлена в Балтимор и Ричмонд в 1830-е гг. после того, как в течение десятилетий собирала огромные аудитории по всей Европе. По предположил, что это – довольно сложный розыгрыш. Он считал, что за винтиками и шестеренками машины скрывался высококлассный шахматист. И именно он управлял рычагами, обеспечивая перемещение фигур по доске и кивок головой куклы в тюрбане каждый раз после того, как она делала шах оппоненту.