Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Иными словами, планка, установленная в конкурентной борьбе, казалась достаточно низкой. Любой человек мог произвести впечатление гения, занявшись самыми простыми базовыми исследованиями того, что действительно обладает предсказуемостной способностью в политической кампании. Поэтому я начал вести блог на сайте Daily Kos, рассказывая о детальном и управляемом данными анализе таких вопросов, как опросы или данные по сбору средств кандидатами. Я выяснил, какие опросы показывали в прошлом самые точные результаты и насколько победа в одном штате – к примеру, Айове – могла привести к изменению расстановки сил в другом. Мои статьи быстро стали популярными, хотя чаще всего комментарии читателей сайтов, подобных Daily Kos, носят качественный (и довольно предвзятый) характер. В марте 2008 г. я начал выставлять аналитические данные на собственном сайте (FiveThirtyEight), где размещались прогнозы, касающиеся различных выборных кампаний.
Поначалу
Принцип 1. Учитывайте вероятностность события
Почти все публикуемые мной прогнозы, как в политике, так и в других областях, являются вероятностными.
Вместо того чтобы «выплеснуть» одну цифру и утверждать, что я точно знаю, что произойдет далее, я показываю диапазон возможных результатов. Например, 2 ноября 2010 г. мой прогноз о возможном количестве мест республиканцев в Конгрессе США выглядел так, как показано на рис. 2.1.
Предполагалось, что наиболее вероятное количество мест, которое наберут республиканцы, находилось в диапазоне, перекрывающем почти половину всех возможных вариантов, – от 45 до 65 (в реальности они получили 63 места). Однако также имелась возможность выигрыша республиканцами 70 или 80 мест – но уж точно не предсказанной Диком Моррисом сотни. И существовала вероятность того, что демократы удержат достаточно мест для сохранения контроля над Конгрессом.
Рис. 2.1. Прогноз количества мест республиканцев в Конгрессе США на 2 ноября 2010 г. от FiveThirtyEight
Широкий разброс исходов выборов отражал неопределенность, присущую реальному миру. Прогноз был создан на основе индивидуальных прогнозов для каждого из 435 мест в Конгрессе – и в большинстве кампаний разрыв межу конкурировавшими кандидатами был минимальным. В результате судьба 77 мест в Конгрессе определялась разрывом голосов менее чем в 10 % {171} . Если бы демократы обогнали собственные прогнозы в самых конкурентных регионах всего на пару процентов, то смогли бы легко удержать за собой Конгресс. Если бы то же самое смогли сделать республиканцы, то превратили бы свою победу в невероятный триумф. Небольшие колебания политических течений могли бы привести к существенно иному результату; поэтому было бы глупо сводить описание происходящего к точной цифре.
171
«Election Results: House Big Board», New York Times, November 2, 2010. http://elections.nytimes.com/2010/results/house/big-board.
Этот вероятностный принцип также сохраняется в случаях, когда я прогнозирую, чем завершатся отдельные кампании. Например, насколько велика вероятность выигрыша кандидата, если он, по итогам опросов, опережает конкурента на пять пунктов? Именно такие вопросы и призваны решать модели типа FiveThirtyEight.
Ответ на подобный вопрос в значительной степени зависит от типа гонки, в которую вовлечен кандидат. Чем ниже уровень выборов, тем более волатильными становятся результаты: данные опросов на предвыборной гонке в Конгресс менее точны, чем данные опросов при выборах в Сенат, а те, в свою очередь, менее точны, чем опросы перед выборами президента. Также считается, что, в целом опросы в ходе предварительных партийных выборов (праймериз) значительно менее точны, чем опросы в ходе общих выборов. Во время праймериз Демократической партии в 2008 г. средняя величина ошибки в данных опроса составляла около восьми пунктов – значительно больше, чем подразумевается при оценке ее погрешности. Проблема опросов в ходе республиканских праймериз 2012 г. была еще масштабнее {172} . Фактически во многих важных штатах – включая Айову, Южную Каролину, Флориду, Мичиган, Вашингтон, Колорадо, Огайо, Алабаму и Миссисипи – кандидат, лидировавший в ходе опросов за неделю до выборов, проигрывал гонку.
172
Nate Silver, «A Warning on the Accuracy of Primary Polls», FiveThirtyEight, New York Times, March 1, 2012.vethirtyeight.blogs.nytimes.com/2012/03/01/a-warning-on-the-accuracy-of-primary-polls/.
Однако
В подобных условиях ценность моделей типа FiveThirtyEight становится очевидной. Нет никаких проблем с тем, чтобы посмотреть на цифры, увидеть, что некий кандидат ведет по данным некоторых или всех опросов, и понять, что он является фаворитом (за некоторыми исключениями это предположение будет правильным). Гораздо сложнее понять, в какой мере он выступает фаворитом. Наши мозги, приученные находить закономерности, всегда пытаются найти в данных сигнал, хотя, на самом деле, вместо этого нам следует оценивать степень шума.
Таблица 2.3. Вероятность победы кандидата на выборах в Сенат, основанная на среднем показателе опережения в ходе опросов
Я привык именно к такому стилю мышления, а предпосылкой для него является опыт, приобретенный, когда я имел дело с двумя дисциплинами – спортом и покером, в которых вы, так или иначе, сталкиваетесь со всеми вариантами развития событий. Сыграв достаточное количество партий в покер, вы получаете некоторое количество комбинаций ройял-флэш. Стоит вам сыграть еще, и вы окажетесь в ситуации, когда у вас на руках будет фулл-хаус, а ройял-флэш придет вашему сопернику. В спорте, особенно бейсболе, также возникают события с низкой вероятностью. Так, команда Boston Red Sox не смогла выйти в плей-офф в 2011 г., несмотря на то что в какой-то момент ее шансы на это составляли 99,7 % {173} , – хотя лично я не стал бы спорить с человеком, считающим, что в случае Red Sox или Chicago Cubs обычные законы вероятности просто не работают.
173
Nate Silver, «Bill Buckner Strikes Again», FiveThirtyEight, New York Times; September 29, 2011. http://fivethirtyeight.blogs.nytimes.com/2011/09/29/bill-buckner-strikes-again/.
Такое отсутствие определенности часто расстраивает политиков и политических обозревателей. В 2010 г. один конгрессмен-демократ позвонил мне за несколько недель до выборов. Он представлял довольно благополучный для демократической партии район на западном побережье.
Тем не менее, принимая во внимание, насколько хорошо шли в том году дела у республиканцев, он беспокоился, что может потерять свое место. Он хотел знать, насколько велика доля неопределенности в нашем прогнозе. При округлении наши цифры говорили ему о том, что вероятность его победы составляет 100 %… Однако что значили эти 100 % на самом деле – 99 % или 99,99 %, или же 99,9999 %? В первом случае, когда шансы проигрыша оценивались как 1 к 100 000, он был готов пожертвовать собранными на его кампанию средствами и передать их другим кандидатам, баллотировавшимся в более уязвимых районах. Однако он не был готов так поступить, если шансы на его проигрыш составляли 1 к 100.
Представители политических партий могут неправильно интерпретировать роль неопределенности в прогнозе; они относятся к ней как к своего рода страховке или возможному оправданию в случае, если предсказание оказывается неверным. Но дело заключается совсем в другом. Если вы прогнозируете, что некий конгрессмен будет выигрывать в 90 % случаев, то это также означает, что ему будет суждено проиграть в 10 % случаев {174} . Отличительный признак хорошего прогноза заключается в том, что каждая из этих вероятностей может реализоваться в долгосрочной перспективе.
174
В противном случае вам следовало бы дать конгрессмену 100 %-ный шанс на выигрыш.