Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет

Сильвер Нейт

Оказалось, однако, что Вольферс считал главным блюдом обеда меня. Вместе с Ротшильдом он изучал поведение рынков предсказаний [144] типа Intrade – своеобразной реальной версии Байесландии, где трейдеры покупают и продают акции, связанные с реальными событиями, – начиная от того, кто получит очередной «Оскар» за лучшую картину и заканчивая возможностью воздушного удара израильтян по Ирану. Политические события – особенно популярные кандидаты для ставок.

Например, одна акция может быть связана с возможностью того, что Хиллари Клинтон станет основным кандидатом от демократической партии в 2008 г. Если это предположение окажется верным, то есть Клинтон выиграет внутрипартийные выборы, то владелец акции получит дивиденд в размере 100 долл., в противном случае он не получит ничего. Однако трейдеры могут обмениваться своими акциями без каких-либо ограничений до того момента, когда станет ясен результат. Таким образом, рыночная цена акции представляет собой согласованное предсказание о возможном исходе. (На одном из рынков {702} цена акций Клинтон обрушилась до 18 долл. после того, как она проиграла выборы в Айове, затем вновь выросла до 66 долл. после выигрыша ею первичных выборов в Нью-Гемпшире, а потом начала медленно снижаться до 0, поскольку Обама стал опережать ее в избирательной кампании.) Рынки такого рода имеют довольно

давние традиции, связанные с политикой, – их начало было положено еще во время президентских выборов 1892 г., когда акции Гровера Кливленда и Бенджамина Харрисона торговались в нескольких шагах от Американской фондовой биржи {703} .

144

Рынки предсказаний (prediction markets) – они же предиктивные, прогнозирующие, информационные рынки – спекулятивные рынки, созданные для прогнозирования. Активами на рынке выступают события или значения определенных параметров в будущем. Текущие рыночные цены активов колеблются от 0 до 100 реальных или условных денег и интерпретируются как прогноз вероятности, с которой наступит заявленное событие.

702

Iowa Electronic Markets. http://iemweb.biz.uiowa.edu/pricehistory/pricehistory_SelectContract.cfm?market_ID=214.

703

По материалам интервью Джастина Вольферса и Дэвида Ротшильда.

«Расскажи Нейту о своем сравнительном анализе», – обратился Вольферс к Ротшильду через несколько минут после начала обеда с озорным выражением на лице. «Я провел исследование для одного научного журнала, где сравнил результаты одного неискаженного интернет-опроса с данными рынка предсказаний, убедившись, что они сопоставимы», – тут же откликнулся Ротшильд.

«Это слишком вежливо, – прервал его Вольферс. – Скажи, что ты сравнил предсказания Intrade с данными Нейта».

«И Intrade выиграл», – ответил Ротшильд.

Его научная работа, опубликованная в журнале Public Opinion Quarterly {704} , сравнивала прогнозы, сделанные мной в FiveThirtyEight за период выборного цикла 2008 г., и предсказания Intrade. Основной вывод работы заключался в том, что, хотя прогнозы FiveThirtyEight и были довольно неплохими, Intrade они удавались значительно лучше.

Преимущества (и ограничения) групповых прогнозов

Могу сказать, что не был полностью согласен с методологией, предлагавшейся в этом исследовании. Прогнозы Intrade смогли переиграть FiveThirtyEight только после того, как Вольферс и Ротшильд произвели в своей методике ряд корректировок постфактум; в противном случае выигрывал FiveThirtyEight {705} . Возможно, еще более важным является тот факт, что новый прогноз FiveThrityEight достаточно часто приводил к движению цены Intrade в том же направлении. Это могло означать, что игроки пытались использовать мои прогнозы для спекуляций (по крайней мере, до какой-то степени).

704

David Rothschild, «Forecasting Elections: Comparing Prediction Markets, Polls, and Their Biases», Public Opinion Quarterly, 73, no. 5 (2009), pp. 895–916. http://assets.wharton.upenn.edu/~rothscdm/RothschildPOQ2009.pdf.

705

Деятельность Intrade страдала от некоторых систематических и, возможно, предсказуемых искажений. В частности, исследования Вольферса и других показали, что на Intrade влияло так называемое искажение фаворита (favorite-longshot bias), означающее, что игроки склонны переоценивать события с низкой вероятностью. Например, события, вероятность возникновения которых, по данным Intrade, составляла 1 из 10, в реальности происходили лишь в 1 случае из 20, а события, вероятность которых составляла 1 из 30, происходили лишь в 1 случае из 100. Согласно работе Ротшильда, корректировка этого искажения могла бы привести к тому, что Intrade смог бы переиграть FiveThirtyEight в 2008 г., учитывая, что без корректировки значения FiveThirtyEight выглядели более точными.

Тем не менее существуют достаточно сильные эмпирические и теоретические свидетельства, что в агрегированном изучении различных прогнозов есть свои преимущества. В целом ряде дисциплин, начиная от макроэкономического прогнозирования и заканчивая политическими опросами, простое среднее значение из нескольких прогнозов зачастую позволяет снизить ошибку прогнозирования на 15 или 20 % {706} .

Однако, перед тем как вы начнете объединять и выводить среднее из данных, вам следует учитывать три следующих обстоятельства.

706

Ошибка прогноза в данном случае могла бы быть рассчитана с помощью корневой среднеквадратичной ошибки.

Во-первых, хотя агрегированный прогноз будет, в сущности, всегда лучше, чем обычный индивидуальный прогноз, это не значит, что он обязательно будет хорошим. Например, даже агрегированные макроэкономические прогнозы слишком грубы, чтобы предсказать рецессию более чем за несколько месяцев. При этом они все же лучше прогнозов отдельных экономистов.

Во-вторых, целый ряд свидетельств показывает, что данный принцип мудрости толпы работает, когда прогнозы сначала делаются независимо и лишь затем усредняются. В рынке с реальными ставками (включая фондовый рынок) люди могут и действительно реагируют на поведение друг друга. В условиях, когда толпа начинает вести себя более динамично, групповое поведение становится более сложным.

В-третьих, хотя агрегированный прогноз и лучше типичного индивидуального, он не всегда оказывается лучше, чем лучший из индивидуальных прогнозов. Возможно, например, что где-то в мире существует фирма, анализирующая политические события настолько хорошо и точно, что нам лучше использовать именно ее данные и не смешивать их с данными менее точных коллег.

Однако при изучении результатов в долгосрочной перспективе почти всегда оказывалось так, что агрегированный прогноз оказывается лучше любого индивидуального. Можно привести такой пример. Исследование экономических индикаторов высококлассных компаний показало, что агрегированный прогноз их изменений в течение ряда лет оказывался лучше, чем прогнозы, созданные любым из 70 экономистов, входивших в состав группы экспертов {707} . Другие работы Вольферса, в которых изучались предсказания результатов футбольных игр в рамках НФЛ, показали, что основанные на консенсусе прогнозы букмекеров были на 99,5 % точнее, чем прогнозы отдельных участников {708} .

И это, безусловно, распространяется и на политические опросы. Модели, в которыхк результатам одного-единственного опроса относятся, как к Святому Граалю, гораздо чаще допускают примечательные ошибки {709} . Снижение величины ошибки на 15–20 % при совмещении прогнозов может казаться не особенно впечатляющим результатом, однако ему сложно что-то противопоставить на конкурентном рынке.

707

Andy Bauer, Robert A. Eisenbeis, Daniel F. Waggoner, and Tao Zha, «Forecast Evaluation with Cross-Sectional Data: The Blue Chip Surveys», Economic Review, Federal Reserve Bank of Atlanta, 2003. http://www.frbatlanta.org/filelegacydocs/bauer_q203.pdf.

708

Emile Servan-Schreiber, Justin Wolfers, David M. Pennock, and Brian Galebach, «Prediction Markets: Does Money Matter?» Electronic Markets, 14, no. 3l (September 2004). http://hcs.ucla.edu/lake-arrowhead-2007/Paper6_Watkins.pdf.

709

Например, некоторые модели выборов в Конгресс в 2010 г. учитывали только данные опроса Gallup. Хотя в целом работу Gallup можно считать очень хорошей, в тот год его опросы оказались довольно неточными, и из их результатов следовало, что республиканцы получат значительно больше мест, чем оказалось в реальности, – около 80 или 90 вместо реальных 63. При этом использование средних значений по нескольким опросам могло бы привести к правильному результату.

Поэтому я сказал Вольферсу и Ротшильду, что готов признать принцип, лежащий в основе их заключения, хотя и не согласен с некоторыми деталями. Людям, делающим ставки на Intrade, ничто не мешает использовать прогнозы FiveThirtyEight для создания своих предсказаний, равно как и пользоваться любой другой информацией, которую они считают уместной (например, прогнозами наших конкурентов). И, разумеется, они могут неправильно интерпретировать имеющуюся у них информацию, поэтому испытывать проблемы.

Но нельзя считать прогнозы FiveThirtyEight, как и любой другой компании, совершенно безупречными. Казалось, что Вольферс разочарован тем обстоятельством, что я был готов уступить свои позиции. Если я не уверен в том, что могу победить Intrade, то почему просто не присоединиться к ним и не пользоваться их предсказаниями как своими собственными?

«Честно говоря, я удивлен вашей реакцией, – сказал он мне. – Если есть что-то, способное переигрывать всех конкурентов, то почему вы продолжаете заниматься своей работой?» На это я ответил, что, прежде всего, нахожу создание прогнозов интересным делом с интеллектуальной точки зрения – и они увеличивают трафик на мой блог.

Кроме этого, хотя я и признаю теоретические преимущества рынков предсказаний, я не уверен, что качество работы рынков такого рода, как Intrade, достаточно высоко, стандарт конкуренции на нем низок. Intrade становится все более популярным, однако он все равно остается крошечным в сравнении с фондовым рынком или Лас-Вегасом. Например, в течение нескольких недель перед «супервторником» (днем первичных выборов) в марте 2012 г. на этой площадке объем торгов составлял около 1,6 млн долл. {710} ; для сравнения ежесекундный объем торгов на Нью-Йоркской фондовой бирже составляет 8 млн долл. Самая крупная прибыль, полученная каким-либо из трейдеров от ставок в «супервторник», составила около 9 тыс. долл., чего явно недостаточно для того, чтобы жить на эти деньги, не говоря уже о том, чтобы разбогатеть. Кроме того, Intrade работает в довольно «серой» правовой зоне, и большинство людей, делающих ставки на американских политиков, представляют европейские или другие страны. Иногда возникают случаи рыночной манипуляции [145] {711} или вопиюще иррационального ценообразования {712} . Кроме этого, подобные рынки не особенно успешны в агрегации информации в случае отсутствия достаточного объема весомой информации – например, в попытках предсказать исход решений Верховного суда на основании туманных намеков, которыми судьи делятся с публикой.

710

«Super Tuesday 2012 on Intrade»; Intrade.com, March 8, 2012. http://www.intrade.com/v4/reports/historic/2012%E2%80%9303%E2%80%9307-super-tuesday-2012/.

145

Поскольку комиссионные для сделок на Intrade довольно низки, а деятельность биржи получает все большее внимание со стороны СМИ и способна создать более позитивное покрытие в прессе для того или иного кандидата, в какой-то момент кандидатам может стать интересно покупать определенные акции как довольно дешевую форму рекламы. – Прим. авт.

711

Nate Silver, «Intrade Betting Is Suspicious», FiveThirtyEight, September 24, 2008. http://www.fivethirtyeight.com/2008/09/intrade-betting-is-suspcious.html.

712

Nate Silver, «Evidence of Irrationality at Intrade», «Live Coverage: Alabama and Mississippi Primaries»; FiveThirtyEight, New York Times, March 13, 2012. http://fivethirtyeight.blogs.nytimes.com/2012/03/13/live-coverage-alabama-and-mississippi-primaries/#evidence-of-irrationality-at-intrade.

Могли бы FiveThirtyEight и другие хорошие политические прогнозисты обыграть Intrade, если бы эта структура полностью следовала законодательству США, а объемы торговли на ней были на порядок или два выше? Думается, что это было бы сложно. Могут ли они сделать это сейчас? Могу предположить {713} , что некоторым из нас это под силу при правильном выборе ставок {714} .

Но и в этой ситуации неудачу может потерпеть множество толковых людей, ошибочно считающих, что они способны переиграть рынок.

713

На самом деле я не делал ставки на Intrade, поскольку считал это возможным конфликтом интересов.

714

В частности, я надеюсь (и верю), что мои субъективные расчеты вероятности (байесовские априорные расчеты) могут в среднем оказаться лучше данных Intrade. Могу предположить, что это могло быть и не так в случае нашей прогнозной модели, поскольку она содержит ряд упрощений. Поэтому, если расхождения большие, нужно внимательно смотреть, связаны ли они с недостатками самой модели или же просто с отсутствием консенсуса (чаще всего проблемы бывают связаны с моделью). Если вы изучите блог FiveThirtyEight, то мои комментарии о том, что вам следует делать ставки против модели FiveThirtyEight, вызваны именно этой причиной.