Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет

Сильвер Нейт

«Никто даже не представляет себе…»

Принимая во внимание такие результаты работы экономистов в области создания прогнозов, мне очень захотелось найти кого-нибудь из них, кто мог бы признать, насколько сложна его работа и насколько легко любой прогноз может оказаться неверным. И мне удалось найти такого человека – Яна Хациуса, главного экономиста компании Goldman Sachs.

Хациус может, по крайней мере, смело утверждать, что его прогнозы в последние годы были более надежными, чем у его конкурентов. В ноябре 2007 г., пока большинство экономистов все еще думало, что рецессия любого рода маловероятна, Хациус опубликовал провокационное письмо под названием «Долги с рычагом, или Почему дефолт на ипотечном рынке так важен». В письме предупреждалось о возможном развитии такого сценария, при котором миллионы домовладельцев могли оказаться неплатежеспособными. Это могло, в свою очередь, вызвать эффект домино на кредитных и финансовых рынках, привести к триллионным убыткам и очень жесткой рецессии. Примерно такой сценарий и был реализован. Хациус и его команда отозвались критически и о возможности чудесного послекризисного восстановления. В феврале 2009 г., через месяц после принятия закона о пакете стимулирующих финансовых мер и заявлении Белого дома о возможности снизить безработицу до уровня в 7,8 % к концу 2009 г.,

Хациус спрогнозировал рост безработицы до 9,5 % {395} (что оказалось довольно близко к реальному значению – 9,9 %).

395

Wall Street Journal Forecasting panel, February 2009., http://online.wsj.com/article/SB123445757254678091.html.

Хациус, мягкий почти до меланхолии немец, занимающий должность главного экономиста Goldman Sachs с 2005 г. {396} , через восемь лет после начала работы в компании вызывает уважение даже у тех, кто скептически относится к большим банкам.

«[Ян] очень хорош, – рассказывал мне Пол Кругман. – Я надеюсь, что присущее Ллойду Бланкфейну злорадство не отразится на Яне и его людях». Кроме того, Хациус на удивление спокойно относится к своей способности предсказывать направление развития экономики США.

396

Torsten Rieke, «Ganz oben in der Wall Street», Handelsblatt, October 19, 2005. http://www.handelsblatt.com/unternehmen/management/koepfe/ganz-oben-in-der-wall-street/2565624.html.

«Никто даже не представляет себе, – рассказывал он мне на встрече в офисе Goldman со стеклянными стенами, расположенном на Уэст-стрит в Нью-Йорке, – насколько сложно прогнозировать цикл бизнеса. Понимание сути такого комплексного процесса, как экономика, – это невероятно сложный процесс».

С точки зрения Хациуса, у людей, занимающихся экономическими прогнозами, имеются три фундаментальные проблемы. Во-первых, очень сложно выявить причинно-следственные связи на основании анализа одной лишь экономической статистики. Во-вторых, экономика постоянно меняется, поэтому объяснения экономического поведения, подходящие для одного цикла бизнеса, могут быть неприменимы для другого. И, в-третьих, плохи не только сами прогнозы экономистов, но и данные, с которыми им приходится работать.

Корреляция без причинно-следственной зависимости

Ежегодно правительство рассчитывает около 45 тыс. экономических показателей {397} , а в частных источниках отслеживается не менее 4 млн данных {398} . Многие экономисты поддаются искушению закинуть все эти данные в блендер и заявить о том, что возникающая в результате каша представляет собой образец высокой кухни. С момента окончания Второй мировой войны в стране было всего 11 рецессий {399} . Если у вас есть статистическая модель, которая призвана объяснить 11 реальных событий, но должна выбирать для этого исходные данные из 4 млн входных параметров, многие из выявленных вами связей будут ложными (это еще один классический пример оверфиттинга – ошибочного принятия шума за сигнал – проблема в предсказании землетрясений, описанная в главе 5).

397

«Federal Reserve Economic Data», Economic Research, Federal Reserve Bank of St. Louis, http://research.stlouisfed.org/fred2/.

398

Lakshman Achuthan and Anirvan Benerji, Beating the Business Cycle: How to Predict and Profit from Turning Points in the Economy (New York: Random House, 2004). Kindle edition, locations 1476–1477.

399

«U.S. Business Cycle Expansions and Contractions», National Bureau of Economic Research. http://www.nber.org/cycles.html.

Только представьте себе, насколько креативным нужно быть, когда набор экономических переменных, имеющихся в вашем распоряжении, представляет собой перечень толщиной с телефонный справочник. Например, когда-то основным показателем экономического развития считался победитель Суперкубка по американскому футболу. Начиная с Суперкубка I, состоявшегося в 1967 г. и заканчивая Суперкубком XXXI в 1997 г., рост фондового рынка до конца года {400} составлял в среднем 14 %, если кубок выигрывала команда из Национальной футбольной лиги (NFL) {401} . Если же выигрывала команда из Американской футбольной лиги (AFL), то рынок падал почти на 10 %.

400

В частности, измеряемый по состоянию индекса S&P 500.

401

В исходный состав Национальной футбольной лиги входили команды Pittsburgh Steelers, Baltimore Colts (в настоящее время – Indianapolis Colts) и Cleveland Browns (из первого состава которой была сформирована команда Baltimore Ravens). По методологии расчета показателя считалось, что эти команды принадлежат к изначальному составу National Football Conference, хотя они с тех пор вошли в состав Национальной футбольной конференции (American Football Conference), наследницы American Football League. Сам факт использования столь архаичного определения может служить еще одним намеком на неточность показателя.

До 1997 г. этот индикатор достаточно точно «предсказывал» направление развития фондового рынка в 28 из 31 случаев. Однако стандартный тест статистической значимости показывает {402} , что вероятность того, что экономический рост является следствием спортивного результата, составляет лишь 1 к 4 700 000.

Разумеется, это было всего лишь совпадением, и со временем индикатор начал давать сбои. В 1998 г. Суперкубок выиграла команда Denver Broncos из Американской футбольной лиги. Очевидно, что это можно было считать плохим знамением. Однако вместо того,

чтобы упасть, фондовый рынок вырос на 28 % на фоне бума доткомов. В 2008 г. команда New York Giants из NFL обыграла в финале благодаря потрясающему маневру Дэвида Туре команду New England Patriots из AFL. Но даже Туре не смог предотвратить коллапса пузыря на жилищном рынке, заставившего рынок рухнуть на 35 %. Фактически с 1998 г. фондовый рынок вел себя на 10 % лучше, когда Суперкубок выигрывала команда из AFL, то есть показывал результат, строго противоположный тому, что прогнозировал индикатор.

402

Например, объясняя величину роста фондового рынка с помощью простой регрессионной модели, в которой в качестве единственных переменных используются принадлежность победителя Суперкубка к определенной организации и другое постоянное условие.

Каким же образом этот индикатор, невзирая на всю свою статистическую невероятность, мог, как казалось, предсказывать будущее? Это происходило по той же самой причине, по которой, несмотря на крайне небольшие шансы выигрыша в лотерею Powerball (1 шанс из 195 000 000 {403} ), кто-то выигрывает джекпот каждые несколько недель. Шансы любого участника лотереи минимальны, но, поскольку ежемесячно продаются миллионы билетов, кому-то обязательно везет.

Точно так же, учитывая, что в мире оцениваются миллионы статистических показателей, может случиться, что некоторые из них очень хорошо коррелируют с ценами на акции, показателем ВВП или уровнем безработицы. Если не победитель Суперкубка, то, допустим, им может стать показатель поголовья кур в Уганде. Однако эта связь будет не более чем результатом совпадения.

403

«Powerball – Prizes and Odds», Multi-State Lottery Association. http://www.powerball.com/powerball/pb_prizes.asp.

Хотя экономисты не принимают индикатор Суперкубок всерьез, они вполне способны убедить самих себя в том, что другие типы переменных, имеющих хотя бы какой-то экономический смысл, могут считаться «опережающими индикаторами», предсказывающими рецессию или рост экономики за несколько месяцев. Одна фирма, занимающаяся прогнозами, с гордостью заявляла, что использует в своей работе 400 переменных {404} , то есть гораздо больше, чем те два или три десятка, в которых, по словам Хациуса, содержится основной экономический смысл [84] .

404

Achuthan and Benerji, Beating the Business Cycle, Kindle location 1478.

84

Самые значительные переменные разбиваются примерно на дюжину основных категорий: рост (измеряемый ВВП и его компонентами), занятость, инфляция, процентные ставки, уровни зарплат и доходов, доверие потребителей, промышленное производство, объемы продаж и уровни потребительских расходов, цены на активы (такие, как акции и дома), потребительские цены (например, фьючерсы на нефть), а также показатели финансовой политики и государственных расходов. Как вы видите, здесь есть с чем работать, поэтому обращаться к 400 другим показателям вряд ли имеет особый смысл. – Прим. авт.

Другие авторы прогнозов полагают, что предсказательной силой обладают такие довольно туманные показатели, как отношение количества заказов к объему выставленных счетов у компаний – производителей полупроводниковых материалов и изделий {405} . С учетом огромного количества экономических переменных, из которых можно выбирать, при желании всегда найдется нечто, достаточно четко описывающее шум из прошлого.

Значительно сложнее найти что-то, что позволяет выявить сигнал. Переменные, которые служат «опережающими индикаторами» в одном экономическом цикле, часто превращаются в «запаздывающие» в другом. Из семи так называемых опережающих индикаторов, описанных в 2003 г. в статье в журнале Inc. {406} и четко предсказавших рецессии 1990 и 2001 гг., лишь два – цены на жилье и количество нанятых временных сотрудников – позволили с должной степенью точности предсказать рецессию 2007 г. Другие же, такие как объемы коммерческого кредитования, начали снижаться лишь в течение года после начала рецессии.

405

Gene Sperling, «The Insider’s Guide to Economic Forecasting», Inc. Magazine, August 1, 2003. http://www.inc.com/magazine/20030801/forecasting_pagen_3.html.

406

Там же.

Свои проблемы есть и у вполне уважаемого показателя – индекса ведущих экономических показателей, представляющего собой совокупность 10 экономических индикаторов, публикуемых организацией Conference Board. Обычно его значение начинало снижаться за пару месяцев до наступления рецессий. Однако столь же часто индикатор подает ложные сигналы. Самый печальный случай произошел в 2004 г., когда значение индикатора резко снижалось в течение трех месяцев подряд {407} , сигнализируя о рецессии, но экономика продолжала расти на уровне 6 %. Некоторые исследователи даже пришли к выводу, что индекс опережающих индикаторов не имеет предсказательной силы при использовании в режиме реального времени {408} .

407

Douglas M. Woodham, «Are the Leading Indicators Signaling a Recession?» Federal Reserve Bank of New York Review (Autumn 1984). http://www.newyorkfed.org/research/quarterly_review/1984v9/v9n3article8.pdf.

408

Под «реальным временем» я понимаю ситуацию, в которой значения ведущих экономических показателей были доступны прогнозистам до момента корректировок и составления индекса. См.: Francis X. Diebold and Glenn D. Rudebusch, «Forecasting Output with the Composite Leading Index: A Real-Time Analysis», Journal of the American Statistical Association 86, 415 (September 1991), pp. 603–610.