Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Подобные случаи происходят довольно часто, и если вы уделите изучению данных достаточно времени, то сможете найти их и сами. Пожалуй, именно бейсбол предлагает самый объемный массив данных в мире – практически все, происходившее на игровых полях основной лиги в течение последних 140 лет, скрупулезно и точно записывалось, а в крупных лигах играют сотни спортсменов. При этом, хотя бейсбол и считается командной игрой, матч строится в соответствии с четкой процедурой: питчеры по очереди сменяют друг друга, подающие «выходят к бите» один за другим. Поэтому игроки в значительной степени сами несут ответственность за свою личную статистику [42] . В игре возникает сравнительно немного проблем, связанных с чем-то комплексным и нелинейным. В ней просто выявить причинно-следственные связи.
42
Это совсем не похоже на футбол,
Это значительно упрощает жизнь человеку, занимающемуся прогнозами в мире бейсбола. Гипотезы обычно можно проверить эмпирическим путем, что позволяет подтвердить или опровергнуть их с высокой степенью статистической достоверности. Что же касается прогнозирования в таких областях, как экономика или политика, где данные появляются значительно реже, – президентские выборы происходят один раз в четыре года, и нет возможности получать сотни новых данных ежегодно – вы не можете похвастаться столь же высокой степенью точности, и ваши прогнозы могут оказаться неверными значительно чаще.
Берегитесь – кривая старения!
Однако все, о чем шла речь выше, основывалось на предположении, что способности игрока не меняются год от года – и если бы мы только могли отделить сигнал от шума, то узнали бы все, что нам нужно. Но в реальной жизни навыки бейсболиста постоянно изменяются, и в этом кроется немалая проблема.
Изучив статистику по нескольким тысячам игроков, Джеймс обнаружил, что игра типичного из них {198} год от года совершенствуется до тех пор, пока его возраст не приблизится к отметке примерно в 30 лет, а начиная примерно с этого возраста навыки обычно начинают атрофироваться, что особенно заметно проявляется примерно к 35 годам {199} . И этот факт позволил Джеймсу сделать одно из самых значительных своих открытий – выявить кривую старения.
198
Или, точнее говоря, типичный подающий. У питчеров имеются совершенно другие, но не менее регулярные закономерности развития.
199
В частности, после достижения подающими возраста 32 лет их навыки начинают заметно и все быстрее становиться хуже.
Гимнастки-олимпийки достигают пика своей карьеры в подростковом возрасте, поэты – после 30 лет; шахматисты – после 30 {200} ; экономисты – после 40 {201} , а средний возраст CEO компаний из списка Fortune 500 равен 55 годам {202} . Игрок в бейсбол, как обнаружил Джеймс, достигает своего спортивного пика в возрасте 27 лет. У 60 % игроков из списка, включающего 50 самых известных бейсболистов, отмеченных наградами в период между 1985 и 2009 гг., возраст колебался в интервале между 25 и 29 годами, а возраст 20 % из них составлял ровно 27 лет. Именно в этом возрасте, судя по всему, возникает идеальное соотношение между физической и умственной формой, необходимой для игры (рис. 3.1).
200
Jeff Sonas, «The Greatest Chess Player of All Time», Part II, Chessbase.com, April 28, 2004. http://www.chessbase.com/newsdetail.asp?newsid=2354.
201
Bruce Weinberg and David Galenson, «Creative Careers: The Life Cycles of Nobin Economics», NBER Working Paper No. 11799, National Bureau of Economiс Research, November 2005. http://www.econ.brown.edu/econ/sthesis/IanPapers/tcl.html.
202
Del Jones, «Does Age Matter When You’re CEO?» USA Today, September 11, 2008. http://www.usatoday.com/money/companies/management/2008%E2%80%9308%E2%80%9312-obama-mccain-age-ceos_N.htm.
Рис. 3.1. Кривая старения для подающего
Осознание этого факта – существование кривой старения – могло бы стать невероятно ценным для любой команды, ознакомившейся с работой Джеймса. В соответствии с принятыми правилами бейсболист не может стать профессиональным игроком, не связанным контрактом, до достаточно поздних этапов своей карьеры.
Поскольку типичный новичок оказывается в крупных лигах в возрасте 23 или 24 лет, он не может стать свободным игроком до 30-летнего возраста – то есть до того периода, когда пик его результативности уже минует. Команды платили многим профессиональным игрокам большие суммы в расчете на то, что они смогут оставаться столь же производительными, что и в возрасте до 30 лет; в реальности же их результаты обычно ухудшались, а поскольку контракты в главной бейсбольной лиге имеют определенные гарантии, у команды были связаны руки.
Однако кривая старения Джеймса рисовала слишком гладкую картину. Разумеется, средний игрок достигает пика в возрасте 27 лет. Но, как скажет вам любой человек, внимательно изучавший в детстве обратные стороны бейсбольных карточек, игроки стареют с разной скоростью. Боб Хорнер, третий бейсмен команды Atlanta Braves в 1980-е гг., получил награду «Новичок года» в возрасте 20 лет и вошел в команду «Всех звезд», когда ему было 24 года; в то время многие считали, что он точно попадет в Зал бейсбольной славы. Однако к 30 годам, вследствие череды травм и неудачного перехода в команду Yakult Swallows японской лиги, он полностью покинул мир профессионального бейсбола. С другой стороны, великий Эдгар Мартинез из Seattle Mariners не имел постоянного контракта в крупных лигах до 27 лет. Однако ему все равно удалось пережить период расцвета своей спортивной карьеры, хотя и достаточно поздно – после 30 лет: и даже в 40 лет он возглавлял список лиги по количеству RBI [43] .
43
RBI (Run batted in) – статистический показатель в бейсболе, показывающий число ранов после отбивания бьющим. Ран – очко, заработанное игроком нападения.
Хотя случаи с Хорнером и Мартинезом и могут считаться исключением из правила, крайне редко уровень игры других бейсболистов изменяется в точном соответствии с гладкой траекторией кривой старения; скорее, нормой для них оказывается периодически нарушаемое равновесие взлетов и падений.
Реальные кривые старения наполнены шумом – причем значительным (рис. 3.2). В среднем они могут выглядеть довольно гладкими. Однако среднее подобно семье, имеющей 1,7 ребенка, – это всего лишь статистическая абстракция. Возможно, полагал Гэри Хакебей, в шуме есть сигнал, который не учитывала кривая Джеймса. Возможно, у игроков на сложных с точки зрения физических сил позициях навыки пропадают быстрее, чем у других. А возможно, карьера игроков, обладающих более атлетическим сложением, продолжительнее, чем у игроков, имеющих лишь один-два сильно развитых навыка.
Рис. 3.2. Вид кривых старения, на которых отражаются шумы, для различных подающих
На основе системы Хакебея была выдвинута гипотеза, согласно которой имеется 26 различных видов кривых старения, причем каждый из них применим к разным типам игроков {203} . Если Хакебей был прав, то появлялась возможность оценить, какая кривая в большей степени подходит для каждого игрока, и тем самым предсказать, как будет развиваться его карьера. Если кривая старения игрока была похожа на соответствующую кривую Боба Хорнера, то можно было бы ожидать, что пик его карьеры придется на более ранний возраст, а затем наступит раннее угасание. Если же его кривая больше напоминала кривую Мартинеза, то лучшие сезоны этого бейсболиста наступят в более зрелом возрасте.
203
Gary Huckabay, «6–4–3», Baseball Prospectus, August 2, 2002. http://www.baseballprospectus.com/article.php?articleid=1581.
Хотя системе Vladimir Хакебея и удалось сделать ряд правильных прогнозов, в целом она все же была ненамного более точной, чем медленные и устойчивые прогнозы Джеймса {204} , согласно которым одна и та же кривая старения применялась к каждому игроку. Отчасти проблема заключалась в том, что число 26 для количества категорий Хакебея было выбрано случайным образом, а для того, чтобы определить, к какой группе относится игрок, требовалось скорее искусство, а не наука.
204
Arlo Lyle, «Baseball Prediction Using Ensemble Learning», диссертация, защищенная в 2007 г. в Джорджийском университете, http://www.ai.uga.edu/Theses/lyle_arlo.pdf.