Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Но может ли статистика сказать вам все, что вы хотите узнать об игроке? Десять лет назад эта тема была одной из самых обсуждаемых в мире бейсбола.
Можем ли мы все ужиться?
Довольно поверхностное, но распространенное мнение о книге «Moneyball» состоит в том, что это рассказ о конфликте между двумя конкурирующими группами – «статистиками» и «скаутами». Каждая из них полагалась при оценке результативности игроков на свою собственную парадигму (разумеется, статистики полагались на статистические методы, скауты – на «инструменты»).
В 2003 г., когда книга «Moneyball» была впервые опубликована, читатели Майкла Льюиса вполне могли оценить, насколько враждебными были отношения между двумя группами (нужно сказать, что и сама книга подливала масла в огонь). Когда я в том же году посетил ежегодное «Зимнее собрание» специалистов по бейсболу в гостинице Marriott в Новом Орлеане, мне показалось, что я вновь вернулся в школу. В одном углу можно было увидеть скаутов, которые, подобно буйволам в оазисе,
В другом углу располагались «ботаники» – ребята в возрасте 20–30 лет, вооруженные ноутбуками и цветными распечатками. Они ходили кругами по холлу и пытались уговорить кого-нибудь из профессионалов старой школы взять их на работу. Между двумя лагерями практически не происходило никакого общения, и каждая сторона считала другую слишком высокомерной и косной.
Возможно, подлинный источник конфликта состоял в том, что представители старой школы воспринимали молодежь как угрозу своей работе, способную лишить скаутов значительной доли заработка. «Сейчас существует невероятно сильная конкуренция, – рассказывал Эдди Бейн, директор по скаутингу команды Anaheim Angels на круглом столе в рамках одной конференции, посвященной “Moneyball” {208} . – Некоторые из наших старых коллег теряют работу, которую, по нашему мнению, они должны были сохранить. Возможно, что сокращение штатов вызвано денежными проблемами. Однако мы связываем происходящее с влиянием разных компьютерных штук, и это нас возмущает».
208
Alan Schwarz, «The Great Debate», Baseball America, January. 7, 2005. http://www.baseballamerica.com/today/features/050107debate.html.
До конца неизвестно, как много команд в реальности урезало бюджеты на скаутинг. Одной из них была Toronto Blue Jays, и она заплатила за это высокую цену, перенеся череду неудач в 2002–2005 гг. Однако урезание бюджета было вынужденной мерой, вызванной спецификой работы корпоративного спонсора команды, компании Rogers Communications. Та пыталась противостоять ослаблению канадского доллара, поэтому случившееся отнюдь не было прихотью генерального менеджера компании, ученика Бина по имени Дж. П. Риккарди.
После публикации «Moneyball» прошло десять лет, и пламя прежней борьбы давно потухло. Успех Red Sox, выигравшей в 2004 г. титул чемпиона ежегодного чемпионата США по бейсболу впервые за 68 лет, был основан на подходе, уделявшем внимание как статистике, так и скаутингу. Команды, которые в 2003 г. можно было назвать исключительно «скаутинговыми» (например, команда St. Louis Cardinals), приняли на вооружение более аналитический подход и являются сейчас одними из лидеров в области спортивных инноваций. Команды со «статистическим» уклоном, такие как Oakland A’s, значительно увеличили свои скаутинговые бюджеты {209} .
209
По материалам интервью с Билли Бином.
Экономическая рецессия, продолжавшаяся с 2007 по 2009 г., способствовала дальнейшему развитию аналитических методов. Хотя бейсбол довольно хорошо перенес рецессию, внезапно буквально все прониклись идеями «Moneyball» и начали пытаться оптимизировать свои возможности в условиях ограниченных бюджетов {210} . На рынке не было дефицита в дешевой рабочей силе среди статистиков. Выпускники Гарварда и Йеля, специализировавшиеся на экономике и вычислительной технике, которые незадолго до этого времени планировали работать в инвестиционном банке и получать по 400 тыс. долл. в год, теперь с радостью отправлялись в Тампу или Кливленд и круглосуточно работали за десятую часть от этой суммы. Зарплата «компьютерного ботаника» в 40 тыс. долл. казалась куда лучшей инвестицией, чем 40 млн долл., выплачиваемых свободному агенту [46] , прежние выдающиеся результаты которого постепенно снижались до средних.
210
Nate Silver, «What Tim Geithner Can Learn from Baseball», Esquire, March 11, 2009. http://www.esquire.com/features/data/mlb-player-salaries-0409.
46
Свободный агент – независимый профессионал, специалист, работающий от своего имени.
Однако случившееся не было свидетельством безоговорочной победы статистиков. Если им и удалось доказать свою ценность, то это же удалось и скаутам.
PECOTA против скаутов – победа остается за скаутами
Изначально название PECOTA представляло собой аббревиатуру, расшифровывавшуюся как Эмпирическое
47
Бейсболист, занимающий позицию на внутренней площадке.
48
Хотя в целом за свою карьеру Билл Пекота имел показатель успешных отбитий на уровне 0,249, в играх против Tigers этот показатель достигал значения 0,303. – Прим. авт.
Поначалу программа должна была оценивать результативность питчеров, а не подающих. Предсказать этот параметр невероятно сложно, поэтому после пары лет экспериментов с системой под названием WFG Baseball Prospectus оставил попытки и начал публиковать пустые поля для своих прогнозов по этой группе игроков. Я почуял возможность и показал PECOTA Хакебею. К моему удивлению, система понравилась и ему, и сотрудникам Baseball Prospectus; они предложили мне выкупить PECOTA в обмен на долю в Baseball Prospectus и при условии, что я создам аналогичную систему для бьющих (хитеров) {211} . Я это сделал, и зимой 2003 г. в Baseball Prospectus был опубликован первый ряд прогнозов PECOTA.
211
В результате нашего первичного соглашения, заключенного в 2003 г., и второго соглашения 2009 г. Baseball Prospectus полностью владеет и управляет PECOTA. Начиная с сезона 2010 г., прогнозы PECOTA включают в себя некоторые изменения, улучшения и отступления от моей первоначальной методологии. Описанные в этой книге методы применяются к версии PECOTA 2003–2009 гг.
По окончании сезона 2003 г. мы обнаружили, что PECOTA сработала немного лучше, чем другие коммерческие системы прогнозирования {212} . Фактически ежегодно с 2003 по 2008 г. наша система была не хуже конкурентов. Это демонстрировалось по итогам тестов – как наших, так и сторонних {213} . При этом нам удавалось показывать более четкие результаты, чем те, что использовались букмекерами в Вегасе {214} . Несколько успешных прогнозов помогли существенно укрепить репутацию системы. Например, в 2007 г. PECOTA предсказала, что Chicago White Sox – всего за два года до выигрыша титула в чемпионате – обеспечит себе по итогам сезона лишь 72 победы. Этот прогноз чикагских СМИ и руководство White Sox пытались опротестовать {215} . Однако он оказался правдивым – сезон для White Sox завершился именно так: 72 победы против 90 поражений.
212
Nate Silver, «PECOTA Takes on the Field», Baseball Prospectus, January 16, 2004. http://www.baseballprospectus.com/article.php?articleid=2515.
213
Nate Silver, «Lies, Damned Lies: Projection Reflection», Baseball Prospectus, October 11, 2006. http://www.baseballprospectus.com/article.php?articleid=5609.
214
Nate Silver, «Lies, Damned Lies: Projection Reflection», Baseball Prospectus, October 11, 2006. http://www.baseballprospectus.com/article.php?articleid=5609.
215
Dave Van Dyck, «Computer Crashes White Sox», Chicago Tribune, March 11, 2007. http://articles.chicagotribune.com/2007%E2%80%9303%E2%80%9311/sports/0703110075_1_computer-paul-konerko-projections.
Но уже к 2009 г. другие системы начали догонять, а то и опережать прогнозы PECOTA. Подобно тому как я заимствовал некоторые элементы системы у Джеймса и Хакебея, другие исследователи заимствовали ряд инноваций у PECOTA и добавляли к ним какие-то свои идеи. Некоторые из этих систем оказались очень хорошими. Если вы попытаетесь проранжировать лучшие прогнозы года по тому, насколько хорошо они предсказывали результаты игроков основной лиги, то разница между результатами лучших систем не будет превышать долей процента {216} .
216
Steve Slowinski, «The Projection Rundown: The Basics on Marcels, ZIPS, CAIRO, Oliver, and the Rest», FanGraphs.com, February 16, 2011. http://www.fangraphs.com/library/index.php/the-projection-rundown-the-basics-on-marcels-zips-cairo-oliver-and-the-rest/.