Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Как мы заметили в главе 2, чтобы составить хороший прогноз, нам не стоит ограничиваться одной лишь количественной информацией. Скорее, мы должны уметь хорошо и правильно взвешивать информацию. В этом и состоит суть философии Бина – собрать максимально возможный объем информации, а затем очень тщательно и дисциплинированно проанализировать ее.
Лакмусовой бумажкой, позволяющей понять, насколько вы компетентны как прогнозист, является изменение качества ваших прогнозов: становятся ли ваши предсказания лучше при увеличении объема информации? Если же они становятся хуже, то можно сказать, что у вас имеются некоторые плохие привычки (как у политологов, прогнозы которых изучал Фил Тэтлок). Если Кандидат А имеет результат 0,300 с 20 хоумранами и раздает в свободные дни еду бездомным, а Кандидат B имеет результат 0,300 с 20 хоумранами, но при этом тусуется в свободное время в ночных клубах и употребляет кокаин, вы не сможете дать количественную
Как показывает практика, преобразовать качественную информацию в количественную вполне реально [60] . Фактически скауты оценивают игроков по четкой цифровой шкале, варьирующейся от 20 до 80 в каждой категории. Нет никаких препятствий к тому, чтобы включить ее в статистическую модель вместе со средним количеством удачных попаданий битой по мячу {232} и посмотреть, повышает ли это качество прогноза. Некоторые команды, например Cardinals, уже это делают.
60
Например, в модели, используемой для прогнозирования исхода выборов в Конгресс США, я совмещаю количественную информацию типа итогов опросов с качественными рейтингами экспертов, допустим, из Cook Political Report. Если, по мнению Кука, у определенной компании нет явного фаворита, я присваиваю ей код 0. Если та или иная компания попадает в категорию «Предпочтение демократов», я присваиваю ей код +1 и т. д. Подобное совмещение информации позволяет создать более качественный прогноз, чем любой из обоих типов информации, взятый поодиночке. – Прим. авт.
232
Нет никаких препятствий к тому, чтобы скауты оценивали умственные качества игрока наряду с физическими.
На самом деле грань между статистикой и скаутингом, а также качественной и количественной информацией в бейсболе стала довольно расплывчатой. Взять, например, внедрение Pitch f/x – системы трехмерных камер, которые сейчас уже установлены на каждом стадионе высшей лиги. Эти камеры способны измерять не только скорость полета мяча (это можно было сделать и раньше при помощью лазерных устройств), но и степень его колебаний в горизонтальной и вертикальной плоскостях, когда он подлетает к конечной цели. Например, мы можем, воспользовавшись статистикой, сказать, что Зак Грейнке, питчер из Milwaukee Brewers, ставший в 2009 г. лучшим молодым питчером в своей лиге, имеет лучшую скользящую подачу (слайдер) в бейсболе {233} или что Мариано Ривера действительно отбивает самые закрученные и быстро летящие мячи так хорошо, как говорят легенды {234} . Традиционно все эти вопросы считались вотчиной скаутинга; теперь же они представляют собой еще одну переменную, которую можно добавить в систему прогнозирования.
233
Jeremy Greenhouse, «Touching Bases: Best PITCHf/x Pitches of 2009», Baseball Analysts; March 4, 2010. http://baseballanalysts.com/archives/2010/03/top_pitchfx_pit.php.
234
Jeremy Greenhouse, «Touching Bases: Best PITCHf/x Pitches of 2009», Baseball Analysts; March 4, 2010. http://baseballanalysts.com/archives/2010/03/top_pitchfx_pit.php.
Мы совсем недалеки от того времени, когда в нашем распоряжении будет иметься трехмерная запись всего, что происходит на бейсбольном поле. Вскоре мы сможем в точности измерить, насколько высоко готов подпрыгнуть Джейкоби Эллсбери, чтобы поймать летящий над его головой мяч. Мы будем знать, насколько быстро Ичиро Сузуки бежит от одной базы к другой, или с какой скоростью Ядир Модина успевает перебросить мяч на вторую базу.
Эта новая технология неспособна будет убить скаутинг, как это не удалось и «Moneyball». Скорее, мы станем уделять больше внимания вещам, которым еще сложнее дать количественную оценку и в которых такая информация, как, допустим, ментальные способности игрока, оказывается еще более эксклюзивной. Но толковые скауты, к числу которых относится и Сандерс, уже находятся впереди.
Почему предрекали, что Педройю постигнет неудача…
Но почему же скауты так сильно ошибались, когда высказывали предположения о том, как будет развиваться спортивная карьера Дастина
Мнения скаутов, основанные на базовой информации о нем, совпадали. Все знали, что Педройя был в среднем неплохим подающим, что он довольно толково ведет себя на поле и что его ментальные способности довольно «нестандартны». Все знали, что он обладает длинным свингом; что его защита стабильна, но в ней нет ничего выдающегося; что бегает он со скоростью не выше средней; что он – коротышка, обладающий не самым лучшим телосложением.
Однако это был довольно специфический набор качеств для молодого игрока, и многие скауты не знали, что с ним можно сделать. «При оценке игрока скауты примерно представляют, что хотят увидеть, – рассказал мне Сандерс. – Прототипы и стандарты. А Дастин во многом им противоречил, начиная с роста и фигуры».
Когда мы не можем вставить квадратный колышек в круглое отверстие, то часто виним колышек, хотя порой неспособность решить задачу связана с чрезмерной негибкостью нашего мышления. Прежде всего, мы инстинктивно пытаемся отнести информацию к той или иной категории. И обычно у нас имеется сравнительно небольшое количество категорий, поскольку тогда их проще отслеживать (достаточно вспомнить о том, как бюро переписи США делит людей из сотен этнических групп на шесть расовых категорий или о том, как критики относят тысячи музыкантов к представителям нескольких музыкальных жанров).
Чаще всего это может сработать. Однако когда у нас возникает проблема с категоризацией какого-то объекта, то мы часто не обращаем на него внимания или неправильно его оцениваем. Именно по этой причине Бин предпочитает избегать решений, основанных на том, что он «чувствует нутром». Слишком сильно полагаясь на первые впечатления, он рискует упустить из виду потенциально ценных молодых игроков – а с учетом бюджета команды он просто не может себе этого позволить.
Система, подобная PECOTA, позволяющая осуществлять поиск среди тысяч игроков и находить среди них людей с одинаковыми профилями, имеет более строгий способ категоризации игроков. Этот способ позволяет оценивать навыки людей, подобных Педройе, в более правильном контексте.
Поиск с помощью PECOTA позволил найти несколько интересных прецедентов. Оказалось, к примеру, что приземистость Педройи может быть предпочтительной характеристикой, с учетом других его навыков.
В бейсболе принято считать зоной страйка расстояние от плеч игрока до его коленей. Чем ниже спортсмен, тем меньше размер цели у питчера. Игрок типа Педройи, умеющий хорошо работать битой, может извлечь из подобной ситуации немало пользы.
Кроме этого, невысокий рост и близость к полю могут стать отличной характеристикой для защиты игрока второй зоны. Эта позиция на поле требует особой ловкости и кошачьих рефлексов, помогающих поймать мячи, только что изо всех сил отправленные в полет ударом биты. Из истории бейсбола мы знаем, что многие лучшие игроки второй зоны были невысокими. Из 17 участников Зала славы лишь двое – Нэп Ладжойе и Ранн Сандберг – имели рост выше 180 см {235} . Рост Джо Моргана (возможно, величайшего игрока второй базы всех времен) составлял чуть больше 170 см.
235
«Baseball Hall of Fame Second Basemen», Baseball Almanac. http://www.baseball-almanac.com/hof/hofst2b.shtml.
Скауты отлично делают свою работу, однако в этом случае они слишком быстро и со слишком высокой степенью предубеждения отнесли игрока к определенной категории. Маленький рост Педройи был в каком-то смысле его сильной чертой.
Тем не менее никто не может ничего гарантировать. Из прогноза PECOTA не следовало, что успех Педройи – очевидный факт, речь шла о том, что у него есть определенные шансы. Скауты считали, что шансов, скорее, у него недостаточно. Отличие, однако, состояло в том, что команда Red Sox верила в Дастина Педройю. И, к счастью для команды, в себя верил и сам Педройя.
…и как он выиграл вопреки всем прогнозам
Я познакомился с Биллом Джеймсом на встрече консультантов на фестивале, организованном журналом New Yorker, в октябре 2009 г. После официальной части началась угарная вечеринка, и этот человек сильно выделялся из толпы модников. Он был облачен в невероятно яркий свитер и сабо, которые казались на пару размеров больше, чем нужно. Пока все остальные участники вечеринки пытались добиться внимания Сьюзен Сарандон, мы устроились в баре и некоторое время поболтали {236} .
236
Отчасти приведенная выше информация основана на телефонном разговоре с Джеймсом, организованном через некоторое время по моей инициативе.