Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Это соотношение проявляется и во многих других дисциплинах, в которых предсказания жизненно необходимы. Самые важные 20 % часто обусловлены наличием правильных данных, правильной технологии и правильных стимулов. Вам нужно иметь какую-то информацию – в идеале чем больше, тем лучше, – и вам следует убедиться в том, что она обладает соответствующим уровнем качества.
Вы должны до определенной степени овладеть инструментами, используемыми в вашей профессии. Конечно, хорошо иметь высококлассную технологию, но еще более важно знать, как использовать то, что у вас есть. Нужно заботиться о том, чтобы прогнозы были «правильными» – то есть о выявлении объективной истины, – а не о том, чтобы создавать приятные или удобные для кого-то прогнозы или говорить слова, позволяющие вам пробиться на телевизионные экраны.
Затем вы сможете продвинуться еще на несколько промежуточных шагов, развивая некоторые практические методы (эвристические правила), основанные на опыте, здравом смысле и более-менее систематическом подходе, позволяющем делать прогнозы, а не строить догадки для каждого
Все это совсем непросто, многим подобные вещи не удаются. Однако, с другой стороны, они не слишком сложны, и с их помощью вы можете делать прогнозы, 80 % из которых будут соответствовать уровню прогнозов от самых точных экспертов в мире.
Иногда, однако, самое главное состоит не в том, насколько хороши ваши предсказания в абсолютном смысле, а то, насколько они хороши по сравнению с прогнозами конкурентов.
В покере вы можете принимать правильные решения в 95 % случаев и все равно потерять последнюю рубашку, играя с людьми, которые делают правильные прогнозы в 99 % случаев. Аналогичным образом, для того чтобы обыграть фондовый рынок, вы должны создавать более качественные прогнозы, чем члены команды инвесторов в хороших костюмах с магистерскими степенями, полученными в университетах «Лиги плюща» [134] , с зарплатами, выраженными семизначными цифрами, и имеющие в своем распоряжении самые продвинутые компьютерные системы. В подобных случаях вам придется приложить массу дополнительных усилий для победы над конкурентами.
134
«Лига плюща» – название восьми старейших университетов северо-востока США, туда входят в том числе Гарвардский, Йельский, Принстонский и Колумбийский.
Вскоре вы обнаружите, что отдача от усилий станет меньше. Приобретение новых знаний и опыта, мероприятия по улучшению стратегии и дополнительные переменные, которые вы включаете в свою модель прогнозирования, будут приводить лишь к незначительным улучшениям (рис. 10.4). У вас уже есть набор полезных правил – и теперь вам потребуется понять, в чем состоят исключения из них.
Рис. 10.4. Принцип Парето в области предсказаний в конкурентной среде
Однако в случае, когда в какой-либо области царит высокая конкуренция, именно такие болезненные и не всегда приносящие видимый успех усилия позволяют зарабатывать любые суммы денег. Это своего рода «водораздел», установленный конкуренцией, и ваша прибыль будет напоминать верхушку айсберга – небольшая часть конкурентных преимуществ плавает на поверхности, однако под ней скрывается огромный массив усилий, требующихся для их поддержки.
Я старался уклоняться от работы по подобной схеме. Мне повезло – я смог воспользоваться рядом преимуществ в областях, где уровень водораздела оставался достаточно низким и, чтобы достигнуть успеха, было достаточно лишь правильно применять ряд основных правил. Одна из таких областей – бейсбол в эру, предшествовавшую «Moneyball». Билли Бин смог многого добиться, поняв несколько простых вещей – например, то, что процент успешных достижений баз на поле является более хорошим показателем для оценки наступательных качеств игрока, чем процент удачных попаданий по мячу. В наши дни это понимают почти все. Если бы в области политики у FiveThirtyEight имелся десяток клонов, то мой перевес над остальными игроками был бы в лучшем случае минимальным. Однако часто я, по сути, «конкурирую» с политическими тяжеловесами типа участников McLaughlin Group, которые даже не пытаются создавать точные предсказания. То же самое происходило и в мире покера в середине 2000-х гг. Стабильный приток новых и неопытных игроков, посмотревших телевизионные трансляции и считавших, что после этого они научились играть, позволял сохранять низкий уровень водораздела.
Очень хорошо, если вы обладаете хорошими аналитическими навыками, применяемыми в целом ряде дисциплин: в высококонкурентной среде они вам очень пригодятся. Порой вы можете заработать прибыль, занимаясь удачными предсказаниями в областях, где конкуренция уступает неправильным стимулам, плохим привычкам или слепой приверженности традиции – или благодаря тому, что в вашем распоряжении будут более качественные данные или технологии. Гораздо сложнее переигрывать других там, где все остальные правильно используют основные правила и где вы можете одурачить самого себя, считая, что у вас имеется значительный перевес.
В целом обществу нужно изрядно постараться, чтобы получать более качественные предсказания (хотя эти усилия могут потребовать значительной работы с минимальной немедленной наградой). Как минимум мы должны понимать, что создаваемые нами аппроксимации следуют ряду компромиссов. Однако если вы относитесь к предсказанию как к деловому предложению, то вам будет проще найти какое-нибудь место, где вы можете почувствовать себя большой рыбой в маленьком пруду.
Экономика покерного пузыря
Из принципа Парето следует, что в области предсказаний худшими прогнозистами окажутся те, которым не удается правильно применить даже первые 20 % усилий,
Мы можем проверить эту гипотезу эмпирическим путем, изучая статистические данные по игрокам в покер. Я произвел расчеты, основываясь на данных, взятых с покерного сайта, представлявших собой случайную выборку результатов игроков в безлимитный холдем за период 2008–2009 гг. Эта статистика позволила мне рассчитать, сколько денег выигрывали или проигрывали игроки в расчете на каждую раздачу с учетом ставок {672} .
Поскольку выигрыш и проигрыш в краткосрочной перспективе во многом зависят от удачи, я применил статистическую процедуру {673} , позволявшую рассчитать величину долгосрочной прибыльности игроков. Затем я расставил игроков по уровню навыков и разбил их на десять квадрантов одинакового размера. Верхний квадрант, в который входили лучшие 10 % игроков [135] , соответствовал лучшему игроку за столом из 10 участников {674} . А нижние 10 % представляли собой самую крупную «фиш».
672
Мой анализ был ограничен игроками, игравшими партии с блайндами в 2 долл. и выше; это минимальное увеличение ставок, позволяющее заработать профессиональным игрокам достаточно денег на существование.
673
В частности, я разделил данные, сделав выборки по четным и нечетным месяцам; если игрок по-настоящему умен, он может выигрывать как в те, так и в другие месяцы. Затем я применил регрессионный анализ для предсказания доли выигрышей игрока (измеренной как количество выигранных больших блайндов на сотню раздач) из одной половины выборки для другой; результаты регрессии могут считаться равносильными долгосрочному показателю успешности игрока. Переменные для регрессии представляли собой долю выигрышей игрока, умноженную на величину натурального логарифма количества сыгранных им раздач, а также переменную, показывавшую, сколько раздач он сыграл из розданных. Слишком дисциплинированные или, напротив, слишком расслабленные игроки при прочих равных условиях значительно реже могли повторять успех период за периодом. В сущности, зачастую именно это могло служить лучшим предсказателем необычных значений доли выигрыша игрока по сравнению с долей выигрыша в прошлом, если только игрок не сыграл в довольно большом количестве раздач.
135
Мой анализ игроков предполагал взвешивание данных по количеству сыгранных игроком раздач. В покере большое количество раздач разыгрывается между небольшой долей всех игроков, которые играют каждый день, а не раз в месяц или год. Фактически среда онлайнового покера представляет собой гиперболизированную версию правила 80–20: около 80 % всех раздач в базе данных разыгрывалась между 20 % игроков. Поскольку в базе данных значительно чаще появляются данные об игре этих 20 % самых упорных игроков, а не других случайных представителей выборки, сыгравших по одной раздаче, в результате анализа, проводимого по иной методике, может сложиться нереалистичное представление об экономике покера. – Прим. авт.
674
На столах для онлайнового покера обычно по десять мест; в традиционных казино количество мест ограничено девятью.
На диаграмме (рис. 10.5a) представлены мои расчеты, показывающие, насколько опытными являются на самом деле игроки в каждом квадранте. В качестве критерия опытности используется денежная сумма, выигранная или проигранная в расчете на 100 раздач при игре в безлимитный холдем со ставками 5 и 10 долл. (блайнды). Эти цифры включают в себя деньги, выигранные и проигранные другим игрокам и казино, которое либо берет небольшую долю от каждого банка за каждым столом (так называемый рейк, или комиссия), либо взимает ежечасную оплату за работу дилера {675} .
675
По моим расчетам, в данных онлайнового покера размер комиссионных составлял около 57 долл. на сотню раздач. В традиционных казино размер комиссионных мог бы быть примерно таким же. Например, казино Bellagio обычно взимает с игроков по 6 долл. за каждые полчаса игры. Для того чтобы сыграть сто раздач в безлимитный покер в обычном казино, игроку, как правило, требуется провести за столом около четырех часов (игра идет довольно медленно). Это значит, что ему придется заплатить 48 долл. комиссии. Если добавить сюда чаевые в размере 1 долл., которые обычно платит дилеру игрок, выигравший раздачу, то мы получаем около 57 долл. Я не делал никаких корректировок в области преимуществ (и скрытых издержек), связанных с бесплатными коктейлями в Лас-Вегасе.