Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Название оверфиттинг (оverfitting) связано с тем, что статистические модели «подстраиваются, подгоняются» (fit) под прошлые наблюдения. Степень подгонки может быть слишком общей. И такое явление называется «андерфиттингом» (underfitting). При андерфиттинге вы захватываете меньшую часть сигнала по сравнению с максимально возможной. Либо же модель может обладать свойством оверфиттинга, иными словами, ваши данные содержат слишком много шума, что не позволяет четко выявить структуру, лежащую в их основе. На практике второй тип ошибки встречается намного чаще.
Чтобы понять, как это работает, давайте использовать допущение, которого в реальной жизни не бывает почти никогда. Мы будем точно знать, как должны выглядеть реальные данные. На графике на рис. 5.4 изображена гладкая параболическая кривая с максимумом посередине. Такой кривой можно описывать любые интересные для нас данные из реального мира. Например, как мы уже видели в главе 3, именно такая кривая довольно четко описывает изменение результативности бейсболистов с увеличением
Рис. 5.4. Истинное распределение данных
Однако мы не можем наблюдать эту зависимость напрямую. Вместо этого мы имеем набор отдельных точек, характеризующих данные, на базе которых мы должны найти закономерность. Кроме этого, на эти точки данных влияет масса своеобразных обстоятельств – иными словами, у нас имеются и сигнал, и некоторый шум.
На график я нанес 100 точек данных, представленных в виде кругов и треугольников. Этого должно быть достаточно для выявления сигнала даже с учетом шума. Хотя в данных и присутствует некая доля случайности, вполне понятно, что они в целом следуют нашей кривой.
Но что произойдет, если объем данных, имеющийся в нашем распоряжении, окажется более ограниченным (как обычно и происходит в реальной жизни)? Очевидно, что это приведет к увеличению ошибки. На графике, приведенном на рис. 5.5a, показаны примерно 25 точек из сотни. Каким образом вы могли бы теперь соединить эти точки?
Рис. 5.5а. Ограниченная выборка данных
Рис. 5.5б. Хорошо подобранная модель
Разумеется, зная, как должна выглядеть подлинная тенденция, вы будете склонны соединять точки в виде некоторой кривой. На практике моделирование таких данных с помощью простого математического инструмента, известного как квадратное уравнение, действительно помогает выявить связь, очень похожую на истинную (рис. 5.5б).
В ситуациях, когда мы не знаем, какими должны быть наши данные, но хотим, чтобы они соответствовали «платоническому идеалу», мы часто склонны проявлять жадность. На рис. 5.5в отражен результат такого поведения – модель с оверфиттингом. При создании этого графика была разработана комплексная функция {354} , которая отыскивает каждую из отдаленных точек данных. При попытке «увязать» их между собой значение функции колеблется (довольно невероятным образом) вверх и вниз. И в результате мы еще больше удаляемся от понимания истинной связи, и прогнозы, которые мы делаем, становятся еще менее качественными.
354
Точнее, линия соответствия на рис. 5.5в создается с помощью техники, известной как Lowess regression. Эта техника отлично подходит для множества вещей и не всегда ведет к оверфиттингу. Тем не менее она требует, чтобы был задан параметр сглаживания, на основе которого можно варьировать форму от жесткого до довольно примерного соответствия. Очевидно, что в данном случае я выбрал крайне жесткое соответствие.
Казалось бы, что избежать подобной ошибки легко, но только в том случае, если бы мы были всемогущи и всегда представляли себе структуру данных. Однако почти всегда в реальных условиях нам приходится действовать по индукции [79] , находя структуру на основе имеющихся данных. Скорее всего, в вашей модели будет проявляться оверфиттинг, когда объем данных ограничен, сами данные засорены шумом, а ваше понимание фундаментальных связей достаточно слабо. И эти обстоятельства принимаются во внимание при прогнозировании землетрясений.
79
Математическая индукция – один из методов математического доказательства. Индукцией называют переход от частных утверждений к общим.
Когда мы не знаем об истинной связи или не хотим об этом знать, у нас появляется множество причин, по которым мы будем склоняться к оверфиттингу. Одна из них состоит в том, что модель с оверфиттингом будет лучше соответствовать результатам большинства статистических тестов, используемых прогнозистами. Например, довольно часто встречается тест, который оценивает разброс данных в модели. Судя по его результатам, модель с оверфиттингом (см. рис. 5.5в) позволяет объяснить 85 % дисперсии. И благодаря этому она выглядит «лучше», чем модель с хорошей степенью подгонки (см. рис. 5.5б), объясняющая лишь 56 %. Однако, по сути, модель с оверфиттингом обеспечивает такие высокие результаты за счет своеобразного обмана – она скорее принимает во внимание шум, а не сигнал. То есть
355
Например, если вы примените кривую с оверфиттингом для данных за пределами выборки, обозначенных кругами на рис. 5.4, то сможете объяснить всего лишь около 40 % расхождений. Это существенное отклонение между данными в пределах выборки и за ее пределами представляет собой одну из основных характеристик модели с оверфиттингом.
Рис. 5.5 в. Модель с оверфиттингом
Несмотря на всю очевидность приведенного выше объяснения, многие прогнозисты полностью игнорируют эту проблему. Значительное количество статистических методов, имеющихся в распоряжении исследователей, позволяет им вести себя подобно ребенку, пытающемуся увидеть в формах облаков изображения зверей (это занятие, безусловно, очень интересное, но совершенно ненаучное) [80] . Математик Джон фон Нейман говорил об этой проблеме так: «Кривую с четырьмя параметрами я могу подогнать под слона, а с пятью – я заставлю слона махать хоботом» {356} .
80
Если вы введете в компьютер случайную последовательность единиц и нулей, обозначающих орлы и решки при бросании монетки, а затем проведете тестирование статистических параметров для выявления закономерностей и построения модели, то в какой-то момент вам может показаться, что вы способны предсказать 60–70 % или даже 100 % результатов бросков (при включении достаточного количества переменных). Разумеется, это ошибка. В долгосрочной перспективе модель позволит предсказывать ровно 50 % бросков монеты, не больше и не меньше. – Прим. авт.
356
Freeman Dyson, «Turning Points: A Meeting with Enrico Fermi», Nature 427 (January 22, 2004). http://www.nature.com/nature/journal/v427/n6972/full/427297a.html.
Оверфиттинг представляет собой двойную проблему: он помогает нашей модели лучше выглядеть на бумаге, однако в действительности показывать худшие результаты. И из-за второй проблемы модель с оверфиттингом, применяемая для создания реальных прогнозов, в какой-то момент сильно нас подведет. А первая проблема будет создавать для нашей модели слишком впечатляющий образ (опять же до поры). Она будет считаться очень точной и заслуживающей доверия, подлинным шагом вперед по сравнению с прежними техниками. Это даст возможность опубликовать ее в научных изданиях, вытеснив с рынка другие модели, показывающие более честную картину. Но если модель включает в себя шум, у нее есть немалый потенциал для того, чтобы повредить научным результатам.
Как вы, возможно, уже догадались, модель прогнозирования землетрясений Кейлиса-Борока обладала огромным оверфиттингом. В ней использовался невероятно сложный набор уравнений, примененных к данным с большой долей шумов. За это пришлось заплатить свою цену – из 23 прогнозов, сделанных на ее основе, лишь три оказались верными. Дэвид Боумэн признал, что в созданной им модели имелись аналогичные проблемы, и вовремя перестал над ней работать.
Должен сразу сказать, что эти ошибки, как правило, представляют собой вполне искренние заблуждения. Если воспользоваться названием другой книги, то они отражают нашу склонность быть одураченными случайностью [81] . Особенности нашей модели могут казаться нам вполне объяснимыми и допустимыми. Мы даже можем, в полной мере этого не осознавая, работать в обратном направлении и создавать убедительно звучащие теории, позволяющие рационализировать нашу точку зрения и тем самым дурачить и самих себя, и своих друзей с коллегами. Майкл Бабяк, много писавший об этой проблеме {357} , характеризует дилемму следующим образом: «В научной работе мы стараемся выстроить баланс между любопытством и скепсисом».
81
Имеется в виду книга Н. Н. Талеба «Одураченные случайностью» (Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets) о том, как случайные события многие ошибочно считают или преподносят как закономерность или умение. Эту книгу журнал Fortune назвал одной из 75 самых умных книг всех времен.
357
Michael A. Babyak, «What You See May Not Be What You Get: A Brief, Nontechnical Introduction to Overfitting in Regression-Type Models», Psychosomatic Medicine 66 (February 19, 2004). http://www.ncbi.nlm.nih.gov/pubmed/15184705.