Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
2. Он должен оказаться лучше, чем тот, что следует из климатологии, то есть лучше прогноза, сделанного на основе анализа долгосрочных исторических средних климатических условий на конкретную дату в конкретном месте.
Эти методы были доступны нашим предкам задолго до того, как на сцене появились Ричардсон, Лоренц и суперкомпьютер Bluefire; если мы не можем улучшить их результаты, то все дорогостоящие вычислительные мощности просто не выполняют свою работу.
У нас есть масса данных о том, какой была погода в прошлом, начиная еще со времен Второй мировой войны. Например, я могу зайти на сайт Wunderground.com и узнать, что в 13 января 1978 г. в 7 часов утра в Лэнсинге, штат Мичиган, – в день и час моего рождения – температура была равна –8 °С, шел небольшой снег и дул северо-восточный ветер {275} . Однако сравнительно немного людей занималось сбором данных о прогнозах погоды из прошлого. Ожидался ли в то утро в Лэнсинге снег? Это был один из тех немногих элементов информации,
275
«History for Lansing, MI: Friday January 13, 1978», Wunderground.com. http://www.wunderground.com/history/airport/KLAN/1978/1/13/DailyHistory.html?req_city=Lansing&req_state=MI&req_statename=Michigan.
В 2002 г. предприниматель по имени Эрик Флер, выпускник факультета вычислительной техники Университета штата Огайо, работавший на MCI, перевернул все с ног на голову. Он попросту стал собирать данные о прогнозах, выпущенных NWS, Weather Channel и AccuWeather, чтобы понять, какая модель прогноза более точна – правительственная или частная. Сначала он занялся этим исключительно для самообразования – он проводил своего рода широкомасштабный научный проект, – однако это увлечение довольно быстро превратилось в прибыльный бизнес с названием ForecastWatch.com, в рамках которого данные переупаковываются в модернизированные по заказам пользователей отчеты для клиентов, начиная от трейдеров на энергетическом рынке (для которых изменение температуры на долю градуса приравнивается к десяткам тысяч долларов) и заканчивая учеными.
Флер обнаружил, что явного победителя выявить не удается. Его данные показывали, что AccuWeather чуть лучше других удаются прогнозы по осадкам, Weather Channel – прогнозы по температуре, а прогнозы правительства достаточно точны во всем остальном. То есть в целом все прогнозы были достаточно хороши.
Но чем больше оказывался период прогнозирования, тем менее точными становились прогнозы (рис. 4.6). Допустим, прогнозы, создаваемые за восемь дней, достаточно хороши с точки зрения постоянства, однако не намного лучше климатологических.
А если интервал прогнозирования составляет девять и более дней, все профессиональные прогнозы оказывались стабильно хуже климатологических данных.
Лофт рассказывал мне, что в тех случаях, когда период прогнозирования даже немного превышает неделю, теория хаоса начинает брать верх над всем остальным, и динамическая память атмосферы полностью стирается. Хотя приведенная ниже аналогия вряд ли может считаться совершенно точной, она помогает нам подумать об атмосфере как о трассе для гонок NASCAR, в которой различные погодные системы представлены отдельными автомобилями. После первой пары десятков кругов по трассе и при условии знания стартового порядка машин мы можем сделать довольно неплохое предсказание порядка, в котором они будут проезжать мимо нас. Наши предсказания не будут идеальными: на них повлияют и неожиданные поломки, и пит-стопы, и заглохшие моторы, – но наш прогноз будет значительно лучше случайно выбранной последовательности.
Рис. 4.6. Сравнение прогнозов максимальной температуры {276}
Вскоре, однако, более быстрые автомобили начнут опережать более медленные, и через какое-то время ситуация станет непредсказуемой. Может получиться и так, что машина, занимающая второе место, будет ехать рядом с машиной, которая занимает 16-е место (обгоняя ее почти на круг), и с машиной, находящейся на 28-м месте (которую она один раз уже обогнала и которую собирается обогнать еще раз). Все то, что мы знали о начальных условиях гонки, теперь не имеет для нас никакой ценности. Аналогично, если в атмосфере достаточно долго циркулировали воздушные потоки, погодные параметры настолько слабо будут напоминать о своих начальных значениях, что исходные модели теряют любой смысл.
276
Данные любезно предоставлены Эриком Флером из ForecastWatch.com.
Тем не менее открытие Флера поднимает пару тревожных вопросов. Одно дело, если в долгосрочных прогнозах (после семи или восьми дней) компьютерные модели демонстрируют, в сущности, нулевые результаты. На самом же деле они показывают негативный результат. Он оказывается хуже, чем мы с вами могли бы получить, сидя дома и изучая таблицы долгосрочных погодных явлений. Как такое может быть? Возможно, это связано с тем, что в компьютерные программы заложена слишком высокая чувствительность к естественно возникающей обратной связи в погодной системе. Они начинают сами создавать обратную связь. И теперь дело не ограничивается тем, что сигнал подавляется шумом, дело в том, что сам шум начинает многократно усиливаться.
Стоит задаться еще более масштабным вопросом: почему, если эти долгосрочные прогнозы так плохи, их продолжают публиковать Weather Channel (10-дневные прогнозы) и AccuWeather (сайт, поднимающий планку до 15-дневного прогноза)?
Доктор Роуз считает, что серьезного вреда в этом нет; даже прогноз, основанный исключительно на климатологии, может тем не менее представлять некий интерес для потребителей.
Когда дело заходит о коммерческом прогнозировании
Например, коммерческие синоптики редко предсказывают, что вероятность дождя составляет именно 50 %. С точки зрения потребителей, это может свидетельствовать об определенной нерешительности и желании избежать конкретики {277} . Вместо этого они бросают монетку и округляют цифру до 60 или 40 %, хотя это делает прогнозы менее точными и менее честными {278} .
Флер также обнаружил еще один вопиющий пример фальсификации цифр, описывающий, пожалуй, один из самых главных секретов в прогнозной отрасли. Большинство коммерческих прогнозов погоды искажено, и, возможно, сознательно. В частности, прогнозы чаще говорят об осадках, чем они выпадают на самом деле {279} . Метеорологи называют это «сдвигом в сторону осадков»». Чем дальше вы отклоняетесь от исходных данных, предоставленных правительством, и чем больше потребителей изучают ваши прогнозы, тем сильнее становятся искажения. Прогнозы «добавляют ценность», уменьшая при этом правильность.
277
В сущности, прогнозирование дождя с вероятностью 50 % можно считать достаточно смелым прогнозом, поскольку в среднем в США дождь идет примерно 20 % дней в году.
278
В какой-то момент в преддверии президентских выборов 2012 г. я сообщил группе руководителей о том, что получил приглашение выступить на тему наиболее популярного на тот момент варианта исхода противостояния между Бараком Обамой и Митом Ромни (шансы на победу каждого составляли чуть меньше 50 %). Они потребовали, чтобы я перестал ходить вокруг да около и дал им ответ, который сам считаю истинным.
279
Выявленное Флером искажение в отношении прогноза осадков в реальности возникает значительно реже. Это не обязательно означает, что синоптики предсказывают слишком небольшое количество осадков в зависимости от частоты возникновения дождей. На самом деле Флер также обнаружил, что синоптики склонны недооценивать величину осадков даже в случае самых суровых зимних метелей типа «Сноупокалиписа» в Нью-Йорке в 2012 г.
Как понять, что ваш прогноз неверен
Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный {280} , – носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.
280
Хотя калибровка представляет собой очень важный способ оценки прогноза, она не сможет сказать вам всего. Например, в долгосрочной перспективе в любом случайно выбранном регионе США дождь идет в среднем 20 % дней. Поэтому вы можете создать хорошо откалиброванный прогноз, просто взяв за данность, что вероятность выпадения осадков – 20 %. Однако для создания подобного прогноза не нужны никакие навыки – вы просто следуете законам климатологии. Обратным свойством калибровки выступает «дискриминация» или «разрешение», то есть показатель изменчивости прогнозов от одного случая к другому. Синоптик, часто предсказывающий нулевую или 100 %-ную вероятность дождя, покажет более высокие результаты с точки зрения дискриминации, чем человек, пытающийся нащупать какое-то значение посередине. Хорошая оценка прогнозов учитывает и первое, и второе – как индивидуально, так и в составе статистических показателей типа показателя Бриера, пытающегося учесть оба этих свойства одновременно. Причина, по которой я считаю калибровку лучшим методом прогноза, достаточно прагматична – большинство экспертов в области прогнозирования не имеет никаких проблем с использованием дискриминации. Более того, они даже ей злоупотребляют – иными словами, их прогнозы слишком самонадеянны.
Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов [70] .
70
Выявить плохо откалиброванный прогноз можно значительно быстрее. Если бы вы сказали, что некое событие имеет 100 %-ный шанс сбыться, однако этого не происходит (или, наоборот, мы наблюдаем то событие, вероятность которого, по вашему мнению, лишь 0 %), нам не нужно никаких дополнительных данных, чтобы понять, что прогноз оказался неверным. – Прим. авт.