Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет - Нейт Сильвер

Усилия Национальной службы погоды часто недооценивают. Она сталкивается с жесткой конкуренцией со стороны частных компаний{271}, работающих в совершенно иных условиях. В отличие от всех других игроков, Служба погоды должна предоставлять свои данные моделирования бесплатно всем желающим (большинство других стран с хорошими погодными бюро продают лицензии или взимают плату за использование своих данных). Частные компании типа AccuWeather и Weather Channel могут затем использовать их как основу для развития собственных продуктов и их коммерческого распространения. Подавляющее большинство потребителей получают прогнозы от одного из частных поставщиков; трафик сайта телеканала Weather Channel (Weather.com) примерно в десять раз превышает трафик Weather.gov{272}.

В целом я большой сторонник конкуренции на свободном рынке или конкуренции между государственными и частными компаниями. Во многом именно благодаря конкуренции бейсбол активно развивался и смог лучше совмещать знания скаутов и статистиков при прогнозировании развития игроков.

Как видите, в бейсболе идея конкуренции более ясна – сколько мячей ты выиграл (или же соотношение выигранных и проигранных мячей). В прогнозировании погоды ситуация несколько более сложная, а перед частными и государственными прогнозистами стояли разные задачи.

«Разумеется, ученого-исследователя не казнят на месте за просмотр Weather Channel, однако многие из них делают это за закрытыми дверями», – рассказал мне доктор Брюс Роуз, приветливый научный руководитель и вице-президент Weather Channel (TWC).

По словам Роуза, у него не было намерения утверждать, что прогнозы TWC лучше правительственных, они просто были другими – в большей степени ориентированными на нужды типичного потребителя.

«Модели обычно не оцениваются по тому, насколько хорошо они предсказывают те или иные практически важные параметры погоды, – продолжает он. – Для жителей Нью-Йорка на самом деле важно, что ожидает их на улице – залитые водой мостовые после ливня или снеговой покров толщиной 10 см{273}. С точки зрения потребителя, различие огромно, а вот для ученых это не всегда интересно».

На самом деле, значительная доля времени доктора Роуза уделяется прагматичным и даже отчасти банальным проблемам, связанным с тем, как потребители интерпретируют его прогнозы. Например, он задается вопросом, как разработать алгоритмы, позволяющие исходные данные о погоде выразить понятно. Что может означать выражение очень холодно? А вероятность порывистого ветра? Где проходит различие между переменной облачностью и преимущественно пасмурной погодой? Weather Channel должна в этом хорошо разбираться, а Роузу приходится создавать формальные правила, поскольку компания выпускает настолько много прогнозов, что способ их подачи необходимо разрабатывать чуть ли не для каждого случая.

Иногда необходимость адаптировать прогноз к потребностям клиента может принимать комические формы. На протяжении многих лет Weather Channel показывал дождь на своих радарных картах зеленым цветом (иногда сопровождаемым желтыми и красными участками, обозначавшими особенно сильные штормы). В какой-то момент в 2001 г. кому-то из отдела маркетинга пришла в голову гениальная идея выкрасить дождь в синий цвет – что показалось тогда разумным и напоминало естественный цвет воды. Довольно быстро на Weather Channel обрушился вал телефонных звонков разгневанных, а порой и напуганных потребителей: некоторые из них ошибочно приняли синие облака за прежде неизвестный вид осадков (плазменные облака? радиоактивные выбросы?). «Кто-то даже посчитал это последствием ядерного взрыва, – рассказал мне доктор Роуз. – Люди писали нам: “Вы многие годы говорили нам о том, что дождь имеет зеленый цвет, а теперь он оказался синим? Это что еще за выкрутасы?”»

Но, несмотря на все эти анекдотические истории, Weather Channel относится к метеорологии очень серьезно. По крайней мере, в теории, и есть основания думать, что эта компания способна сделать более качественный прогноз, чем правительство. В конце концов, Weather Channel, использует все исходные данные, полученные из правительственных источников, в качестве отправной точки, а затем учитывает и всю ту ценную информацию, которую они в состоянии получить своими силами.

Вопрос заключается в следующем: какой прогноз считать «лучшим»? Я бы сказал просто – лучшим является самый точный прогноз. Однако я знаю о нескольких конкурирующих между собой идеях в области прогнозирования погоды.

В известном эссе 1993 г.{274}, написанном Алланом Мерфи (работавшим в то время метеорологом в Университете штата Орегон), утверждалось, что в сообществе прогнозистов погоды имеются целых три определения качества прогноза. Мерфи не утверждал, что то или иное определение лучше остальных; скорее, он пытался начать более открытое и честное их обсуждение. Версии этих определений могут применяться почти в любой области, где нужны прогнозы или предсказания.

Первый (и, возможно, самый очевидный) способ оценки прогноза, писал Мерфи, связан с тем, что он сам называл «качеством», но, пожалуй, его лучше определить как правильность. Иными словами, оценивается ответ на вопрос, соответствовала ли реальная погода прогнозу?

Второй способ обозначен словом «последовательность», но я считаю, что в данном случае чаще подходит слово честность. Даже если прогноз оказался достаточно точным, был ли это лучший прогноз, на который способен прогнозист в то время? Отражал ли он самые наилучшие из имевшихся суждений и модифицировали ли его каким-либо образом перед тем, как представить публике?