В области прогнозирования и предсказания , навык прогнозирования или предсказательный навык — это любая мера точности и/или степени связи прогноза с наблюдением или оценкой фактического значения того, что предсказывается (формально, предсказывающего); он может быть количественно определен как оценка навыка . [1]
В метеорологии , а точнее в прогнозировании погоды , навык измеряет превосходство прогноза над простой исторической базой прошлых наблюдений. Одна и та же методология прогнозирования может привести к разным показателям навыка в разных местах или даже в одном и том же месте для разных сезонов (например, весенняя погода может быть обусловлена неустойчивыми местными условиями, тогда как зимние похолодания могут коррелировать с наблюдаемыми полярными ветрами). Навык прогнозирования погоды часто представлен в виде сезонных географических карт.
Навык прогнозирования для однозначных прогнозов (т. е. временных рядов скалярной величины ) обычно представлен в терминах метрик, таких как корреляция , среднеквадратическая ошибка , средняя абсолютная ошибка , относительная средняя абсолютная ошибка, смещение и оценка Брайера , среди прочих. Также используется ряд оценок, связанных с концепцией энтропии в теории информации . [2] [3]
Термин «прогнозная способность» может также использоваться в качественном смысле, и в этом случае он может относиться либо к эффективности прогноза на основе одной метрики, либо к общей эффективности прогноза на основе нескольких метрик.
Вероятностные оценки навыков прогнозирования могут использовать такие метрики, как ранжированная вероятностная оценка навыков (RPSS) или непрерывная RPSS (CRPSS) и другие. Категориальные метрики навыков, такие как коэффициент ложных тревог (FAR), вероятность обнаружения (POD), индекс критического успеха (CSI) и справедливая оценка угрозы (ETS), также актуальны для некоторых приложений прогнозирования. Навык часто, но не исключительно, выражается как относительное представление, которое сравнивает производительность конкретного прогнозного предсказания с производительностью эталонного, эталонного предсказания — формулировка, называемая «оценкой навыка».
Расчеты метрики и баллов прогнозирования должны выполняться на достаточно большой выборке пар прогноз-наблюдение, чтобы быть статистически надежными. Выборка прогнозов для одного предиктора (например, температуры в одном месте или одной стоимости акций) обычно включает прогнозы, сделанные на несколько разных дат. Выборка также может объединять пары прогноз-наблюдение в пространстве для прогноза, сделанного на одну дату, как в прогнозе погодного явления, который проверяется во многих местах.
Пример расчета навыка, который использует метрику ошибки «Среднеквадратическая ошибка (MSE)» и связанную с ней оценку навыка, приведен в таблице ниже. В этом случае идеальный прогноз приводит к метрике прогнозируемого навыка, равной нулю, и значению оценки навыка 1,0. Прогноз с навыком, равным эталонному прогнозу, будет иметь оценку навыка 0,0, а прогноз, который менее умелый, чем эталонный прогноз, будет иметь неограниченные отрицательные значения оценки навыка. [4] [5]
Широкий спектр метрик прогнозов можно найти в опубликованных и онлайн-ресурсах. Хорошей отправной точкой являются давние веб-страницы Австралийского бюро метеорологии по проверке в Совместной рабочей группе WWRP/WGNE по исследованиям проверки прогнозов. [6]
Популярным учебником и справочником, в котором обсуждается умение прогнозировать, является «Статистические методы в атмосферных науках» . [7]