Оценка по шкале Бриера

Мера точности вероятностных предсказаний

Оценка Брайера — это строго правильное правило оценки , которое измеряет точность вероятностных предсказаний . Для одномерных предсказаний она строго эквивалентна среднеквадратичной ошибке , применяемой к предсказанным вероятностям.

Оценка Брайера применима к задачам, в которых прогнозы должны назначать вероятности набору взаимоисключающих дискретных результатов или классов. Набор возможных результатов может быть как бинарным, так и категориальным по своей природе, а вероятности, назначенные этому набору результатов, должны в сумме давать единицу (где каждая индивидуальная вероятность находится в диапазоне от 0 до 1). Она была предложена Гленном В. Брайером в 1950 году. ^[1]

Оценка Брайера может рассматриваться как функция стоимости . Точнее, по всем пунктам в наборе из N прогнозов оценка Брайера измеряет среднеквадратичную разницу между: ${\displaystyle i\in {1...N}}$

• Прогнозируемая вероятность, присвоенная возможным результатам для элемента i
• Фактический результат ${\displaystyle o_{i}}$

Таким образом, чем ниже оценка Брайера для набора прогнозов, тем лучше эти прогнозы откалиброваны. Обратите внимание, что оценка Брайера в ее наиболее распространенной формулировке принимает значение от нуля до единицы, поскольку это квадрат максимально возможной разницы между прогнозируемой вероятностью (которая должна быть от нуля до единицы) и фактическим результатом (который может принимать значения только 0 или 1). В оригинальной (1950) формулировке оценки Брайера диапазон двойной, от нуля до двух.

Оценка Брайера подходит для бинарных и категориальных результатов, которые можно структурировать как истинные или ложные, но она не подходит для порядковых переменных, которые могут принимать три или более значений.

Определение

Наиболее распространенная формулировка оценки Брайера:

${\displaystyle BS={\frac {1}{N}}\sum \limits _{t=1}^{N}(f_{t}-o_{t})^{2}\,\!}$

где - вероятность, которая была спрогнозирована, фактический результат события в данном случае ( если оно не произойдет и если оно произойдет), а - количество случаев прогнозирования. По сути, это среднеквадратическая ошибка прогноза. Эта формулировка в основном используется для бинарных событий (например, «дождь» или «нет дождя»). Вышеуказанное уравнение является надлежащим правилом подсчета баллов только для бинарных событий; если необходимо оценить многокатегорийный прогноз, то следует использовать исходное определение, данное Брайером ниже. ${\displaystyle f_{t}}$ ${\displaystyle o_{t}}$ ${\displaystyle t}$ ${\displaystyle 0}$ ${\displaystyle 1}$ ${\displaystyle N}$

Пример

Предположим, что прогнозируется вероятность дождя в определенный день. Тогда оценка Брайера рассчитывается следующим образом: ${\displaystyle P}$

• Если прогноз составляет 100% ( = 1) и идет дождь, то показатель Брайера равен 0, что является наилучшим возможным показателем. ${\displaystyle P}$
• Если прогноз составляет 100% и дождя не будет, то индекс Брайера равен 1, что является наихудшим возможным показателем.
• Если прогноз составляет 70% ( = 0,70) и идет дождь, то индекс Брайера равен (0,70−1) ²  = 0,09. ${\displaystyle P}$

• Напротив, если прогноз составляет 70% ( = 0,70) и дождя не будет, то показатель Брайера составит (0,70−0) ²  = 0,49. ${\displaystyle P}$
• Аналогично, если прогноз составляет 30% ( = 0,30) и идет дождь, то показатель Брайера равен (0,30−1) ²  = 0,49. ${\displaystyle P}$
• Если прогноз составляет 50% ( = 0,50), то показатель Брайера составляет (0,50−1) ²  = (0,50−0) ²  = 0,25, независимо от того, идет ли дождь. ${\displaystyle P}$

Оригинальное определение Брайера

Хотя приведенная выше формулировка является наиболее широко используемой, оригинальное определение Брайера ^[1] применимо к многокатегорийным прогнозам, а также остается надлежащим правилом оценки, в то время как бинарная форма (используемая в примерах выше) подходит только для бинарных событий. Для бинарных прогнозов оригинальная формулировка «оценки вероятности» Брайера имеет в два раза большее значение оценки, в настоящее время известной как оценка Брайера.

${\displaystyle BS={\frac {1}{N}}\sum \limits _{t=1}^{N}\sum \limits _{i=1}^{R}(f_{ti}-o_{ti})^{2}\,\!}$

В котором - число возможных классов, в которые может попасть событие, и общее число экземпляров всех классов. - прогнозируемая вероятность для класса , если это -й класс в экземпляре ; , в противном случае. Для случая Дождь / Без дождя, , тогда как для прогноза Холодно / Нормально / Тепло, . ${\displaystyle R}$ ${\displaystyle N}$ ${\displaystyle f_{ti}}$ ${\displaystyle i.o_{ti}}$ ${\displaystyle 1}$ ${\displaystyle i}$ ${\displaystyle t}$ ${\displaystyle 0}$ ${\displaystyle R=2}$ ${\displaystyle R=3}$

Разложения

Существует несколько разложений оценки Брайера, которые дают более глубокое представление о поведении бинарного классификатора.

3-компонентное разложение

Оценка Брайера может быть разложена на 3 дополнительных компонента: неопределенность, надежность и разрешение. (Мерфи, 1973) ^[2]

${\displaystyle BS=REL-RES+UNC}$

Каждый из этих компонентов может быть далее разложен по числу возможных классов, в которые может попасть событие. Злоупотребление знаком равенства:

${\displaystyle BS={\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {f_{k}} -\mathbf {\bar {o}} _{\mathbf {k} })}^{2}-{\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {{\bar {o}}_{k}} -{\bar {\mathbf {o} }})}^{2}+\mathbf {\bar {o}} \left({1-\mathbf {\bar {o}} }\right)}$

При этом общее количество выпущенных прогнозов, количество выпущенных уникальных прогнозов, наблюдаемая климатологическая базовая скорость для события, количество прогнозов с той же категорией вероятности и наблюдаемая частота, заданные прогнозы вероятности . Жирное начертание в приведенной выше формуле указывает на векторы, что является другим способом обозначения исходного определения оценки и разложения ее в соответствии с количеством возможных классов, в которые может попасть событие. Например, 70% вероятность дождя и отсутствие дождя обозначаются как и соответственно. Такие операции, как возведение в квадрат и умножение на этих векторах, считаются покомпонентными. Тогда оценка Брайера представляет собой сумму результирующего вектора в правой части. ${\displaystyle \textstyle N}$ ${\displaystyle \textstyle K}$ ${\displaystyle \mathbf {\bar {o}} ={\sum _{t=1}^{N}}\mathbf {o_{t}} /N}$ ${\displaystyle n_{k}}$ ${\displaystyle \mathbf {\overline {o}} _{\mathbf {k} }}$ ${\displaystyle \mathbf {f_{k}} }$ ${\displaystyle \mathbf {f} =(0.3,0.7)}$ ${\displaystyle \mathbf {o} =(1,0)}$

Надежность

Термин надежность измеряет, насколько близки вероятности прогноза к истинным вероятностям, учитывая этот прогноз. Надежность определяется в противоположном направлении по сравнению с английским языком . Если надежность равна 0, прогноз абсолютно надежен. Например, если мы сгруппируем все прогнозы, в которых прогнозировалась вероятность дождя 80%, мы получим идеальную надежность только в том случае, если дождь шел 4 из 5 раз после выпуска такого прогноза.

Разрешение

Член разрешения измеряет, насколько условные вероятности, заданные различными прогнозами, отличаются от климатического среднего. Чем выше этот член, тем лучше. В худшем случае, когда климатическая вероятность всегда прогнозируется, разрешение равно нулю. В лучшем случае, когда условные вероятности равны нулю и единице, разрешение равно неопределенности.

Неопределенность

Термин неопределенности измеряет присущую неопределенность в результатах события. Для бинарных событий он максимален, когда каждый результат происходит в 50% случаев, и минимален (нуль), если результат происходит всегда или никогда не происходит.

Двухкомпонентное разложение

Альтернативное (и родственное) разложение генерирует два члена вместо трех.

${\displaystyle BS=CAL+REF}$

${\displaystyle BS={\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {f_{k}} -\mathbf {\bar {o}} _{\mathbf {k} })}^{2}+{\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {{\bar {o}}_{k}} (1-\mathbf {{\bar {o}}_{k}} }))}$

Первый член известен как калибровка (и может использоваться как мера калибровки, см. статистическая калибровка ), и равен надежности. Второй член известен как уточнение, и он представляет собой совокупность разрешения и неопределенности и связан с площадью под кривой ROC .

Оценка Бриера и разложение CAL + REF можно графически представить с помощью так называемых кривых Бриера, ^[3] где ожидаемые потери показаны для каждого рабочего состояния. Это делает оценку Бриера мерой совокупной производительности при равномерном распределении асимметрии классов. ^[4]

Оценка мастерства по шкале Брайера (BSS)

Оценка навыка для данной базовой оценки является смещенным и (отрицательно) масштабированным вариантом базовой оценки, так что значение оценки навыка, равное нулю, означает, что оценка для прогнозов просто так же хороша, как и у набора базовых или эталонных или дефолтных прогнозов, в то время как значение оценки навыка, равное единице (100%), представляет собой наилучшую возможную оценку. Значение оценки навыка меньше нуля означает, что производительность даже хуже, чем у базовых или эталонных прогнозов. Когда базовая оценка является оценкой Брайера (BS), оценка навыка Брайера (BSS) рассчитывается как

${\displaystyle BSS=1-{\frac {BS}{BS_{ref}}}}$

где — оценка Бриера эталонных или базовых прогнозов, которые мы стремимся улучшить. Хотя эталонные прогнозы в принципе могут быть даны любой уже существующей моделью, по умолчанию можно использовать наивную модель, которая предсказывает общую долю или частоту данного класса в оцениваемом наборе данных как постоянную прогнозируемую вероятность того, что этот класс встречается в каждом случае в наборе данных. Эта базовая модель будет представлять собой модель «без навыков», которую мы стремимся улучшить. Оценки навыков берут свое начало в литературе по метеорологическому прогнозированию, где наивные эталонные прогнозы по умолчанию называются прогнозами «климатологии внутри выборки», где климатология означает долгосрочное или общее среднее значение прогнозов погоды, а средние значения внутри выборки, рассчитанные на основе текущего оцениваемого набора данных. ^{[5] [6]} В этом случае по умолчанию для бинарной (двухклассовой) классификации эталонная оценка Бриера задается следующим образом (используя обозначение первого уравнения этой статьи, в верхней части раздела «Определение»): ${\displaystyle BS_{ref}}$

${\displaystyle BS_{ref}={\frac {1}{N}}\sum \limits _{t=1}^{N}({\bar {o}}-o_{t})^{2}\,}$

где — это просто средний фактический результат, т.е. общая доля истинного класса 1 в наборе данных: ${\displaystyle {\bar {o}}}$

${\displaystyle {\bar {o}}={\frac {1}{N}}\sum \limits _{t=1}^{N}o_{t}.}$

С оценкой Брайера, чем ниже, тем лучше (это функция потерь), где 0 — это наилучшая возможная оценка. Но с оценкой навыка Брайера, чем выше, тем лучше, где 1 (100%) — наилучшая возможная оценка.

Оценка навыка Brier может быть более интерпретируемой, чем оценка Brier, поскольку BSS — это просто процентное улучшение BS по сравнению с эталонной моделью, а отрицательный BSS означает, что вы справляетесь даже хуже, чем эталонная модель, что может быть неочевидно при взгляде на оценку Brier. Однако обычно не следует ожидать BSS, близкого к 100%, поскольку для этого потребовалось бы, чтобы каждое вероятностное предсказание было близко к 0 или 1 (и было верным, конечно).

Даже если оценка Брайера является строго правильным правилом подсчета очков , BSS не является строго правильным: действительно, оценки навыков, как правило, не являются правильными, даже если базовое правило подсчета очков является правильным. ^[7] Тем не менее, Мерфи (1973) ^[8] доказал, что BSS является асимптотически правильным с большим количеством образцов.

Вы можете заметить, что BSS классификации (оценки вероятности) относится к ее BS так же, как коэффициент детерминации регрессии ( ) относится к ее среднеквадратичной ошибке (MSE). ${\displaystyle R^{2}}$

Недостатки

Оценка Брайера становится неадекватной для очень редких (или очень частых) событий, поскольку она недостаточно различает небольшие изменения в прогнозе, которые являются значимыми для редких событий. ^[9] Уилкс (2010) обнаружил, что «[довольно] большие размеры выборки, т. е. n > 1000, требуются для высококвалифицированных прогнозов относительно редких событий, тогда как для низкоквалифицированных прогнозов обычных событий требуются лишь довольно скромные размеры выборки». ^[10]

Смотрите также

• Навык прогнозирования
• Правило подсчета очков

Ссылки

1. Brier (1950). "Проверка прогнозов, выраженных в терминах вероятности" (PDF) . Monthly Weather Review . 78 (1): 1–3. Bibcode :1950MWRv...78....1B. doi :10.1175/1520-0493(1950)078<0001:vofeit>2.0.co;2. S2CID  122906757. Архивировано из оригинала (PDF) 2017-10-23.
2. Мерфи, AH (1973). «Новое векторное разделение оценки вероятности». Журнал прикладной метеорологии . 12 (4): 595–600. Bibcode :1973JApMe..12..595M. doi : 10.1175/1520-0450(1973)012<0595:ANVPOT>2.0.CO;2 .
3. Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2011). «Кривые Брайера: новая визуализация производительности классификатора на основе затрат» (PDF) . Труды 28-й Международной конференции по машинному обучению (ICML-11) . стр. 585–592.
4. Эрнандес-Оралло, Дж.; Флах, П.А.; Ферри, К. (2012). «Единый взгляд на показатели производительности: перевод выбора порога в ожидаемую потерю классификации» (PDF) . Журнал исследований машинного обучения . 13 : 2813–2869.
5. Скорректированное по смещению разложение оценки Брайера. (Заметки и переписка.) CAT Ferro и TE Fricker в Quarterly Journal of the Royal Meteorological Society , том 138, выпуск 668, октябрь 2012 г., часть A, страницы 1954-1960 [1]
6. "Численное прогнозирование погоды: Система ансамблевого прогнозирования MOGREPS на короткие расстояния: Отчет о проверке: Испытательная эффективность MOGREPS: январь 2006 г. - март 2007 г. Технический отчет по исследованию прогнозирования № 503". Нил Боулер, Мари Дандо, Сара Бир и Кен Милн[2]
7. Гнейтинг, Тилманн; Рафтери, Адриан Э. (2007). «Строго правильные правила подсчета, прогнозирование и оценка» (PDF) . Журнал Американской статистической ассоциации . 102 (447): 359–378. doi :10.1198/016214506000001437. S2CID  1878582.
8. Мерфи, AH (1973). «Хеджирование и показатели успешности для вероятностных прогнозов». Журнал прикладной метеорологии . 12 : 215–223.
9. Риккардо Бенедетти (2010-01-01). «Правила оценки для проверки прогнозов». Monthly Weather Review . 138 (1): 203–211. Bibcode : 2010MWRv..138..203B. doi : 10.1175/2009MWR2945.1 .
10. Wilks, DS (2010). «Выборочные распределения оценки Брайера и оценки мастерства Брайера в условиях серийной зависимости». Quarterly Journal of the Royal Meteorological Society . 136 (1): 2109–2118. Bibcode : 2010QJRMS.136.2109W. doi : 10.1002/qj.709. S2CID  121504347.

Дальнейшее чтение

• Brier, Glenn W (1950). «Проверка прогнозов, выраженных в терминах вероятности». Monthly Weather Review . 78 (1): 1–3. Bibcode : 1950MWRv...78....1B. doi : 10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2. S2CID  122906757.
• Дж. Скотт Армстронг, Принципы прогнозирования.
• Глоссарий метеорологии AMS
• Составление партитуры Брайера: мини-урок
• Chicco D.; Warrens MJ; Jurman G. (2021). «Коэффициент корреляции Мэтьюса (MCC) более информативен, чем показатели Каппа Коэна и Брайера при оценке бинарной классификации». IEEE Access . 9 : 78368 - 78381. doi : 10.1109/access.2021.3084050 . hdl : 10281/430460 . S2CID  235308708.