Средняя абсолютная процентная ошибка

Средняя абсолютная процентная ошибка ( MAPE ), также известная как среднее абсолютное процентное отклонение ( MAPD ), является мерой точности прогнозирования метода прогнозирования в статистике . Обычно она выражает точность как отношение, определяемое формулой:

{\mbox{MAPE}}=100{\frac {1}{n}}\sum _{t=1}^{n}\left|{\frac {A_{t}-F_{t}}{A_{t}}}\right|

где $A t$ — фактическое значение, а $F t$ — прогнозируемое значение. Их разность делится на фактическое значение $A t$ . Абсолютное значение этого отношения суммируется для каждого прогнозируемого момента времени и делится на количество подобранных точек $n$ .

MAPE в задачах регрессии

Средняя абсолютная процентная ошибка обычно используется в качестве функции потерь для задач регрессии и при оценке моделей из-за ее интуитивно понятной интерпретации с точки зрения относительной ошибки.

Определение

Рассмотрим стандартную настройку регрессии, в которой данные полностью описываются случайной парой со значениями в и $n$ iid копиями . Целью регрессионных моделей является поиск хорошей модели для пары, то есть измеримой функции $g$ от до такой, что она близка к $Y$ . $Z=(X,Y)$ $\mathbb {R} ^{d}\times \mathbb {R}$ $(X_{1},Y_{1}),...,(X_{n},Y_{n})$ $(X,Y)$ $\mathbb {R} ^{d}$ $\mathbb {R}$ $g(X)$

В классической регрессии близость к $Y$ измеряется через риск $L$ $2$ , также называемый средней квадратичной ошибкой (MSE). В контексте регрессии MAPE ^[1] близость к $Y$ измеряется через MAPE, и целью регрессий MAPE является поиск модели, такой что: $g(X)$ $g(X)$ $g_{\text{MAPE}}$

$g_{\mathrm {MAPE} }(x)=\arg \min _{g\in {\mathcal {G}}}\mathbb {E} {\Biggl [}\left|{\frac {g(X)-Y}{Y}}\right||X=x{\Biggr ]}$

где - класс рассматриваемых моделей (например, линейные модели). ${\mathcal {G}}$

На практике

На практике можно оценить с помощью эмпирической стратегии минимизации риска , что приводит к $g_{\text{MAPE}}(x)$

${\widehat {g}}_{\text{MAPE}}(x)=\arg \min _{g\in {\mathcal {G}}}\sum _{i=1}^{n}\left|{\frac {g(X_{i})-Y_{i}}{Y_{i}}}\right|$

С практической точки зрения использование MAPE в качестве функции качества для регрессионной модели эквивалентно выполнению регрессии взвешенной средней абсолютной ошибки (MAE), также известной как квантильная регрессия . Это свойство тривиально, поскольку

${\widehat {g}}_{\text{MAPE}}(x)=\arg \min _{g\in {\mathcal {G}}}\sum _{i=1}^{n}\omega (Y_{i})\left|g(X_{i})-Y_{i}\right|{\mbox{ с }}\omega (Y_{i})=\left|{\frac {1}{Y_{i}}}\right|$

В результате использование MAPE на практике становится очень простым, например, с использованием существующих библиотек для квантильной регрессии, допускающих весовые коэффициенты.

Последовательность

Использование MAPE в качестве функции потерь для регрессионного анализа возможно как с практической, так и с теоретической точки зрения, поскольку можно доказать существование оптимальной модели и состоятельность минимизации эмпирического риска. ^[1]

WMAPE

WMAPE (иногда пишется как wMAPE ) означает средневзвешенную абсолютную процентную ошибку. ^[2] Это мера, используемая для оценки производительности регрессионных или прогнозных моделей. Это вариант MAPE, в котором среднее абсолютное процентное отклонение рассматривается как среднее арифметическое взвешенное. Чаще всего абсолютные процентные отклонение взвешиваются фактическими значениями (например, в случае прогнозирования продаж ошибки взвешиваются объемом продаж). ^[3] По сути, это решает проблему «бесконечной ошибки». ^[4] Ее формула такова: ^[4] ${\mbox{wMAPE}}={\frac {\displaystyle \sum _{i=1}^{n}\left(w_{i}\cdot {\tfrac {\left|A_{i}-F_{i}\right|}{|A_{i}|}}\right)}{\displaystyle \sum _{i=1}^{n}w_{i}}}={\frac {\displaystyle \sum _{i=1}^{n}\left(|A_{i}|\cdot {\tfrac {\left|A_{i}-F_{i}\right|}{|A_{i}|}}\right)}{\displaystyle \sum _{i=1}^{n}\left|A_{i}\right|}}$

Где — вес, — вектор фактических данных, — прогноз или предсказание. Однако это фактически упрощается до гораздо более простой формулы: $w_{i}$ $A$ $F$ ${\mbox{wMAPE}}={\frac {\displaystyle \sum _{i=1}^{n}\left|A_{i}-F_{i}\right|}{\displaystyle \sum _{i=1}^{n}\left|A_{i}\right|}}$

Сбивает с толку, но иногда, когда люди ссылаются на wMAPE, они говорят о другой модели, в которой числитель и знаменатель формулы wMAPE выше снова взвешиваются другим набором пользовательских весов . Возможно, было бы точнее назвать это MAPE с двойным весом (wwMAPE). Его формула: $w_{i}$ ${\mbox{wwMAPE}}={\frac {\displaystyle \sum _{i=1}^{n}w_{i}\left|A_{i}-F_{i}\right|}{\displaystyle \sum _{i=1}^{n}w_{i}\left|A_{i}\right|}}$

Проблемы

Хотя концепция MAPE звучит очень просто и убедительно, она имеет серьезные недостатки в практическом применении, ^[5] и существует множество исследований, посвященных недостаткам и вводящим в заблуждение результатам MAPE. ^[6]^[7]

Его нельзя использовать, если имеются нулевые или близкие к нулю значения (что иногда случается, например, в данных о спросе), поскольку в этом случае произойдет деление на ноль или значения MAPE будут стремиться к бесконечности. ^[8]
Для слишком низких прогнозов процентная погрешность не может превышать 100%, но для слишком высоких прогнозов верхний предел процентной погрешности не установлен.
MAPE налагает более суровое наказание на отрицательные ошибки, чем на положительные. ^[9] Как следствие, когда MAPE используется для сравнения точности методов прогнозирования, он оказывается предвзятым, поскольку систематически выбирает метод, прогнозы которого слишком низкие. Эту малоизвестную, но серьезную проблему можно преодолеть, используя меру точности, основанную на логарифме отношения точности (отношение предсказанного значения к фактическому), определяемом как . Такой подход приводит к превосходным статистическим свойствам, а также к прогнозам, которые можно интерпретировать в терминах геометрического среднего. ^[5] $A_{t}<F_{t}$ ${\textstyle \log \left({\frac {\text{predicted}}{\text{actual}}}\right)}$
Люди часто думают, что MAPE будет оптимизирован на уровне медианы. Но, например, логнормальное распределение имеет медиану , где его MAPE оптимизирован на уровне . $e^{\mu }$ $e^{\mu -\sigma ^{2}}$

Для решения этих проблем с MAPE в литературе предлагаются и другие меры:

Средняя абсолютная масштабированная ошибка (MASE)
Симметричная средняя абсолютная процентная ошибка (sMAPE)
Средняя точность направления (MDA)
Средняя абсолютная ошибка арктангенса в процентах (MAAPE): MAAPE можно рассматривать как наклон как угол , в то время как MAPE — это наклон как отношение . ^[7]

Смотрите также

Внешние ссылки

Средняя абсолютная процентная ошибка для регрессионных моделей
Средняя абсолютная процентная ошибка (MAPE)
Ошибки в процентах ошибок - варианты MAPE
Средняя абсолютная процентная ошибка арктангенса (MAAPE)

Ссылки

^ ab de Myttenaere, B Golden, B Le Grand, F Rossi (2015). "Средняя абсолютная процентная ошибка для регрессионных моделей", Neurocomputing 2016 arXiv :1605.02541
^ «Понимание точности прогнозов: MAPE, WAPE, WMAPE».
^ «WMAPE: Взвешенная средняя абсолютная процентная ошибка».
^ ab «Статистические ошибки прогноза».
^ ab Tofallis (2015). «Лучшая мера относительной точности прогнозирования для выбора и оценки модели», Журнал общества операционных исследований , 66(8):1352-1362. архивный препринт
^ Хайндман, Роб Дж. и Энн Б. Келер (2006). «Еще один взгляд на меры точности прогнозов». Международный журнал прогнозирования , 22(4):679-688 doi:10.1016/j.ijforecast.2006.03.001.
^ ab Kim, Sungil и Heeyoung Kim (2016). «Новая метрика абсолютной процентной ошибки для прогнозов прерывистого спроса». Международный журнал прогнозирования , 32(3):669-679 doi:10.1016/j.ijforecast.2015.12.003.
^ Ким, Сунгил; Ким, Хиён (1 июля 2016 г.). «Новая метрика абсолютной процентной ошибки для прогнозов прерывистого спроса». Международный журнал прогнозирования . 32 (3): 669–679. doi : 10.1016/j.ijforecast.2015.12.003 .
^ Макридакис, Спирос (1993) «Меры точности: теоретические и практические проблемы». Международный журнал прогнозирования , 9(4):527-529 doi:10.1016/0169-2070(93)90079-3