Функция потерь

Математическое соотношение, связывающее вероятность события со стоимостью

В математической оптимизации и теории принятия решений функция потерь или функция стоимости (иногда также называемая функцией ошибок) ^[1] — это функция, которая отображает событие или значения одной или нескольких переменных на действительное число, интуитивно представляющее некоторую «стоимость», связанную с событием. Задача оптимизации стремится минимизировать функцию потерь. Целевая функция — это либо функция потерь, либо ее противоположность (в определенных областях, называемая по-разному функцией вознаграждения , функцией прибыли , функцией полезности , функцией пригодности и т. д.), в этом случае она должна быть максимизирована. Функция потерь может включать члены из нескольких уровней иерархии.

В статистике обычно функция потерь используется для оценки параметров , а рассматриваемое событие является некоторой функцией разницы между оценочными и истинными значениями для экземпляра данных. Концепция, такая же старая, как Лаплас , была вновь введена в статистику Абрахамом Вальдом в середине 20-го века. ^[2] В контексте экономики , например, это обычно экономические издержки или сожаления . В классификации это штраф за неправильную классификацию примера. В актуарной науке это используется в контексте страхования для моделирования выплат, выплачиваемых сверх премий, особенно со времен работ Харальда Крамера в 1920-х годах. ^[3] В оптимальном управлении убыток является штрафом за неспособность достичь желаемого значения. В управлении финансовыми рисками функция сопоставляется с денежным убытком.

Сравнение общих функций потерь ( MAE , SMAE , Huber loss и Log-Cosh loss), используемых для регрессии

Примеры

Сожалеть

Леонард Дж. Сэвидж утверждал, что при использовании небайесовских методов, таких как минимакс , функция потерь должна основываться на идее сожаления , то есть потеря, связанная с решением, должна быть разницей между последствиями наилучшего решения, которое могло бы быть принято, если бы основные обстоятельства были известны, и решения, которое было фактически принято до того, как они стали известны.

Квадратичная функция потерь

Использование квадратичной функции потерь является обычным, например, при использовании методов наименьших квадратов . Она часто более податлива с математической точки зрения, чем другие функции потерь, из-за свойств дисперсий , а также симметрична: ошибка выше целевого значения вызывает те же потери, что и та же величина ошибки ниже целевого значения. Если целевое значение равно t , то квадратичная функция потерь имеет вид

${\displaystyle \lambda (x)=C(t-x)^{2}\;}$

для некоторой константы C ; значение константы не влияет на решение и может быть проигнорировано, если установить ее равной 1. Это также известно как квадратичная ошибка потерь ( SEL ). ^[1]

Многие распространенные статистические данные , включая t-тесты , регрессионные модели, планирование экспериментов и многое другое, используют методы наименьших квадратов, применяемые с использованием теории линейной регрессии , которая основана на квадратичной функции потерь.

Квадратичная функция потерь также используется в линейно-квадратичных задачах оптимального управления . В этих задачах, даже при отсутствии неопределенности, может оказаться невозможным достичь желаемых значений всех целевых переменных. Часто потери выражаются в виде квадратичной формы отклонений интересующих переменных от их желаемых значений; этот подход является поддающимся обработке , поскольку он приводит к линейным условиям первого порядка . В контексте стохастического управления используется ожидаемое значение квадратичной формы. Квадратичная функция потерь придает большее значение выбросам, чем истинным данным из-за ее квадратичной природы, поэтому такие альтернативы, как потери Huber , Log-Cosh и SMAE, используются, когда данные имеют много больших выбросов.

Эффект использования различных функций потерь, когда данные имеют выбросы.

0-1 функция потерь

В статистике и теории принятия решений часто используемой функцией потерь является функция потерь 0-1.

${\displaystyle L({\hat {y}},y)=\left[{\hat {y}}\neq y\right]}$

с использованием скобочной нотации Айверсона , т.е. он оценивается как 1, когда , и 0 в противном случае. ${\displaystyle {\hat {y}}\neq y}$

Построение функций потерь и целевых функций

Во многих приложениях целевые функции, включая функции потерь как частный случай, определяются формулировкой задачи. В других ситуациях предпочтение лица, принимающего решения, должно быть выявлено и представлено скалярной функцией (называемой также функцией полезности ) в форме, подходящей для оптимизации — проблема, которую Рагнар Фриш выделил в своей Нобелевской лекции. ^[4] Существующие методы построения целевых функций собраны в трудах двух специализированных конференций. ^{[5] [6]} В частности, Андраник Тангиан показал, что наиболее используемые целевые функции — квадратичные и аддитивные — определяются несколькими точками безразличия. Он использовал это свойство в моделях для построения этих целевых функций из порядковых или кардинальных данных, которые были получены с помощью компьютерных интервью с лицами, принимающими решения. ^{[7] [8]} Среди прочего, он построил целевые функции для оптимального распределения бюджетов для 16 вестфальских университетов ^[9] и европейских субсидий для выравнивания уровня безработицы среди 271 немецкого региона. ^[10]

Ожидаемые потери

В некоторых контекстах значение функции потерь само по себе является случайной величиной, поскольку оно зависит от результата случайной величины X.

Статистика

Как частотная , так и байесовская статистическая теория предполагают принятие решения на основе ожидаемого значения функции потерь; однако эта величина определяется по-разному в этих двух парадигмах.

Ожидаемые потери по частоте

Сначала мы определяем ожидаемые потери в частотном контексте. Они получаются путем взятия ожидаемого значения относительно распределения вероятностей , P _θ , наблюдаемых данных, X . Это также называется функцией риска ^{[11] [12] [13] [14]} правила принятия решения δ и параметра θ . Здесь правило принятия решения зависит от результата X . Функция риска задается как:

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{\theta }L{\big (}\theta ,\delta (X){\big )}=\int _{X}L{\big (}\theta ,\delta (x){\big )}\,\mathrm {d} P_{\theta }(x).}$

Здесь θ — фиксированное, но, возможно, неизвестное состояние природы, X — вектор наблюдений, стохастически полученных из популяции , — ожидание по всем значениям популяции X , dP _θ — вероятностная мера по пространству событий X ( параметризованная  θ ), а интеграл вычисляется по всему носителю X.  ${\displaystyle \operatorname {E} _{\theta }}$

Байесовский риск

В байесовском подходе ожидание рассчитывается с использованием априорного распределения π ^* параметра  θ :

${\displaystyle \rho (\pi ^{*},a)=\int _{\Theta }\int _{\mathbf {X}}L(\theta ,a({\mathbf {x}}))\,\mathrm {d} P({\mathbf {x}}\vert \theta )\,\mathrm {d} \pi ^{*}(\theta )=\int _{\mathbf {X}}\int _{\Theta }L(\theta ,a({\mathbf {x}}))\,\mathrm {d} \pi ^{*}(\theta \vert {\mathbf {x}})\,\mathrm {d} M({\mathbf {x}})}$

где m(x) известно как прогнозируемое правдоподобие , где θ было «интегрировано», π ^* (θ | x) является апостериорным распределением, и порядок интегрирования был изменен. Затем следует выбрать действие a ^* , которое минимизирует эту ожидаемую потерю, которая называется байесовским риском ^[12] . В последнем уравнении подынтегральное выражение внутри dx известно как апостериорный риск , и его минимизация относительно решения a также минимизирует общий байесовский риск. Это оптимальное решение, a ^* известно как правило (решения) Байеса — оно минимизирует среднюю потерю по всем возможным состояниям природы θ, по всем возможным (взвешенным по вероятности) результатам данных. Одним из преимуществ байесовского подхода является то, что нужно выбрать только оптимальное действие в соответствии с фактическими наблюдаемыми данными, чтобы получить равномерно оптимальное, тогда как выбор фактического частотного оптимального правила принятия решения как функции всех возможных наблюдений является гораздо более сложной задачей. Однако не менее важно то, что правило Байеса учитывает результаты потерь при различных состояниях природы, θ.

Примеры в статистике

• Для скалярного параметра θ , функции решения, выходом которой является оценка  θ , и квадратичной функции потерь ( квадратичная ошибка потерь ) функция риска становится среднеквадратической ошибкой оценки. Оценщик , найденный путем минимизации среднеквадратической ошибки , оценивает среднее значение апостериорного распределения . ${\displaystyle {\hat {\theta }}}$ $${\displaystyle L(\theta ,{\hat {\theta }})=(\theta -{\hat {\theta }})^{2},}$$ $${\displaystyle R(\theta ,{\hat {\theta }})=\operatorname {E} _{\theta }(\theta -{\hat {\theta }})^{2}.}$$
• В оценке плотности неизвестным параметром является сама плотность вероятности . Функция потерь обычно выбирается как норма в соответствующем функциональном пространстве . Например, для нормы L 2 функция риска становится среднеинтегрированной квадратичной ошибкой $${\displaystyle L(f,{\hat {f}})=\|f-{\hat {f}}\|_{2}^{2}\,,}$$ $${\displaystyle R(f,{\hat {f}})=\operatorname {E} \|f-{\hat {f}}\|^{2}.\,}$$

Экономический выбор в условиях неопределенности

В экономике принятие решений в условиях неопределенности часто моделируется с использованием функции полезности фон Неймана–Моргенштерна неопределенной переменной интереса, такой как богатство на конец периода. Поскольку значение этой переменной неопределенно, неопределенным является и значение функции полезности; именно ожидаемое значение полезности максимизируется.

Правила принятия решений

Правило принятия решения делает выбор, используя критерий оптимальности. Некоторые часто используемые критерии:

• Минимакс : выберите правило принятия решения с наименьшими наихудшими потерями, то есть минимизируйте наихудшие (максимально возможные) потери: $${\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\ \max _{\theta \in \Theta }\ R(\theta ,\delta ).}$$
• Инвариантность : выберите правило принятия решения, которое удовлетворяет требованию инвариантности.
• Выберите правило принятия решения с наименьшими средними потерями (т.е. минимизируйте ожидаемое значение функции потерь): $${\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\operatorname {E} _{\theta \in \Theta }[R(\theta ,\delta )]={\underset {\delta }{\operatorname {arg\,min} }}\ \int _{\theta \in \Theta }R(\theta ,\delta )\,p(\theta )\,d\theta .}$$

Выбор функции потерь

Надежная статистическая практика требует выбора оценщика, соответствующего фактическому приемлемому изменению, испытываемому в контексте конкретной прикладной проблемы. Таким образом, в прикладном использовании функций потерь выбор статистического метода для моделирования прикладной проблемы зависит от знания потерь, которые будут иметь место из-за ошибки в конкретных обстоятельствах проблемы. ^[15]

Распространенный пример включает оценку " местоположения ". При типичных статистических предположениях среднее значение или усреднение является статистикой для оценки местоположения, которая минимизирует ожидаемые потери, испытываемые при квадратично-ошибочной функции потерь, в то время как медиана является оценщиком, который минимизирует ожидаемые потери, испытываемые при абсолютно-разностной функции потерь. Тем не менее, другие оценщики были бы оптимальными при других, менее распространенных обстоятельствах.

В экономике, когда агент нейтрален к риску , целевая функция просто выражается как ожидаемое значение денежной величины, такой как прибыль, доход или богатство на конец периода. Для агентов, не склонных к риску или любящих риск , убыток измеряется как отрицательное значение функции полезности , а целевая функция, которая должна быть оптимизирована, является ожидаемым значением полезности.

Возможны и другие показатели затрат, например, смертность или заболеваемость в сфере общественного здравоохранения или техники безопасности .

Для большинства алгоритмов оптимизации желательно иметь функцию потерь, которая является глобально непрерывной и дифференцируемой .

Две очень часто используемые функции потерь — это квадратные потери , и абсолютные потери , . Однако абсолютные потери имеют тот недостаток, что они не дифференцируемы при . Квадратные потери имеют тот недостаток, что они имеют тенденцию доминировать над выбросами — при суммировании по набору (как в ) конечная сумма имеет тенденцию быть результатом нескольких особенно больших значений a , а не выражением среднего значения a . ${\displaystyle L(a)=a^{2}}$ ${\displaystyle L(a)=|a|}$ ${\displaystyle a=0}$ ${\displaystyle a}$ ${\textstyle \sum _{i=1}^{n}L(a_{i})}$

Выбор функции потерь не является произвольным. Он весьма ограничителен, и иногда функция потерь может характеризоваться ее желательными свойствами. ^[16] К принципам выбора относятся, например, требование полноты класса симметричных статистик в случае iid наблюдений, принцип полной информации и некоторые другие.

В. Эдвардс Деминг и Нассим Николас Талеб утверждают, что эмпирическая реальность, а не хорошие математические свойства, должны быть единственной основой для выбора функций потерь, а реальные потери часто не являются математически хорошими и не являются дифференцируемыми, непрерывными, симметричными и т. д. Например, человек, который прибывает до закрытия ворот самолета, все еще может сесть на самолет, но человек, который прибывает после, не может, разрыв и асимметрия, которые делают прибытие с небольшим опозданием гораздо более дорогостоящим, чем прибытие с небольшим ранним временем. При дозировке лекарств стоимостью слишком малого количества лекарства может быть отсутствие эффективности, в то время как стоимостью слишком большого количества может быть терпимая токсичность, еще один пример асимметрии. Движение, трубы, балки, экология, климат и т. д. могут выдерживать повышенную нагрузку или стресс с небольшими заметными изменениями до определенной точки, а затем становятся забитыми или катастрофически ломаются. Такие ситуации, утверждают Деминг и Талеб, обычны в реальных задачах, возможно, более распространены, чем классические гладкие, непрерывные, симметричные, дифференциальные случаи. ^[17]

Смотрите также

• Байесовское сожаление
• Функции потерь для классификации
• Дисконтированный максимальный убыток
• Потеря шарнира
• Правило подсчета очков
• Статистический риск

Ссылки

1. Hastie, Trevor; Tibshirani, Robert ; Friedman, Jerome H. (2001). Элементы статистического обучения. Springer. стр. 18. ISBN 0-387-95284-5.
2. Вальд, А. (1950). Статистические функции принятия решений. Wiley.
3. Крамер, Х. (1930). О математической теории риска . Centraltryckeriet.
4. Фриш, Рагнар (1969). «От утопической теории к практическим приложениям: случай эконометрики». Нобелевская премия–Премия Лекция . Получено 15 февраля 2021 г.
5. Тангиан, Андраник; Грубер, Йозеф (1997). Построение скалярно-значных целевых функций. Труды Третьей международной конференции по эконометрическим моделям принятия решений: построение скалярно-значных целевых функций, Университет Хагена, состоявшейся в Katholische Akademie Schwerte 5–8 сентября 1995 г. . Конспект лекций по экономике и математическим системам. Том 453. Берлин: Springer. doi :10.1007/978-3-642-48773-6. ISBN 978-3-540-63061-6.
6. Тангиан, Андраник; Грубер, Йозеф (2002). Построение и применение целевых функций. Труды Четвертой международной конференции по эконометрическим моделям принятия решений Построение и применение целевых функций, Университет Хагена, состоявшейся в Haus Nordhelle, 28–31 августа 2000 г. Конспект лекций по экономике и математическим системам. Том 510. Берлин: Springer. doi :10.1007/978-3-642-56038-5. ISBN 978-3-540-42669-1.
7. Тангиан, Андраник (2002). «Построение квазивогнутой квадратичной целевой функции на основе интервьюирования лица, принимающего решения». Европейский журнал операционных исследований . 141 (3): 608–640. doi :10.1016/S0377-2217(01)00185-0. S2CID  39623350.
8. Тангиан, Андраник (2004). «Модель для ординального построения аддитивных целевых функций». Европейский журнал операционных исследований . 159 (2): 476–512. doi :10.1016/S0377-2217(03)00413-2. S2CID  31019036.
9. Тангиан, Андраник (2004). «Перераспределение университетских бюджетов в соответствии со статус-кво». Европейский журнал операционных исследований . 157 (2): 409–428. doi :10.1016/S0377-2217(03)00271-6.
10. Тангиан, Андраник (2008). «Многокритериальная оптимизация региональной политики занятости: имитационный анализ для Германии». Обзор городского и регионального развития . 20 (2): 103–122. doi :10.1111/j.1467-940X.2008.00144.x.
11. Никулин, М.С. (2001) [1994], «Риск статистической процедуры», Энциклопедия математики , EMS Press
12. Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode :1985sdtb.book.....B. ISBN 978-0-387-96098-2. МР  0804611.
13. ДеГрут, Моррис (2004) [1970]. Оптимальные статистические решения . Библиотека классических произведений Wiley. ISBN 978-0-471-68029-1. МР  2288194.
14. Роберт, Кристиан П. (2007). Байесовский выбор . Springer Texts in Statistics (2-е изд.). Нью-Йорк: Springer. doi :10.1007/0-387-71599-1. ISBN 978-0-387-95231-4. МР  1835885.
15. Пфанзагль, Дж. (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 978-3-11-013863-4.
16. Подробная информация о математических принципах выбора функции потерь приведена в Главе 2 книги Клебанов, Б.; Рачев, Светлозат Т.; Фабоцци, Фрэнк Дж. (2009). Робастные и неробастные модели в статистике . Нью-Йорк: Nova Scientific Publishers, Inc.(и ссылки там).
17. Деминг, В. Эдвардс (2000). Выход из кризиса . MIT Press. ISBN 9780262541152.

Дальнейшее чтение

• Аретц, Кевин; Бартрам, Сёнке М.; Поуп, Питер Ф. (апрель–июнь 2011 г.). «Асимметричные функции потерь и рациональность ожидаемой доходности акций» (PDF) . Международный журнал прогнозирования . 27 (2): 413–437. doi :10.1016/j.ijforecast.2009.10.008. SSRN  889323.
• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode :1985sdtb.book.....B. ISBN 978-0-387-96098-2. МР  0804611.

• Чеккетти, С. (2000). «Разработка денежно-кредитной политики: цели и правила». Oxford Review of Economic Policy . 16 (4): 43–59. doi :10.1093/oxrep/16.4.43.

• Хоровиц, Энн Р. (1987). «Функции потерь и государственная политика». Журнал макроэкономики . 9 (4): 489–504. doi :10.1016/0164-0704(87)90016-4.

• Waud, Roger N. (1976). «Асимметричные функции полезности политиков и оптимальная политика в условиях неопределенности». Econometrica . 44 (1): 53–66. doi :10.2307/1911380. JSTOR  1911380.