Допустимое решающее правило

Тип «хорошего» правила принятия решения в байесовской статистике

В статистической теории принятия решений допустимое правило принятия решения — это правило принятия решения , при котором не существует другого правила, которое всегда было бы «лучше», чем оно ^[1] (или, по крайней мере, иногда лучше и никогда не хуже), в точном смысле «лучше» определено ниже. Эта концепция аналогична эффективности Парето .

Определение

Определите множества , и , где находятся состояния природы, возможные наблюдения и действия, которые можно предпринять. Наблюдение распространяется как и, следовательно, дает данные о состоянии природы . Правило принятия решения – это функция , наблюдая за которой , мы выбираем действие . ${\displaystyle \Theta \,}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle \Theta \,}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle x\in {\mathcal {X}}\,\!}$ ${\displaystyle F(x\mid \theta )\,\!}$ ${\displaystyle \theta \in \Theta \,\!}$ ${\displaystyle \delta :{\mathcal {X}}\rightarrow {\mathcal {A}}}$ ${\displaystyle x\in {\mathcal {X}}}$ ${\displaystyle \delta (x)\in {\mathcal {A}}\,\!}$

Также определите функцию потерь , которая определяет потери, которые мы понесем, приняв меры в истинном естественном состоянии . Обычно мы предпринимаем это действие после наблюдения за данными , поэтому потери будут . (Можно, хотя это и нетрадиционно, переформулировать следующие определения в терминах функции полезности , которая является отрицанием потерь.) ${\displaystyle L:\Theta \times {\mathcal {A}}\rightarrow \mathbb {R} }$ ${\displaystyle a\in {\mathcal {A}}}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle x\in {\mathcal {X}}}$ ${\displaystyle L(\theta ,\delta (x))\,\!}$

Определите функцию риска как ожидание

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!}$

Имеет ли правило принятия решения низкий риск, зависит от истинного состояния природы . Правило принятия решения доминирует над правилом принятия решения тогда и только тогда , когда для всех и неравенство является строгим для некоторых . ${\displaystyle \delta \,\!}$ ${\displaystyle \theta \,\!}$ ${\displaystyle \delta ^{*}\,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle R(\theta ,\delta ^{*})\leq R(\theta ,\delta )}$ ${\displaystyle \theta \,\!}$ ${\displaystyle \theta \,\!}$

Решающее правило допустимо (относительно функции потерь) тогда и только тогда, когда никакое другое правило не доминирует над ним; в противном случае это недопустимо . Таким образом, допустимое решающее правило является максимальным элементом относительно указанного выше частичного порядка. Недопустимое правило не является предпочтительным (за исключением соображений простоты или вычислительной эффективности), поскольку по определению существует какое-то другое правило, которое обеспечит равный или меньший риск для всех . Но то, что правило допустимо, не означает, что его можно использовать. Приемлемость означает, что не существует другого единого правила, которое всегда было бы столь же хорошим или лучшим, но другие допустимые правила могли бы обеспечить меньший риск для большинства случаев , которые встречаются на практике. (Байесовский риск, обсуждаемый ниже, представляет собой способ явного рассмотрения того, что происходит на практике.) ${\displaystyle \theta \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \theta \,\!}$ ${\displaystyle \theta \,\!}$

Правила Байеса и обобщенные правила Байеса

Правила Байеса

Пусть – распределение вероятностей состояний природы. С байесовской точки зрения мы бы рассматривали это как априорное распределение . То есть это наше предполагаемое распределение вероятностей состояний природы до наблюдения данных. Для частотника это просто функция без особой интерпретации. Байесовский риск правила принятия решения относительно является ожиданием ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \Theta \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \pi (\theta )\,\!}$

${\displaystyle r(\pi ,\delta )=\operatorname {E} _{\pi (\theta )}[R(\theta ,\delta )].\,\!}$

Решающее правило , которое минимизирует, называется правилом Байеса относительно . Таких правил Байеса может быть несколько. Если риск Байеса бесконечен для всех , то правило Байеса не определено. ${\displaystyle \delta \,\!}$ ${\displaystyle r(\pi ,\delta )\,\!}$ ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \delta \,\!}$

Обобщенные правила Байеса

В байесовском подходе к теории принятия решений наблюдаемое считается фиксированным . В то время как частотный подход (т.е. риск) усредняет возможные выборки , байесовский фиксирует наблюдаемую выборку и усредняет гипотезы . Таким образом, байесовский подход заключается в рассмотрении наблюдаемых нами ожидаемых потерь. ${\displaystyle x\,\!}$ ${\displaystyle x\in {\mathcal {X}}\,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \theta \in \Theta \,\!}$ ${\displaystyle x\,\!}$

${\displaystyle \rho (\pi ,\delta \mid x)=\operatorname {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\!}$

где математическое ожидание превышает апостериорное заданное ( полученное из и с использованием теоремы Байеса ). ${\displaystyle \theta \,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle F(x\mid \theta )\,\!}$

Выявив ожидаемые потери для каждого данного в отдельности, мы можем определить правило принятия решения , указав для каждого действие , минимизирующее ожидаемые потери. Это известно как обобщенное правило Байеса относительно . Может существовать более одного обобщенного правила Байеса, поскольку может быть несколько вариантов, которые приводят к одинаковым ожидаемым потерям. ${\displaystyle x\,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \delta (x)\,\!}$ ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \delta (x)\,\!}$

На первый взгляд это может показаться отличным от подхода, основанного на правиле Байеса из предыдущего раздела, а не от обобщения. Однако обратите внимание, что байесовский риск уже усредняется байесовским способом, и байесовский риск может быть возмещен как ожидание сверх ожидаемого убытка (где и ). Грубо говоря, это ожидание ожидаемых потерь минимизируется (т. е. является правилом Байеса) тогда и только тогда, когда оно минимизирует ожидаемые потери для каждого в отдельности (т. е. является обобщенным правилом Байеса). ${\displaystyle \Theta \,\!}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle x\sim \theta \,\!}$ ${\displaystyle \theta \sim \pi \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle x\in {\mathcal {X}}}$

Тогда почему понятие обобщенного правила Байеса является улучшением? Это действительно эквивалентно понятию правила Байеса, когда правило Байеса существует и все правила имеют положительную вероятность. Однако никакого правила Байеса не существует, если риск Байеса бесконечен (для всех ). В этом случае по-прежнему полезно определить обобщенное правило Байеса , которое, по крайней мере, выбирает действие с минимальным ожидаемым убытком для тех , для которых действие с конечным ожидаемым убытком действительно существует. Кроме того, может оказаться желательным обобщенное правило Байеса, поскольку оно должно выбирать действие с минимальным ожидаемым убытком для каждого , тогда как правилу Байеса будет разрешено отклоняться от этой политики для набора мер 0, не влияя при этом на риск Байеса. ${\displaystyle x\,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \delta \,\!}$ ${\displaystyle \delta (x)\!\,}$ ${\displaystyle x\,\!}$ ${\displaystyle \delta (x)\,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle X\subseteq {\mathcal {X}}}$

Что еще более важно, иногда удобно использовать неправильный априор . В этом случае байесовский риск даже не определен четко, как и не существует четкого распределения по . Однако апостериорная функция — и, следовательно, ожидаемая потеря — может быть четко определена для каждого , так что все еще возможно определить обобщенное правило Байеса. ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle x\,\!}$ ${\displaystyle \pi (\theta \mid x)\,\!}$ ${\displaystyle x\,\!}$

Допустимость (обобщенных) правил Байеса

Согласно теоремам о полных классах, при мягких условиях каждое допустимое правило является (обобщенным) правилом Байеса (по отношению к некоторому априорному правилу — возможно, несобственному — которое благоприятствует распределениям , в которых это правило обеспечивает низкий риск). Таким образом, в частотной теории принятия решений достаточно рассматривать только (обобщенные) правила Байеса. ${\displaystyle \pi (\theta )\,\!}$ ${\displaystyle \theta \,\!}$

И наоборот, хотя правила Байеса в отношении правильных априорных значений практически всегда допустимы, обобщенные правила Байеса, соответствующие неправильным априорным значениям, не обязательно должны приводить к допустимым процедурам. Пример Штейна — одна из таких известных ситуаций.

Примеры

Оценка Джеймса – Стейна представляет собой нелинейную оценку среднего значения гауссовских случайных векторов, и можно показать, что она доминирует над обычным методом наименьших квадратов по отношению к функции потерь среднеквадратической ошибки. ^[2] Таким образом, оценка методом наименьших квадратов не является допустимой процедурой оценки в этом контексте. Недопустимы и некоторые другие стандартные оценки, связанные с нормальным распределением : например, выборочная оценка дисперсии , когда генеральное среднее и дисперсия неизвестны. ^[3]

Примечания

1. Додж, Ю. (2003) Оксфордский словарь статистических терминов . ОУП. ISBN  0-19-920613-9 (запись о допустимой функции принятия решения)
2. Кокс и Хинкли, 1974, раздел 11.8.
3. Кокс и Хинкли 1974, Упражнение 11.7.

Рекомендации

• Кокс, доктор медицинских наук; Хинкли, Д.В. (1974). Теоретическая статистика . Уайли. ISBN 0-412-12420-3.
• Бергер, Джеймс О. (1980). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Спрингер-Верлаг. ISBN 0-387-96098-8.
• ДеГрут, Моррис (2004) [1-й. паб. 1970]. Оптимальные статистические решения . Библиотека классической литературы Уайли. ISBN 0-471-68029-Х.
• Роберт, Кристиан П. (1994). Байесовский выбор . Спрингер-Верлаг. ISBN 3-540-94296-3.