Байесовский оценщик

Правило математического решения

В теории оценки и теории принятия решений байесовская оценка или байесовское действие — это оценка или правило принятия решений , которое минимизирует апостериорное ожидаемое значение функции потерь (т. е. апостериорные ожидаемые потери ). Эквивалентно, оно максимизирует апостериорное ожидание функции полезности . Альтернативным способом формулировки оценки в байесовской статистике является максимальная апостериорная оценка .

Определение

Предположим, что неизвестный параметр , как известно, имеет априорное распределение . Пусть будет оценщиком (основанным на некоторых измерениях x ), и пусть будет функцией потерь , такой как квадратичная ошибка. Байесовский риск определяется как , где ожидание берется по распределению вероятностей : это определяет функцию риска как функцию . Оценщик называется байесовским, если он минимизирует байесовский риск среди всех оценщиков. Эквивалентно, оценщик, который минимизирует апостериорные ожидаемые потери для каждого, также минимизирует байесовский риск и, следовательно, является байесовским оценщиком. ^[1] ${\displaystyle \theta }$ ${\displaystyle \pi }$ ${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(x)}$ ${\displaystyle \theta }$ ${\displaystyle L(\theta ,{\widehat {\theta }})}$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle E_{\pi }(L(\theta ,{\widehat {\theta }}))}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle E(L(\theta ,{\widehat {\theta }})|x)}$ ${\displaystyle x}$

Если априорная вероятность неверна, то оценка, которая минимизирует апостериорные ожидаемые потери для каждой вероятности, ${\displaystyle x}$ называется обобщенной байесовской оценкой . ^[2]

Примеры

Оценка минимальной среднеквадратической ошибки

Наиболее распространенной функцией риска, используемой для байесовской оценки, является средняя квадратическая ошибка (MSE), также называемая квадратом риска ошибки . MSE определяется как

${\displaystyle \mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],}$

где ожидание берется по совместному распределению и . ${\displaystyle \theta }$ ${\displaystyle x}$

Апостериорное среднее

Используя MSE в качестве риска, байесовская оценка неизвестного параметра представляет собой просто среднее значение апостериорного распределения , ^[3]

${\displaystyle {\widehat {\theta }}(x)=E[\theta |x]=\int \theta \,p(\theta |x)\,d\theta .}$

Это известно как оценка минимальной среднеквадратической ошибки (MMSE).

Оценки Байеса для сопряженных априорных распределений

Если нет внутренней причины предпочесть одно априорное распределение вероятностей другому, иногда для простоты выбирается сопряженное априорное распределение . Сопряженное априорное распределение определяется как априорное распределение, принадлежащее некоторому параметрическому семейству , для которого результирующее апостериорное распределение также принадлежит тому же семейству. Это важное свойство, поскольку байесовский оценщик, а также его статистические свойства (дисперсия, доверительный интервал и т. д.) могут быть выведены из апостериорного распределения.

Сопряженные априорные распределения особенно полезны для последовательной оценки, где апостериор текущего измерения используется как априорное в следующем измерении. При последовательной оценке, если не используется сопряженное априорное распределение, апостериорное распределение обычно становится более сложным с каждым добавленным измерением, и байесовская оценка обычно не может быть рассчитана без обращения к численным методам.

Ниже приведены некоторые примеры сопряженных априорных распределений.

• Если является нормальным , , и априорная вероятность является нормальной, , то апостериорная вероятность также является нормальной, и байесовская оценка относительно MSE определяется как ${\displaystyle x|\theta }$ ${\displaystyle x|\theta \sim N(\theta ,\sigma ^{2})}$ ${\displaystyle \theta \sim N(\mu ,\tau ^{2})}$

${\displaystyle {\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.}$

• Если являются независимыми идентифицированными случайными величинами Пуассона , и если априорная вероятность распределена гамма-распределением , то апостериорная вероятность также распределена гамма-распределением, и байесовская оценка относительно MSE определяется как ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim P(\theta )}$ ${\displaystyle \theta \sim G(a,b)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+b}}.}$

• Если iid равномерно распределены , и если априорная вероятность распределена по Парето , то апостериорная вероятность также распределена по Парето, и байесовская оценка по MSE определяется как ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim U(0,\theta )}$ ${\displaystyle \theta \sim Pa(\theta _{0},a)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})}}{a+n-1}}.}$

Альтернативные функции риска

Функции риска выбираются в зависимости от того, как измеряется расстояние между оценкой и неизвестным параметром. MSE является наиболее часто используемой функцией риска, в первую очередь из-за ее простоты. Однако иногда используются и альтернативные функции риска. Ниже приведено несколько примеров таких альтернатив. Мы обозначаем апостериорную обобщенную функцию распределения как . ${\displaystyle F}$

Апостериорная медиана и другие квантили

• «Линейная» функция потерь, при этом , которая дает апостериорную медиану в качестве оценки Байеса: ${\displaystyle a>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.}$

• Другая "линейная" функция потерь, которая присваивает разные "веса" пере- или субоценке. Она дает квантиль из апостериорного распределения и является обобщением предыдущей функции потерь: ${\displaystyle a,b>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}<0\end{cases}}}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\frac {a}{a+b}}.}$

Задний режим

• Следующая функция потерь сложнее: она дает либо апостериорную моду , либо точку, близкую к ней, в зависимости от кривизны и свойств апостериорного распределения. Рекомендуются малые значения параметра , чтобы использовать моду в качестве приближения ( ): ${\displaystyle K>0}$ ${\displaystyle L>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\\L,&{\mbox{for }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}}$

Можно придумать и другие функции потерь, хотя среднеквадратическая ошибка является наиболее широко используемой и проверенной. Другие функции потерь используются в статистике, особенно в надежной статистике .

Обобщенные байесовские оценки

До сих пор предполагалось, что априорное распределение является истинным распределением вероятностей, т.е. ${\displaystyle p}$

${\displaystyle \int p(\theta )d\theta =1.}$

Однако иногда это может быть ограничительным требованием. Например, не существует распределения (охватывающего множество R всех действительных чисел), для которого каждое действительное число одинаково вероятно. Тем не менее, в некотором смысле, такое «распределение» кажется естественным выбором для неинформативного априорного распределения , т. е. априорного распределения, которое не подразумевает предпочтения для какого-либо конкретного значения неизвестного параметра. Можно все еще определить функцию , но это не будет правильным распределением вероятностей, поскольку оно имеет бесконечную массу, ${\displaystyle p(\theta )=1}$

${\displaystyle \int {p(\theta )d\theta }=\infty .}$

Такие меры , которые не являются распределениями вероятностей, называются неправильными априорными значениями . ${\displaystyle p(\theta )}$

Использование неправильного априорного распределения означает, что байесовский риск не определен (поскольку априорное распределение не является распределением вероятностей, и мы не можем принять ожидание по нему). Как следствие, больше не имеет смысла говорить о байесовской оценке, которая минимизирует байесовский риск. Тем не менее, во многих случаях можно определить апостериорное распределение

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }}.}$

Это определение, а не применение теоремы Байеса , поскольку теорема Байеса может быть применена только тогда, когда все распределения правильны. Однако не редкость, когда полученное «апостериорное» распределение оказывается действительным распределением вероятностей. В этом случае апостериорный ожидаемый убыток

${\displaystyle \int {L(\theta ,a)p(\theta |x)d\theta }}$

обычно хорошо определен и конечен. Напомним, что для правильного априорного значения байесовская оценка минимизирует апостериорные ожидаемые потери. Когда априорное значение неправильное, оценка, которая минимизирует апостериорные ожидаемые потери, называется обобщенной байесовской оценкой . ^[2]

Пример

Типичным примером является оценка параметра местоположения с функцией потерь типа . Здесь есть параметр местоположения, т.е. . ${\displaystyle L(a-\theta )}$ ${\displaystyle \theta }$ ${\displaystyle p(x|\theta )=f(x-\theta )}$

В этом случае обычно используют неправильную априорную информацию , особенно когда нет другой более субъективной информации. Это дает ${\displaystyle p(\theta )=1}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{p(x)}}={\frac {f(x-\theta )}{p(x)}}}$

поэтому апостериорный ожидаемый убыток

${\displaystyle E[L(a-\theta )|x]=\int {L(a-\theta )p(\theta |x)d\theta }={\frac {1}{p(x)}}\int L(a-\theta )f(x-\theta )d\theta .}$

Обобщенная оценка Байеса — это значение , которое минимизирует это выражение для заданного . Это эквивалентно минимизации ${\displaystyle a(x)}$ ${\displaystyle x}$

${\displaystyle \int L(a-\theta )f(x-\theta )d\theta }$для данного         (1) ${\displaystyle x.}$

В этом случае можно показать, что обобщенная байесова оценка имеет вид , для некоторой константы . Чтобы увидеть это, пусть будет значением, минимизирующим (1) при . Тогда, учитывая другое значение , мы должны минимизировать ${\displaystyle x+a_{0}}$ ${\displaystyle a_{0}}$ ${\displaystyle a_{0}}$ ${\displaystyle x=0}$ ${\displaystyle x_{1}}$

${\displaystyle \int L(a-\theta )f(x_{1}-\theta )d\theta =\int L(a-x_{1}-\theta ')f(-\theta ')d\theta '.}$        (2)

Это идентично (1), за исключением того, что было заменено на . Таким образом, минимизация выражения задается как , так что оптимальная оценка имеет вид ${\displaystyle a}$ ${\displaystyle a-x_{1}}$ ${\displaystyle a-x_{1}=a_{0}}$

${\displaystyle a(x)=a_{0}+x.\,\!}$

Эмпирические байесовские оценки

Байесовская оценка, полученная с помощью эмпирического байесовского метода , называется эмпирической байесовской оценкой . Эмпирические байесовские методы позволяют использовать вспомогательные эмпирические данные из наблюдений связанных параметров при разработке байесовской оценки. Это делается в предположении, что оцениваемые параметры получены из общего априорного значения. Например, если выполняются независимые наблюдения различных параметров, то эффективность оценки конкретного параметра иногда может быть улучшена за счет использования данных из других наблюдений.

Существуют как параметрические , так и непараметрические подходы к эмпирической байесовской оценке. ^[4]

Пример

Ниже приведен простой пример параметрической эмпирической байесовской оценки. Учитывая, что прошлые наблюдения имеют условное распределение , интересно оценить на основе . Предположим, что у ' есть общее априорное распределение , зависящее от неизвестных параметров. Например, предположим, что является нормальным с неизвестным средним значением и дисперсией Затем мы можем использовать прошлые наблюдения для определения среднего значения и дисперсии следующим образом. ${\displaystyle x_{1},\ldots ,x_{n}}$ ${\displaystyle f(x_{i}|\theta _{i})}$ ${\displaystyle \theta _{n+1}}$ ${\displaystyle x_{n+1}}$ ${\displaystyle \theta _{i}}$ ${\displaystyle \pi }$ ${\displaystyle \pi }$ ${\displaystyle \mu _{\pi }\,\!}$ ${\displaystyle \sigma _{\pi }\,\!.}$ ${\displaystyle \pi }$

Сначала мы оцениваем среднее значение и дисперсию предельного распределения, используя подход максимального правдоподобия : ${\displaystyle \mu _{m}\,\!}$ ${\displaystyle \sigma _{m}\,\!}$ ${\displaystyle x_{1},\ldots ,x_{n}}$

${\displaystyle {\widehat {\mu }}_{m}={\frac {1}{n}}\sum {x_{i}},}$

${\displaystyle {\widehat {\sigma }}_{m}^{2}={\frac {1}{n}}\sum {(x_{i}-{\widehat {\mu }}_{m})^{2}}.}$

Далее мы используем закон полного ожидания для вычисления и закон полной дисперсии для вычисления таким образом, что ${\displaystyle \mu _{m}}$ ${\displaystyle \sigma _{m}^{2}}$

${\displaystyle \mu _{m}=E_{\pi }[\mu _{f}(\theta )]\,\!,}$

${\displaystyle \sigma _{m}^{2}=E_{\pi }[\sigma _{f}^{2}(\theta )]+E_{\pi }[(\mu _{f}(\theta )-\mu _{m})^{2}],}$

где и — моменты условного распределения , которые считаются известными. В частности, предположим, что и что ; тогда имеем ${\displaystyle \mu _{f}(\theta )}$ ${\displaystyle \sigma _{f}(\theta )}$ ${\displaystyle f(x_{i}|\theta _{i})}$ ${\displaystyle \mu _{f}(\theta )=\theta }$ ${\displaystyle \sigma _{f}^{2}(\theta )=K}$

${\displaystyle \mu _{\pi }=\mu _{m}\,\!,}$

${\displaystyle \sigma _{\pi }^{2}=\sigma _{m}^{2}-\sigma _{f}^{2}=\sigma _{m}^{2}-K.}$

Наконец, мы получаем оценочные моменты априорных данных,

${\displaystyle {\widehat {\mu }}_{\pi }={\widehat {\mu }}_{m},}$

${\displaystyle {\widehat {\sigma }}_{\pi }^{2}={\widehat {\sigma }}_{m}^{2}-K.}$

Например, если , и если мы предполагаем нормальное априорное распределение (которое в данном случае является сопряженным априорным распределением), мы заключаем, что , из которого можно вычислить байесовскую оценку на основе . ${\displaystyle x_{i}|\theta _{i}\sim N(\theta _{i},1)}$ ${\displaystyle \theta _{n+1}\sim N({\widehat {\mu }}_{\pi },{\widehat {\sigma }}_{\pi }^{2})}$ ${\displaystyle \theta _{n+1}}$ ${\displaystyle x_{n+1}}$

Характеристики

Допустимость

Правила Байеса с конечным байесовским риском обычно допустимы . Ниже приведены некоторые конкретные примеры теорем допустимости.

• Если правило Байеса уникально, то оно допустимо. ^[5] Например, как указано выше, при средней квадратической ошибке (MSE) правило Байеса уникально и, следовательно, допустимо.
• Если θ принадлежит дискретному множеству , то все правила Байеса допустимы.
• Если θ принадлежит непрерывному (недискретному) множеству и если функция риска R(θ,δ) непрерывна по θ для каждого δ, то все правила Байеса допустимы.

Напротив, обобщенные правила Байеса часто имеют неопределенный байесовский риск в случае неправильных априорных значений. Эти правила часто недопустимы, и проверка их допустимости может быть сложной. Например, обобщенная байесовская оценка параметра местоположения θ на основе гауссовых выборок (описанная в разделе «Обобщенная байесовская оценка» выше) недопустима для ; это известно как явление Штейна . ${\displaystyle p>2}$

Асимптотическая эффективность

Пусть θ — неизвестная случайная величина, и предположим, что — выборки iid с плотностью . Пусть — последовательность байесовских оценок θ, основанная на возрастающем числе измерений. Нас интересует анализ асимптотической производительности этой последовательности оценок, т. е. производительности для больших n . ${\displaystyle x_{1},x_{2},\ldots }$ ${\displaystyle f(x_{i}|\theta )}$ ${\displaystyle \delta _{n}=\delta _{n}(x_{1},\ldots ,x_{n})}$ ${\displaystyle \delta _{n}}$

С этой целью принято рассматривать θ как детерминированный параметр, истинное значение которого равно . При определенных условиях ^[6] для больших выборок (большие значения n ) апостериорная плотность θ приблизительно нормальна. Другими словами, для больших n , влияние априорной вероятности на апостериорную пренебрежимо мало. Более того, если δ является байесовской оценкой при риске MSE, то она асимптотически несмещена и сходится по распределению к нормальному распределению : ${\displaystyle \theta _{0}}$

${\displaystyle {\sqrt {n}}(\delta _{n}-\theta _{0})\to N\left(0,{\frac {1}{I(\theta _{0})}}\right),}$

где I (θ ₀ ) — информация Фишера для θ ₀ . Отсюда следует, что байесовская оценка δ _n при MSE асимптотически эффективна .

Другой оценщик, который является асимптотически нормальным и эффективным, — это оценщик максимального правдоподобия (MLE). Отношения между оценщиками максимального правдоподобия и байесовскими оценщиками можно показать на следующем простом примере.

Пример: оценкапв биномиальном распределении

Рассмотрим оценку θ на основе биномиальной выборки x ~b(θ, n ), где θ обозначает вероятность успеха. Предполагая, что θ распределено в соответствии с сопряженным априорным распределением, которое в данном случае является бета-распределением B( a , b ), апостериорное распределение, как известно, равно B(a+x,b+nx). Таким образом, оценка Байеса при MSE имеет вид

${\displaystyle \delta _{n}(x)=E[\theta |x]={\frac {a+x}{a+b+n}}.}$

В этом случае MLE равен x/n, и поэтому мы получаем,

${\displaystyle \delta _{n}(x)={\frac {a+b}{a+b+n}}E[\theta ]+{\frac {n}{a+b+n}}\delta _{MLE}.}$

Последнее уравнение подразумевает, что при n → ∞ оценка Байеса (в описываемой задаче) близка к MLE.

С другой стороны, когда n мало, априорная информация все еще имеет отношение к проблеме принятия решения и влияет на оценку. Чтобы увидеть относительный вес априорной информации, предположим, что a = b ; в этом случае каждое измерение приносит 1 новый бит информации; формула выше показывает, что априорная информация имеет тот же вес, что и a+b бит новой информации. В приложениях часто очень мало известно о тонких деталях априорного распределения; в частности, нет причин предполагать, что оно точно совпадает с B( a , b ). В таком случае одна из возможных интерпретаций этого расчета такова: «существует непатологическое априорное распределение со средним значением 0,5 и стандартным отклонением d , которое дает вес априорной информации, равный 1/(4 d ² )-1 бит новой информации».

Другим примером того же явления является случай, когда априорная оценка и измерение распределены нормально. Если априорная оценка центрирована в точке B с отклонением Σ, а измерение центрировано в точке b с отклонением σ, то апостериорная оценка центрирована в точке , причем веса в этом взвешенном среднем составляют α=σ², β=Σ². Более того, квадрат апостериорного отклонения равен Σ²+σ². Другими словами, априорная оценка объединяется с измерением точно так же, как если бы это было дополнительное измерение, которое нужно учитывать. ${\displaystyle {\frac {\alpha }{\alpha +\beta }}B+{\frac {\beta }{\alpha +\beta }}b}$

Например, если Σ=σ/2, то отклонение 4 измерений в совокупности соответствует отклонению априорного значения (предполагая, что ошибки измерений независимы). И веса α, β в формуле для апостериорного значения соответствуют этому: вес априорного значения в 4 раза больше веса измерения. Объединение этого априорного значения с n измерениями со средним v приводит к апостериорному значению, центрированному на ; в частности, априорное значение играет ту же роль, что и 4 измерения, сделанные заранее. В общем случае априорное значение имеет вес измерений (σ/Σ)². ${\displaystyle {\frac {4}{4+n}}V+{\frac {n}{4+n}}v}$

Сравните с примером биномиального распределения: здесь априорная вероятность имеет вес (σ/Σ)²−1 измерений. Видно, что точный вес зависит от деталей распределения, но когда σ≫Σ, разница становится небольшой.

Практический пример байесовских оценок

База данных фильмов в Интернете использует формулу для расчета и сравнения рейтингов фильмов, присвоенных пользователями, включая 250 лучших фильмов , которая, как утверждается, дает «истинную байесовскую оценку». ^[7] Следующая байесовская формула изначально использовалась для расчета средневзвешенного балла для 250 лучших фильмов, хотя с тех пор формула изменилась:

${\displaystyle W={Rv+Cm \over v+m}\ }$

где:

${\displaystyle W\ }$= взвешенный рейтинг

${\displaystyle R\ }$= средняя оценка фильма в виде числа от 1 до 10 (среднее) = (Рейтинг)

${\displaystyle v\ }$= количество голосов/рейтингов фильма = (голосов)

${\displaystyle m\ }$= вес, присвоенный предыдущей оценке (в данном случае количество голосов, которое IMDB посчитал необходимым для того, чтобы средний рейтинг приблизился к статистической достоверности)

${\displaystyle C\ }$= средний голос по всему пулу (в настоящее время 7,0)

Обратите внимание, что W — это просто взвешенное арифметическое среднее R и C с весовым вектором (v, m) . Когда количество оценок превышает m , уверенность в средней оценке превосходит уверенность в средней оценке для всех фильмов (C), и взвешенный байесовский рейтинг (W) приближается к прямому среднему (R). Чем ближе v ( количество оценок для фильма) к нулю, тем ближе W к C , где W — взвешенный рейтинг, а C — средний рейтинг всех фильмов. Таким образом, проще говоря, чем меньше оценок/голосов отдано за фильм, тем больше взвешенный рейтинг этого фильма будет смещен в сторону среднего по всем фильмам, в то время как фильмы с большим количеством оценок/голосов будут иметь рейтинг, приближающийся к его чистому среднему арифметическому рейтингу.

Подход IMDb гарантирует, что фильм, имеющий всего несколько оценок (все по 10), не будет иметь рейтинг выше, например, «Крестного отца», средний балл которого составляет 9,2 из более чем 500 000 оценок.

Смотрите также

• Рекурсивная байесовская оценка
• Обобщенная ожидаемая полезность

Примечания

1. Леманн и Каселла, Теорема 4.1.1
2. Леманн и Каселла, Определение 4.2.9
3. Джейнс, ET (2007). Теория вероятностей: логика науки (5-е печатное издание). Кембридж [ua]: Cambridge Univ. Press. стр. 172. ISBN 978-0-521-59271-0.
4. Бергер (1980), раздел 4.5.
5. Леманн и Каселла (1998), Теорема 5.2.4.
6. Леманн и Каселла (1998), раздел 6.8
7. Топ 250 IMDb

Ссылки

• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 0-387-96098-8. МР  0804611.
• Леманн, Э. Л.; Каселла, Г. (1998). Теория точечной оценки (2-е изд.). Springer. ISBN 0-387-98502-6.
• Pilz, Jürgen (1991). "Байесовская оценка". Байесовская оценка и экспериментальный дизайн в моделях линейной регрессии . Чичестер: John Wiley & Sons. стр. 38–117. ISBN 0-471-91732-X.

Внешние ссылки

• «Байесовский оценщик», Энциклопедия математики , EMS Press , 2001 [1994]