Предельная вероятность

В байесовской теории вероятностей

Маргинальное правдоподобие — это функция правдоподобия , интегрированная по пространству параметров . В байесовской статистике он представляет собой вероятность создания наблюдаемой выборки для всех возможных значений параметров; ее можно понимать как вероятность самой модели, и поэтому ее часто называют свидетельством модели или просто доказательством .

Благодаря интегрированию по пространству параметров предельная вероятность не зависит напрямую от параметров. Если основное внимание уделяется не сравнению моделей, предельная вероятность — это просто нормализующая константа, которая гарантирует, что апостериорная вероятность является правильной. Это связано со статистической суммой в статистической механике . ^[1]

Концепция

Учитывая набор независимых одинаково распределенных точек данных , где в соответствии с некоторым распределением вероятностей, параметризованным , где сама является случайной величиной, описываемой распределением, т.е. предельная вероятность в целом спрашивает, какова вероятность , где была исключена (интегрирована) : ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n}),}$ ${\displaystyle x_{i}\sim p(x|\theta )}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle \theta \sim p(\theta \mid \alpha ),}$ ${\displaystyle p(\mathbf {X} \mid \alpha )}$ ${\displaystyle \theta }$

${\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname {d} \!\theta }$

Приведенное выше определение сформулировано в контексте байесовской статистики, в этом случае называется априорной плотностью и является правдоподобием. Предельное правдоподобие количественно определяет соответствие между данными и априорными данными в геометрическом смысле, уточненное ^{[ как? ]} в de Carvalho et al. (2019). В классической ( частотной ) статистике концепция предельного правдоподобия встречается вместо этого в контексте совместного параметра , где — фактический интересующий параметр, а — неинтересный мешающий параметр . Если существует распределение вероятностей для ^{[ сомнительно ]} , часто желательно рассматривать функцию правдоподобия только с точки зрения , исключая : ${\displaystyle p(\theta \mid \alpha )}$ ${\displaystyle p(\mathbf {X} \mid \theta )}$ ${\displaystyle \theta =(\psi ,\lambda )}$ ${\displaystyle \psi }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \psi }$ ${\displaystyle \lambda }$

${\displaystyle {\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda }$

К сожалению, предельную вероятность обычно трудно вычислить. Точные решения известны для небольшого класса распределений, особенно когда маргинализированный параметр является сопряженным априорным значением распределения данных. В других случаях необходим какой-то метод численного интегрирования : либо общий метод, такой как интеграция по Гауссу или метод Монте-Карло , либо метод, специализированный для статистических задач, такой как аппроксимация Лапласа , выборка Гиббса / Метрополиса или алгоритм EM .

Также возможно применить приведенные выше соображения к одной случайной величине (точке данных) , а не к набору наблюдений. В байесовском контексте это эквивалентно априорному прогнозируемому распределению точки данных. ${\displaystyle x}$

Приложения

Сравнение байесовских моделей

При сравнении байесовских моделей маргинальные переменные являются параметрами для конкретного типа модели, а оставшаяся переменная — это идентификатор самой модели. В этом случае маргинальная вероятность — это вероятность данных с учетом типа модели без учета каких-либо конкретных параметров модели. Записывая параметры модели, предельное правдоподобие для модели M равно ${\displaystyle \theta }$ ${\displaystyle M}$ ${\displaystyle \theta }$

${\displaystyle p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta }$

Именно в этом контексте обычно используется термин «доказательства модели» . Эта величина важна, поскольку апостериорное отношение шансов для модели M ₁ по сравнению с другой моделью M ₂ включает в себя отношение предельных правдоподобий, так называемый фактор Байеса :

${\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}}$

что схематически можно выразить как

апостериорные шансы = априорные шансы × фактор Байеса

Смотрите также

• Эмпирические методы Байеса
• Парадокс Линдли
• Предельная вероятность
• Байесовский информационный критерий

Рекомендации

1. Шмидл, Вацлав; Куинн, Энтони (2006). «Байесовская теория». Вариационный метод Байеса в обработке сигналов . Спрингер. стр. 13–23. дои : 10.1007/3-540-28820-1_2.

дальнейшее чтение

• Чарльз С. Бос. «Сравнение методов расчета предельного правдоподобия». В. Хердле и Б. Ронце, редакторах, COMPSTAT 2002: Proceedings in Computational Статистика , стр. 111–117. 2002 г. (Доступен в виде препринта по номеру SSRN  332860).
• де Карвальо, Мигель; Пейдж, Гэрритт; Барни, Брэдли (2019). «О геометрии байесовского вывода». Байесовский анализ . 14 (4): 1013–1036. (Доступно в виде препринта в Интернете: [1])
• Ламберт, Бен (2018). «Дьявол в знаменателе». Руководство для студентов по байесовской статистике . Мудрец. стр. 109–120. ISBN 978-1-4739-1636-4.
• Онлайн-учебник: «Теория информации, логический вывод и алгоритмы обучения» Дэвида Маккея .