Апостериорная вероятность

Условная вероятность, используемая в байесовской статистике

Апостериорная вероятность — это тип условной вероятности , которая возникает в результате обновления априорной вероятности с помощью информации, суммированной правдоподобием посредством применения правила Байеса . ^[1] С эпистемологической точки зрения апостериорная вероятность содержит все, что нужно знать о неопределенном предложении (например, научной гипотезе или значениях параметров), учитывая априорные знания и математическую модель, описывающую наблюдения, доступные в определенное время. ^[2] После поступления новой информации текущая апостериорная вероятность может служить априорной в другом раунде байесовского обновления. ^[3]

В контексте байесовской статистики апостериорное распределение вероятностей обычно описывает эпистемическую неопределенность статистических параметров, обусловленную набором наблюдаемых данных. Из заданного апостериорного распределения могут быть получены различные точечные и интервальные оценки , такие как максимальный апостериорный (MAP) или наивысший апостериорный интервал плотности (HPDI). ^[4] Но хотя концептуально апостериорное распределение простое, оно, как правило, не поддается обработке и поэтому должно быть либо аналитически, либо численно аппроксимировано. ^[5]

Определение в распределительном случае

В байесовской статистике апостериорная вероятность — это вероятность параметров при данных доказательствах и обозначается . ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle p(\theta |X)}$

Она контрастирует с функцией правдоподобия , которая представляет собой вероятность доказательства при заданных параметрах: . ${\displaystyle p(X|\theta )}$

Эти два понятия связаны следующим образом:

Учитывая предварительное убеждение, что функция распределения вероятностей имеет вид и что наблюдения имеют вероятность , то апостериорная вероятность определяется как ${\displaystyle p(\theta )}$ ${\displaystyle x}$ ${\displaystyle p(x|\theta )}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )}{p(x)}}p(\theta )}$, ^[6]

где — нормирующая константа, которая рассчитывается как ${\displaystyle p(x)}$

${\displaystyle p(x)=\int p(x|\theta )p(\theta )d\theta }$

для непрерывного , или суммированием по всем возможным значениям для дискретного . ^[7] ${\displaystyle \theta }$ ${\displaystyle p(x|\theta )p(\theta )}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$

Следовательно, апостериорная вероятность пропорциональна произведению Вероятность · Априорная вероятность . ^[8]

Пример

Предположим, что есть школа, в которой учатся 60% мальчиков и 40% девочек. Девочки носят брюки или юбки в равном количестве; все мальчики носят брюки. Наблюдатель видит (случайного) ученика издалека; все, что может увидеть наблюдатель, это то, что этот ученик носит брюки. Какова вероятность того, что этот ученик — девочка? Правильный ответ можно вычислить с помощью теоремы Байеса.

Событие заключается в том, что наблюдаемый студент — девочка, и событие заключается в том, что наблюдаемый студент носит брюки. Чтобы вычислить апостериорную вероятность , нам сначала нужно знать: ${\displaystyle G}$ ${\displaystyle T}$ ${\displaystyle P(G|T)}$

• ${\displaystyle P(G)}$, или вероятность того, что студент — девочка, независимо от любой другой информации. Поскольку наблюдатель видит случайного студента, то есть все студенты имеют одинаковую вероятность быть замеченными, а процент девочек среди студентов составляет 40%, эта вероятность равна 0,4.
• ${\displaystyle P(B)}$, или вероятность того, что студент не девочка (т.е. мальчик) независимо от любой другой информации ( является дополнительным событием к ). Это 60%, или 0,6. ${\displaystyle B}$ ${\displaystyle G}$
• ${\displaystyle P(T|G)}$, или вероятность того, что студент носит брюки, учитывая, что студент — девочка. Поскольку они с такой же вероятностью носят юбки, как и брюки, эта вероятность равна 0,5.
• ${\displaystyle P(T|B)}$, или вероятность того, что студент носит брюки, учитывая, что студент — мальчик. Это дается как 1.
• ${\displaystyle P(T)}$, или вероятность того, что (случайно выбранный) студент будет носить брюки независимо от любой другой информации. Поскольку (по закону полной вероятности ), это . ${\displaystyle P(T)=P(T|G)P(G)+P(T|B)P(B)}$ ${\displaystyle P(T)=0.5\times 0.4+1\times 0.6=0.8}$

Учитывая всю эту информацию, апостериорную вероятность того, что наблюдатель заметил девушку, при условии, что наблюдаемая ученица носит брюки, можно вычислить, подставив эти значения в формулу:

${\displaystyle P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.}$

Интуитивный способ решения этой задачи — предположить, что в школе N учеников. Количество мальчиков = 0,6N, а количество девочек = 0,4N. Если N достаточно велико, общее количество носителей брюк = 0,6N + 50% от 0,4N. А количество носителей брюк среди девочек = 50% от 0,4N. Следовательно, в популяции брюк девочки составляют (50% от 0,4N)/(0,6N + 50% от 0,4N) = 25%. Другими словами, если вы выделите группу носителей брюк, то четверть этой группы будут девочками. Следовательно, если вы видите брюки, самое большее, что вы можете сделать, это то, что вы смотрите на одну выборку из подмножества учеников, где 25% — девочки. И по определению вероятность того, что этот случайный ученик окажется девочкой, составляет 25%. Таким образом можно решить любую задачу теоремы Байеса. ^[9]

Расчет

Апостериорное распределение вероятностей одной случайной величины при заданном значении другой можно рассчитать с помощью теоремы Байеса , умножив априорное распределение вероятностей на функцию правдоподобия , а затем разделив на нормировочную константу , следующим образом:

${\displaystyle f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}}$

дает апостериорную функцию плотности вероятности для случайной величины с учетом данных , где ${\displaystyle X}$ ${\displaystyle Y=y}$

• ${\displaystyle f_{X}(x)}$это априорная плотность , ${\displaystyle X}$
• ${\displaystyle {\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)}$это функция правдоподобия как функция , ${\displaystyle x}$
• ${\displaystyle \int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}$— нормирующая константа, а
• ${\displaystyle f_{X\mid Y=y}(x)}$апостериорная плотность данных . ^[10] ${\displaystyle X}$ ${\displaystyle Y=y}$

Достоверный интервал

Апостериорная вероятность — это условная вероятность, обусловленная случайно наблюдаемыми данными. Следовательно, это случайная величина. Для случайной величины важно суммировать ее величину неопределенности. Один из способов достижения этой цели — предоставить достоверный интервал апостериорной вероятности. ^[11]

Классификация

В классификации апостериорные вероятности отражают неопределенность оценки наблюдения для конкретного класса, см. также вероятности принадлежности к классу . В то время как статистические методы классификации по определению генерируют апостериорные вероятности, машинное обучение обычно предоставляет значения членства, которые не вызывают никакой вероятностной уверенности. Желательно преобразовать или перемасштабировать значения членства в вероятности принадлежности к классу, поскольку они сопоставимы и, кроме того, более легко применимы для постобработки. ^[12]

Смотрите также

• Интервал прогнозирования
• Теорема Бернштейна–фон Мизеса
• Вероятность успеха
• Байесовская эпистемология
• Алгоритм Метрополиса–Гастингса

Ссылки

1. Ламберт, Бен (2018). «Апостериорная – цель байесовского вывода». Руководство для студентов по байесовской статистике . Sage. стр. 121–140. ISBN 978-1-4739-1636-4.
2. Гроссман, Джейсон (2005). Выводы из наблюдений к простым статистическим гипотезам (диссертация доктора философии). Сиднейский университет. hdl :2123/9107.
3. Этц, Алекс (2015-07-25). «Понимание Байеса: обновление априорных данных с помощью правдоподобия». Файлы Этц . Получено 18 августа 2022 г.
4. Гилл, Джефф (2014). «Обобщение апостериорных распределений с интервалами». Байесовские методы: подход социальных и поведенческих наук (третье изд.). Chapman & Hall. стр. 42–48. ISBN 978-1-4398-6248-3.
5. Пресс, С. Джеймс (1989). «Аппроксимации, численные методы и компьютерные программы». Байесовская статистика: принципы, модели и приложения . Нью-Йорк: John Wiley & Sons. стр. 69–102. ISBN 0-471-63729-7.
6. Кристофер М. Бишоп (2006). Распознавание образов и машинное обучение . Springer. стр. 21–24. ISBN 978-0-387-31073-2.
7. Эндрю Гельман, Джон Б. Карлин, Хэл С. Стерн, Дэвид Б. Дансон, Аки Вехтари и Дональд Б. Рубин (2014). Байесовский анализ данных . CRC Press. стр. 7. ISBN 978-1-4398-4095-5.{{cite book}}: CS1 maint: multiple names: authors list (link)
8. Росс, Кевин. Глава 8 Введение в непрерывные априорные и апостериорные распределения | Введение в байесовские рассуждения и методы.
9. "Теорема Байеса - C или T из T". sites.google.com . Получено 2022-08-18 .
10. "Апостериорная вероятность - formulasearchengine". formulasearchengine.com . Получено 2022-08-19 .
11. Клайд, Мерлис; Четинкая-Рандель, Майн; Рандель, Колин; Бэнкс, Дэвид; Чай, Кристин; Хуан, Лиззи. Глава 1 Основы байесовской статистики | Введение в байесовское мышление.
12. Бодекер, Питер; Кернс, Натан Т. (2019-07-09). «Линейный дискриминантный анализ для прогнозирования членства в группе: удобный для пользователя учебник». Достижения в методах и практиках в психологической науке . 2 (3): 250–263. doi :10.1177/2515245919849378. ISSN  2515-2459. S2CID  199007973.

Дальнейшее чтение

• Ланкастер, Тони (2004). Введение в современную байесовскую эконометрику . Оксфорд: Blackwell. ISBN 1-4051-1720-6.
• Ли, Питер М. (2004). Байесовская статистика: Введение (3-е изд.). Wiley . ISBN 0-340-81405-5.