Апостериорная вероятность

Условная вероятность, используемая в байесовской статистике.

Апостериорная вероятность — это тип условной вероятности , который возникает в результате обновления априорной вероятности информацией, суммированной по вероятности, посредством применения правила Байеса . ^[1] С эпистемологической точки зрения апостериорная вероятность содержит все, что нужно знать о неопределенном утверждении (например, научной гипотезе или значениях параметров), учитывая предварительные знания и математическую модель, описывающую наблюдения, доступные в определенный момент времени. ^[2] После поступления новой информации текущая апостериорная вероятность может служить априорной в следующем раунде байесовского обновления. ^[3]

В контексте байесовской статистики апостериорное распределение вероятностей обычно описывает эпистемическую неопределенность в отношении статистических параметров , обусловленную набором наблюдаемых данных. На основании заданного апостериорного распределения можно получить различные точечные и интервальные оценки , такие как максимальный апостериорный интервал (MAP) или интервал максимальной апостериорной плотности (HPDI). ^[4] Но, несмотря на концептуальную простоту, апостериорное распределение, как правило, трудно поддается контролю, и поэтому его необходимо аппроксимировать аналитически или численно. ^[5]

Определение в распределительном случае

В вариационных байесовских методах апостериорная вероятность представляет собой вероятность параметров с учетом данных и обозначается . ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle p(\theta |X)}$

Она контрастирует с функцией правдоподобия , которая представляет собой вероятность свидетельства с учетом параметров: . ${\displaystyle p(X|\theta )}$

Они связаны следующим образом:

Учитывая априорное убеждение, что функция распределения вероятностей равна , а наблюдения имеют вероятность , тогда апостериорная вероятность определяется как ${\displaystyle p(\theta )}$ ${\displaystyle x}$ ${\displaystyle p(x|\theta )}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )}{p(x)}}p(\theta )}$, ^[6]

где – нормировочная константа и рассчитывается как ${\displaystyle p(x)}$

${\displaystyle p(x)=\int p(x|\theta )p(\theta )d\theta }$

для непрерывного или путем суммирования по всем возможным значениям для дискретного . ^[7] ${\displaystyle \theta }$ ${\displaystyle p(x|\theta )p(\theta )}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$

Следовательно, апостериорная вероятность пропорциональна произведению Вероятность · Априорная вероятность . ^[8]

Пример

Предположим, есть школа, в которой учатся 60% мальчиков и 40% девочек. Девушки носят брюки или юбки в равном количестве; все мальчики носят брюки. Наблюдатель видит (случайного) ученика на расстоянии; все, что может видеть наблюдатель, это то, что этот студент носит брюки. Какова вероятность, что этот студент окажется девочкой? Правильный ответ можно вычислить с помощью теоремы Байеса.

Событие состоит в том, что наблюдаемый студент — девочка, а событие в том, что наблюдаемый студент одет в брюки. Чтобы вычислить апостериорную вероятность , нам сначала нужно знать: ${\displaystyle G}$ ${\displaystyle T}$ ${\displaystyle P(G|T)}$

• ${\displaystyle P(G)}$, или вероятность того, что студентка — девочка, независимо от любой другой информации. Поскольку наблюдатель видит случайного студента, то есть все студенты имеют одинаковую вероятность быть наблюдаемым, а процент девочек среди студентов составляет 40%, то эта вероятность равна 0,4.
• ${\displaystyle P(B)}$, или вероятность того, что ученик не девочка (т.е. мальчик) независимо от любой другой информации ( дополнительное событие к ). Это 60%, или 0,6. ${\displaystyle B}$ ${\displaystyle G}$
• ${\displaystyle P(T|G)}$, или вероятность того, что студент будет носить брюки, учитывая, что студент — девочка. Поскольку они с такой же вероятностью носят юбки, как и брюки, этот показатель равен 0,5.
• ${\displaystyle P(T|B)}$, или вероятность того, что студент будет носить брюки, учитывая, что это мальчик. Это дается как 1.
• ${\displaystyle P(T)}$, или вероятность того, что (случайно выбранный) студент будет носить брюки независимо от любой другой информации. Поскольку (по закону полной вероятности ) это . ${\displaystyle P(T)=P(T|G)P(G)+P(T|B)P(B)}$ ${\displaystyle P(T)=0.5\times 0.4+1\times 0.6=0.8}$

Учитывая всю эту информацию, апостериорную вероятность того, что наблюдатель заметил девушку, учитывая, что наблюдаемый студент носит брюки, можно вычислить, подставив эти значения в формулу:

${\displaystyle P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.}$

Интуитивный способ решить эту задачу — предположить, что в школе учатся N учеников. Количество мальчиков = 0,6N и количество девочек = 0,4N. Если N достаточно велико, общее количество носящих брюки = 0,6N + 50% от 0,4N. А количество девушек, носящих брюки = 50% от 0,4N. Следовательно, в популяции брюк девочек (50% от 0,4N)/(0,6N+ 50% от 0,4N) = 25%. Другими словами, если выделить группу носящих брюки, то четверть этой группы составят девушки. Таким образом, если вы видите брюки, максимум, что вы можете сделать, это то, что вы смотрите на одну выборку из подгруппы студентов, 25% из которых составляют девочки. И по определению вероятность того, что этот случайный студент окажется девочкой, составляет 25%. Таким образом можно решить любую задачу, связанную с теоремой Байеса. ^[9]

Расчет

Апостериорное распределение вероятностей одной случайной величины с учетом значения другой можно рассчитать с помощью теоремы Байеса путем умножения априорного распределения вероятностей на функцию правдоподобия , а затем деления на нормализующую константу следующим образом:

${\displaystyle f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}}$

дает апостериорную функцию плотности вероятности для случайной величины с учетом данных , где ${\displaystyle X}$ ${\displaystyle Y=y}$

• ${\displaystyle f_{X}(x)}$- априорная плотность , ${\displaystyle X}$
• ${\displaystyle {\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)}$функция правдоподобия как функция , ${\displaystyle x}$
• ${\displaystyle \int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}$- нормировочная константа, а
• ${\displaystyle f_{X\mid Y=y}(x)}$- апостериорная плотность данных . ^[10] ${\displaystyle X}$ ${\displaystyle Y=y}$

Достоверный интервал

Апостериорная вероятность — это условная вероятность, обусловленная случайно наблюдаемыми данными. Следовательно, это случайная величина. Для случайной величины важно суммировать ее неопределенность. Один из способов достижения этой цели — обеспечить достоверный интервал апостериорной вероятности. ^[11]

Классификация

В классификации апостериорные вероятности отражают неопределенность отнесения наблюдения к определенному классу, см. также вероятности принадлежности к классу . В то время как методы статистической классификации по определению генерируют апостериорные вероятности, машинное обучение обычно предоставляет значения членства, которые не вызывают какой-либо вероятностной уверенности. Желательно преобразовать или перемасштабировать значения членства в вероятности членства в классе, поскольку они сопоставимы и, кроме того, их легче применить для последующей обработки. ^[12]

Смотрите также

• Интервал прогнозирования
• Теорема Бернштейна – фон Мизеса
• Вероятность успеха
• Байесовская эпистемология
• Алгоритм Метрополиса – Гастингса

Рекомендации

1. Ламберт, Бен (2018). «Апостериорное - цель байесовского вывода». Руководство для студентов по байесовской статистике . Мудрец. стр. 121–140. ISBN 978-1-4739-1636-4.
2. Гроссман, Джейсон (2005). Выводы из наблюдений к простым статистическим гипотезам (кандидатская диссертация). Университет Сиднея. hdl : 2123/9107.
3. Этц, Алекс (25 июля 2015 г.). «Понимание Байеса: обновление априорных значений через вероятность». Etz-файлы . Проверено 18 августа 2022 г.
4. Гилл, Джефф (2014). «Суммирование апостериорных распределений с интервалами». Байесовские методы: подход социальных и поведенческих наук (Третье изд.). Чепмен и Холл. стр. 42–48. ISBN 978-1-4398-6248-3.
5. Пресс, С. Джеймс (1989). «Аппроксимации, численные методы и компьютерные программы». Байесовская статистика: принципы, модели и приложения . Нью-Йорк: Джон Уайли и сыновья. стр. 69–102. ISBN 0-471-63729-7.
6. Кристофер М. Бишоп (2006). Распознавание образов и машинное обучение . Спрингер. стр. 21–24. ISBN 978-0-387-31073-2.
7. Эндрю Гельман, Джон Б. Карлин, Хэл С. Стерн, Дэвид Б. Дансон, Аки Вехтари и Дональд Б. Рубин (2014). Байесовский анализ данных . ЦРК Пресс. п. 7. ISBN 978-1-4398-4095-5.{{cite book}}: CS1 maint: multiple names: authors list (link)
8. Росс, Кевин. Глава 8. Введение в непрерывные априорные и апостериорные распределения | Введение в байесовские рассуждения и методы.
9. «Теорема Байеса - C или T ex T» . сайты.google.com . Проверено 18 августа 2022 г.
10. «Апостериорная вероятность - поисковая система формул» . Formulasearchengine.com . Проверено 19 августа 2022 г.
11. Клайд, Мерлиз; Четинкая-Рундель, Шахта; Рандел, Колин; Бэнкс, Дэвид; Чай, Кристина; Хуанг, Лиззи. Глава 1. Основы байесовской статистики | Введение в байесовское мышление.
12. Бодекер, Питер; Кернс, Натан Т. (9 июля 2019 г.). «Линейный дискриминантный анализ для прогнозирования членства в группах: удобный учебник». Достижения в методах и практике психологической науки . 2 (3): 250–263. дои : 10.1177/2515245919849378. ISSN  2515-2459. S2CID  199007973.

дальнейшее чтение

• Ланкастер, Тони (2004). Введение в современную байесовскую эконометрику . Оксфорд: Блэквелл. ISBN 1-4051-1720-6.
• Ли, Питер М. (2004). Байесовская статистика: Введение (3-е изд.). Уайли . ISBN 0-340-81405-5.