Условное распределение вероятностей

Концепция теории вероятностей и статистики

В теории вероятностей и статистике условное распределение вероятностей — это распределение вероятностей, которое описывает вероятность результата при наступлении определенного события. Учитывая две совместно распределенные случайные величины и , условное распределение вероятностей данного представляет собой распределение вероятностей того, когда известно , что это конкретное значение; в некоторых случаях условные вероятности могут быть выражены как функции, содержащие в качестве параметра неопределенное значение . Когда обе и являются категориальными переменными , для представления условной вероятности обычно используется таблица условной вероятности. Условное распределение контрастирует с маргинальным распределением случайной величины, которое представляет собой ее распределение без привязки к значению другой переменной. ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle Y}$

Если условное распределение данного является непрерывным распределением , то его функция плотности вероятности известна как функция условной плотности . ^[1] Свойства условного распределения, такие как моменты , часто обозначаются соответствующими именами, такими как условное среднее и условное отклонение . ${\displaystyle Y}$ ${\displaystyle X}$

В более общем смысле можно относиться к условному распределению подмножества набора из более чем двух переменных; это условное распределение зависит от значений всех остальных переменных, и если в подмножество включено более одной переменной, то это условное распределение является условным совместным распределением включенных переменных.

Условные дискретные распределения

Для дискретных случайных величин условную функцию массы вероятности данного можно записать в соответствии с ее определением как: ${\displaystyle Y}$ ${\displaystyle X=x}$

${\displaystyle p_{Y|X}(y\mid x)\triangleq P(Y=y\mid X=x)={\frac {P(\{X=x\}\cap \{Y=y\})}{P(X=x)}}\qquad }$

Из-за появления в знаменателе это определяется только для ненулевых (следовательно, строго положительных) ${\displaystyle P(X=x)}$ ${\displaystyle P(X=x).}$

Связь с распределением вероятностей данных такова : ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle P(Y=y\mid X=x)P(X=x)=P(\{X=x\}\cap \{Y=y\})=P(X=x\mid Y=y)P(Y=y).}$

Пример

Рассмотрим бросок игральной кости и определим, четное ли число (т. е. 2, 4 или 6) и в противном случае. Кроме того, пусть, если число простое (т. е. 2, 3 или 5) и в противном случае. ${\displaystyle X=1}$ ${\displaystyle X=0}$ ${\displaystyle Y=1}$ ${\displaystyle Y=0}$

Тогда безусловная вероятность равна 3/6 = 1/2 (поскольку существует шесть возможных бросков игральной кости, из которых три четные), тогда как вероятность того, что условное значение равна 1/3 (поскольку существует три возможных броска простых чисел —2, 3 и 5 — из них один четный). ${\displaystyle X=1}$ ${\displaystyle X=1}$ ${\displaystyle Y=1}$

Условные непрерывные распределения

Аналогично для непрерывных случайных величин условная функция плотности вероятности с учетом появления значения может быть записана как ^{[2] : p. 99} ${\displaystyle Y}$ ${\displaystyle x}$ ${\displaystyle X}$

${\displaystyle f_{Y\mid X}(y\mid x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}\qquad }$

где дает совместную плотность и , а дает предельную плотность для . Также в этом случае необходимо, чтобы . ${\displaystyle f_{X,Y}(x,y)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f_{X}(x)}$ ${\displaystyle X}$ ${\displaystyle f_{X}(x)>0}$

Связь с распределением вероятностей данного определяется следующим образом: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X,Y}(x,y)=f_{X|Y}(x\mid y)f_{Y}(y).}$

Концепция условного распределения непрерывной случайной величины не так интуитивна, как может показаться: парадокс Бореля показывает, что условные функции плотности вероятности не обязательно должны быть инвариантными относительно преобразований координат.

Пример

Двумерная нормальная плотность суставов

На графике показана двумерная нормальная плотность соединений для случайных величин и . Чтобы увидеть распределение условного на , можно сначала визуализировать линию на плоскости , а затем визуализировать плоскость, содержащую эту линию и перпендикулярную плоскости . Пересечение этой плоскости с нормальной плотностью соединения, после масштабирования для получения единичной площади под пересечением, является соответствующей условной плотностью . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X=70}$ ${\displaystyle X=70}$ ${\displaystyle X,Y}$ ${\displaystyle X,Y}$ ${\displaystyle Y}$

${\displaystyle Y\mid X=70\ \sim \ {\mathcal {N}}\left(\mu _{Y}+{\frac {\sigma _{Y}}{\sigma _{X}}}\rho (70-\mu _{X}),\,(1-\rho ^{2})\sigma _{Y}^{2}\right).}$

Отношение к независимости

Случайные переменные независимы тогда и только тогда , когда условное распределение данного для всех возможных реализаций равно безусловному распределению . Для дискретных случайных величин это означает для всех возможных и с . Для непрерывных случайных величин и , имеющих совместную функцию плотности , это означает для всех возможных и с . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle P(Y=y|X=x)=P(Y=y)}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle P(X=x)>0}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f_{Y}(y|X=x)=f_{Y}(y)}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle f_{X}(x)>0}$

Характеристики

Если рассматривать это как функцию от for данного , это функция массы вероятности, поэтому сумма по всем (или интеграл, если это условная плотность вероятности) равна 1. Если рассматривать это как функцию от for данного , это функция правдоподобия , так что сумма (или интеграл) по всем не обязательно должна быть равна 1. ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle P(Y=y|X=x)}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle x}$

Кроме того, предел совместного распределения может быть выражен как ожидание соответствующего условного распределения. Например, . ${\displaystyle p_{X}(x)=E_{Y}[p_{X|Y}(x\ |\ Y)]}$

Теоретико-мерная формулировка

Пусть – вероятностное пространство, -поле в . Учитывая , из теоремы Радона-Никодима следует, что существует ^[3] -измеримая случайная величина , называемая условной вероятностью , такая, что ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle {\mathcal {G}}\subseteq {\mathcal {F}}}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle A\in {\mathcal {F}}}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle P(A\mid {\mathcal {G}}):\Omega \to \mathbb {R} }$

$${\displaystyle \int _{G}P(A\mid {\mathcal {G}})(\omega )dP(\omega )=P(A\cap G)}$$

регулярнойвероятностной мерой ${\displaystyle G\in {\mathcal {G}}}$ ${\displaystyle \operatorname {P} (\cdot \mid {\mathcal {G}})(\omega )}$ ${\displaystyle (\Omega ,{\mathcal {F}})}$ ${\displaystyle \omega \in \Omega }$

Особые случаи:

• Для тривиальной сигма-алгебры условная вероятность — это постоянная функция ${\displaystyle {\mathcal {G}}=\{\emptyset ,\Omega \}}$ ${\displaystyle \operatorname {P} \!\left(A\mid \{\emptyset ,\Omega \}\right)=\operatorname {P} (A).}$
• Если , то , индикаторная функция (определенная ниже). ${\displaystyle A\in {\mathcal {G}}}$ ${\displaystyle \operatorname {P} (A\mid {\mathcal {G}})=1_{A}}$

Пусть - случайная величина со значением. Для каждого определите ${\displaystyle X:\Omega \to E}$ ${\displaystyle (E,{\mathcal {E}})}$ ${\displaystyle B\in {\mathcal {E}}}$

$${\displaystyle \mu _{X\,|\,{\mathcal {G}}}(B\,|\,{\mathcal {G}})=\mathrm {P} (X^{-1}(B)\,|\,{\mathcal {G}}).}$$

распределением вероятностейрегулярной ${\displaystyle \omega \in \Omega }$ ${\displaystyle \mu _{X\,|{\mathcal {G}}}(\cdot \,|{\mathcal {G}})(\omega ):{\mathcal {E}}\to \mathbb {R} }$ ${\displaystyle X}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle (E,{\mathcal {E}})}$

Для вещественной случайной величины (по отношению к борелевскому -полю на ) каждое условное распределение вероятностей является регулярным. ^[4] В данном случае почти наверняка. ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {R}}^{1}}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle E[X\mid {\mathcal {G}}]=\int _{-\infty }^{\infty }x\,\mu (dx,\cdot )}$

Отношение к условному ожиданию

Для любого события определите индикаторную функцию : ${\displaystyle A\in {\mathcal {F}}}$

${\displaystyle \mathbf {1} _{A}(\omega )={\begin{cases}1\;&{\text{if }}\omega \in A,\\0\;&{\text{if }}\omega \notin A,\end{cases}}}$

что является случайной величиной. Обратите внимание, что математическое ожидание этой случайной величины равно вероятности самого А :

${\displaystyle \operatorname {E} (\mathbf {1} _{A})=\operatorname {P} (A).\;}$

Учитывая -поле , условная вероятность является версией условного ожидания индикаторной функции для : ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {G}}\subseteq {\mathcal {F}}}$ ${\displaystyle \operatorname {P} (A\mid {\mathcal {G}})}$ ${\displaystyle A}$

${\displaystyle \operatorname {P} (A\mid {\mathcal {G}})=\operatorname {E} (\mathbf {1} _{A}\mid {\mathcal {G}})\;}$

Ожидание случайной величины по отношению к регулярной условной вероятности равно ее условному математическому ожиданию.

Интерпретация обусловленности сигма-полем

Рассмотрим вероятностное пространство и субсигма поле . Поле субсигмы можно условно интерпретировать как содержащее подмножество информации в . Например, мы могли бы думать о вероятности события , учитывая информацию в . ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ ${\displaystyle {\mathcal {A}}\subset {\mathcal {F}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle \mathbb {P} (B|{\mathcal {A}})}$ ${\displaystyle B}$ ${\displaystyle {\mathcal {A}}}$

Также помните, что событие не зависит от поля субсигмы, если для всех . В целом неверно делать вывод, что представленная информация ничего не говорит нам о вероятности наступления события. Это можно показать на контрпримере: ${\displaystyle B}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle \mathbb {P} (B|A)=\mathbb {P} (B)}$ ${\displaystyle A\in {\mathcal {A}}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle B}$

Рассмотрим вероятностное пространство на единичном интервале . Пусть – сигма-поле всех счетных множеств и множеств, дополнение к которым счетно. Таким образом, каждый набор имеет меру или и поэтому не зависит от каждого события в . Однако обратите внимание, что он также содержит все одноэлементные события (те наборы, которые содержат только один ). Таким образом, знание того, какое из событий произошло, эквивалентно знанию того, какое именно произошло! Таким образом, в одном смысле он не содержит информации о (он независим от него), а в другом смысле он содержит всю информацию в . ^[5] ${\displaystyle \Omega =[0,1]}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle 0}$ ${\displaystyle 1}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle \omega \in \Omega }$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle \omega \in \Omega }$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle {\mathcal {F}}}$

Смотрите также

• Обусловливание (вероятность)
• Условная возможность
• Регулярная условная вероятность
• Теорема Байеса

Рекомендации

Цитаты

1. Росс, Шелдон М. (1993). Введение в вероятностные модели (Пятое изд.). Сан-Диего: Академическая пресса. стр. 88–91. ISBN 0-12-598455-3.
2. Пак, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3.
3. Биллингсли (1995), с. 430
4. Биллингсли (1995), с. 439
5. Биллингсли, Патрик (28 февраля 2012 г.). Вероятность и мера. Хобокен, Нью-Джерси: Уайли. ISBN 978-1-118-12237-2.

Источники

• Биллингсли, Патрик (1995). Вероятность и мера (3-е изд.). Нью-Йорк, штат Нью-Йорк: Джон Уайли и сыновья.