Условная независимость

Концепция теории вероятностей

В теории вероятностей условная независимость описывает ситуации, в которых наблюдение не имеет значения или является избыточным при оценке достоверности гипотезы. Условная независимость обычно формулируется в терминах условной вероятности , как особый случай, когда вероятность гипотезы при наличии неинформативного наблюдения равна вероятности без него. Если — гипотеза, а и — наблюдения, условную независимость можно сформулировать как равенство: ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$

${\displaystyle P(A\mid B,C)=P(A\mid C)}$

где — вероятность того, что заданы оба значения и . Поскольку вероятность того, что заданы оба значения и , это равенство выражает, что не вносит никакого вклада в определенность . В этом случае и называются условно независимыми при заданных , что записывается символически как: . На языке обозначений причинного равенства две функции и , которые обе зависят от общей переменной, описываются как условно независимые с помощью обозначения , что эквивалентно обозначению . ${\displaystyle P(A\mid B,C)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle (A\perp \!\!\!\perp B\mid C)}$ ${\displaystyle f(y)}$ ${\displaystyle g(y)}$ ${\displaystyle y}$ ${\displaystyle f\left(y\right)~{\overset {\curvearrowleft \curvearrowright }{=}}~g\left(y\right)}$ ${\displaystyle P(f\mid g,y)=P(f\mid y)}$

Концепция условной независимости имеет важное значение для теорий статистического вывода, основанных на графах, поскольку она устанавливает математическую связь между набором условных утверждений и графоидом .

Условная независимость событий

Пусть , , и будут событиями . И называются условно независимыми тогда и только тогда, когда и : ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle P(C)>0}$

${\displaystyle P(A\mid B,C)=P(A\mid C)}$

Это свойство часто записывается как , что следует читать . ${\displaystyle (A\perp \!\!\!\perp B\mid C)}$ ${\displaystyle ((A\perp \!\!\!\perp B)\vert C)}$

Эквивалентно условную независимость можно сформулировать так:

${\displaystyle P(A,B|C)=P(A|C)P(B|C)}$

где — совместная вероятность и при условии . Эта альтернативная формулировка утверждает, что и являются независимыми событиями при условии . ${\displaystyle P(A,B|C)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$

Это показывает, что эквивалентно . ${\displaystyle (A\perp \!\!\!\perp B\mid C)}$ ${\displaystyle (B\perp \!\!\!\perp A\mid C)}$

Доказательство эквивалентного определения

${\displaystyle P(A,B\mid C)=P(A\mid C)P(B\mid C)}$

если и только если      (определение условной вероятности ) ${\displaystyle {\frac {P(A,B,C)}{P(C)}}=\left({\frac {P(A,C)}{P(C)}}\right)\left({\frac {P(B,C)}{P(C)}}\right)}$

если и только если       (умножить обе части на ) ${\displaystyle P(A,B,C)={\frac {P(A,C)P(B,C)}{P(C)}}}$ ${\displaystyle P(C)}$

если и только если       (разделить обе части на ) ${\displaystyle {\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,C)}{P(C)}}}$ ${\displaystyle P(B,C)}$

если и только если       (определение условной вероятности) ${\displaystyle P(A\mid B,C)=P(A\mid C)}$ ${\displaystyle \therefore }$

Примеры

Цветные коробки

Каждая ячейка представляет возможный результат. События и представлены областями, закрашенными красным , синим и желтым соответственно . Перекрытие между событиями и закрашено фиолетовым . ${\displaystyle \color {red}R}$ ${\displaystyle \color {blue}B}$ ${\displaystyle \color {gold}Y}$ ${\displaystyle \color {red}R}$ ${\displaystyle \color {blue}B}$

Вероятности этих событий заштрихованы по отношению к общей площади. В обоих примерах и являются условно независимыми, поскольку: ${\displaystyle \color {red}R}$ ${\displaystyle \color {blue}B}$ ${\displaystyle \color {gold}Y}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})}$^[1]

но не условно независимы, потому что: ${\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})}$

Близость и задержки

Пусть события A и B определяются как вероятность того, что человек A и человек B будут дома вовремя к ужину, где оба человека случайным образом выбираются из всего мира. События A и B можно считать независимыми, то есть знание того, что A опаздывает, оказывает минимальное или нулевое влияние на вероятность того, что B опоздает. Однако если ввести третье событие, человек A и человек B живут в одном районе, два события теперь считаются не условно независимыми. Дорожные условия и погодные условия, которые могут задержать человека A, могут также задержать человека B. Учитывая третье событие и знание того, что человек A опоздал, вероятность того, что человек B опоздает, существенно меняется. ^[2]

Бросание костей

Условная независимость зависит от характера третьего события. Если вы бросаете две игральные кости, можно предположить, что две игральные кости ведут себя независимо друг от друга. Просмотр результатов одной игральной кости не скажет вам о результате второй игральной кости. (То есть, две игральные кости независимы.) Если, однако, результат первой игральной кости равен 3, и кто-то говорит вам о третьем событии — что сумма двух результатов четная — то эта дополнительная единица информации ограничивает варианты для второго результата нечетным числом. Другими словами, два события могут быть независимыми, но НЕ условно независимыми. ^[2]

Рост и словарный запас

Рост и словарный запас зависят, поскольку очень маленькие люди, как правило, дети, известные своим более базовым словарным запасом. Но зная, что двум людям по 19 лет (т.е., в зависимости от возраста), нет причин думать, что словарный запас одного человека больше, если нам говорят, что он выше.

Условная независимость случайных величин

Две дискретные случайные величины и условно независимы при наличии третьей дискретной случайной величины тогда и только тогда, когда они независимы в своем условном распределении вероятностей при наличии . То есть, и условно независимы при наличии любого значения , распределение вероятностей одинаково для всех значений и распределение вероятностей одинаково для всех значений . Формально: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

где — условная кумулятивная функция распределения и задана . ${\displaystyle F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

Два события и условно независимы при заданной σ-алгебре , если ${\displaystyle R}$ ${\displaystyle B}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}}$

где обозначает условное ожидание индикаторной функции события , , с учетом сигма-алгебры . То есть, ${\displaystyle \Pr(A\mid \Sigma )}$ ${\displaystyle A}$ ${\displaystyle \chi _{A}}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}$

Две случайные величины и условно независимы при заданной σ-алгебре , если приведенное выше уравнение выполняется для всех в и в . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \Sigma }$ ${\displaystyle R}$ ${\displaystyle \sigma (X)}$ ${\displaystyle B}$ ${\displaystyle \sigma (Y)}$

Две случайные величины и условно независимы при заданной случайной величине, если они независимы при заданной σ ( W ): σ-алгебра, порожденная . Это обычно записывается: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$ ${\displaystyle W}$

${\displaystyle X\perp \!\!\!\perp Y\mid W}$или

${\displaystyle X\perp Y\mid W}$

Это читается как « независимо от данного » ; обусловленность применяется ко всему утверждению: «( независимо от ) данного ». ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Эта нотация распространяется на « независимо от » . ${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Если предполагает счетное множество значений, это эквивалентно условной независимости X и Y для событий вида . Условная независимость более чем двух событий или более чем двух случайных величин определяется аналогично. ${\displaystyle W}$ ${\displaystyle [W=w]}$

Следующие два примера показывают, что ни то, ни другое не подразумевается и не подразумевается . ${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Сначала предположим, что равно 0 с вероятностью 0,5 и 1 в противном случае. Когда W  = 0 возьмем и независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. Когда , и снова независимы, но на этот раз они принимают значение 1 с вероятностью 0,99. Тогда . Но и зависимы, потому что Pr( X  = 0) < Pr( X  = 0| Y  = 0). Это потому, что Pr( X  = 0) = 0,5, но если Y  = 0, то весьма вероятно, что W  = 0 и, следовательно, что X  = 0, поэтому Pr( X  = 0| Y  = 0) > 0,5. ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W=1}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$ ${\displaystyle X}$ ${\displaystyle Y}$

Для второго примера предположим , что каждое из них принимает значения 0 и 1 с вероятностью 0,5. Пусть будет произведением . Тогда, когда , Pr( X  = 0) = 2/3, но Pr( X  = 0| Y  = 0) = 1/2, поэтому ложно. Это также пример Explaining Away. См. учебник Кевина Мерфи ^[3] , где и принимают значения «мозговитый» и «спортивный». ${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle W}$ ${\displaystyle X\cdot Y}$ ${\displaystyle W=0}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$ ${\displaystyle X}$ ${\displaystyle Y}$

Условная независимость случайных векторов

Два случайных вектора и условно независимы при наличии третьего случайного вектора тогда и только тогда, когда они независимы в своем условном кумулятивном распределении при наличии . Формально: ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Z} }$

где , а и условные кумулятивные распределения определяются следующим образом. ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }}$ ${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }}$ ${\displaystyle \mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }}$

${\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}$

Использование в байесовском выводе

Пусть p будет долей избирателей, которые проголосуют «за» на предстоящем референдуме . При проведении опроса общественного мнения из населения случайным образом выбирают n избирателей. Для i  = 1, ...,  n пусть X _i = 1 или 0, что соответствует, соответственно, тому, проголосует  ли i- й выбранный избиратель «за» или нет.

При частотном подходе к статистическому выводу не приписывают никакого распределения вероятностей p (если только вероятности не могут быть каким-то образом интерпретированы как относительные частоты появления некоторого события или как доли некоторой совокупности) и можно сказать, что X ₁ , ..., X _n являются независимыми случайными величинами.

Напротив, в байесовском подходе к статистическому выводу можно было бы присвоить распределение вероятностей p независимо от отсутствия какой-либо такой «частотной» интерпретации, и можно было бы истолковать вероятности как степени веры в то, что p находится в любом интервале, которому назначена вероятность. В этой модели случайные величины X ₁ , ...,  X _n не являются независимыми, но они условно независимы при заданном значении p . В частности, если большое количество X s наблюдается равным 1, это означало бы высокую условную вероятность , при заданном наблюдении, что p близок к 1, и, таким образом, высокую условную вероятность , при заданном наблюдении, что следующее наблюдаемое X будет равно 1.

Правила условной независимости

Из основного определения был выведен набор правил, регулирующих утверждения об условной независимости. ^{[4] [5]}

Эти правила были названы « Аксиомами графоида » Перлом и Пасом ^[6] , поскольку они справедливы в графах, где интерпретируется как: «Все пути от X до A пересекаются множеством B ». ^[7] ${\displaystyle X\perp \!\!\!\perp A\mid B}$

Симметрия

${\displaystyle X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X}$

Доказательство:

Обратите внимание, что нам требуется доказать, если то . Обратите внимание, что если то можно показать , что . Поэтому как и требовалось. ${\displaystyle P(X|Y)=P(X)}$ ${\displaystyle P(Y|X)=P(Y)}$ ${\displaystyle P(X|Y)=P(X)}$ ${\displaystyle P(X,Y)=P(X)P(Y)}$ ${\displaystyle P(Y|X)=P(X,Y)/P(X)=P(X)P(Y)/P(X)=P(Y)}$

Разложение

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}}$

Доказательство

• ${\displaystyle p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)}$      (значение ) ${\displaystyle X\perp \!\!\!\perp A,B}$
• ${\displaystyle \int _{B}p_{X,A,B}(x,a,b)\,db=\int _{B}p_{X}(x)p_{A,B}(a,b)\,db}$      (игнорируем переменную B, интегрируя ее)
• ${\displaystyle p_{X,A}(x,a)=p_{X}(x)p_{A}(a)}$     

Аналогичное доказательство показывает независимость X и B.

Слабый профсоюз

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}}$

Доказательство

• По предположению, . ${\displaystyle \Pr(X)=\Pr(X\mid A,B)}$
• Ввиду свойства разложения , . ${\displaystyle X\perp \!\!\!\perp B}$ ${\displaystyle \Pr(X)=\Pr(X\mid B)}$
• Объединение двух приведенных выше равенств дает , что устанавливает . ${\displaystyle \Pr(X\mid B)=\Pr(X\mid A,B)}$ ${\displaystyle X\perp \!\!\!\perp A\mid B}$

Второе условие доказывается аналогично.

Сокращение

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B}$

Доказательство

Это свойство можно доказать, заметив , каждое равенство которых утверждается и соответственно. ${\displaystyle \Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)}$ ${\displaystyle X\perp \!\!\!\perp A\mid B}$ ${\displaystyle X\perp \!\!\!\perp B}$

Пересечение

Для строго положительных распределений вероятностей ^[5] также справедливо следующее:

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z}$

Доказательство

По предположению:

${\displaystyle P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)}$

Используя это равенство вместе с законом полной вероятности, примененным к : ${\displaystyle P(X|Z)}$

${\displaystyle {\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}}$

Так как и , то следует, что . ${\displaystyle P(X|Z,W,Y)=P(X|Z,Y)}$ ${\displaystyle P(X|Z,Y)=P(X|Z)}$ ${\displaystyle P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z}$

Техническое примечание: поскольку эти импликации справедливы для любого вероятностного пространства, они останутся справедливыми, если рассмотреть субвселенную, обусловливая все другой переменной, скажем,  K. Например, также будет означать, что . ${\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X}$ ${\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}$

Смотрите также

• Графоид
• Условная зависимость
• Теорема де Финетти
• Условное ожидание

Ссылки

1. Чтобы увидеть, что это так, нужно понять, что Pr( R ∩ B | Y ) — это вероятность перекрытия R и B (фиолетовая заштрихованная область) в области Y. Поскольку на рисунке слева есть два квадрата, где R и B перекрываются в области Y , а область Y имеет двенадцать квадратов, Pr( R ∩ B | Y ) = ⁠2/12⁠ = ⁠1/6⁠ . Аналогично, Pr( R | Y ) = ⁠4/12⁠ = ⁠1/3⁠ и Pr( B | Y ) = ⁠6/12⁠ = ⁠1/2⁠ .
2. Может ли кто-нибудь объяснить условную независимость?
3. «Графические модели».
4. Дэвид, А. П. (1979). «Условная независимость в статистической теории». Журнал Королевского статистического общества, Серия B. 41 ( 1): 1–31. JSTOR  2984718. MR  0535541.
5. J Pearl, Причинность: модели, рассуждения и выводы, 2000, Cambridge University Press
6. Pearl, Judea ; Paz, Azaria (1986). «Graphoids: Graph-Based Logic for Reasoning about Relevance Relations or When would x tell you more about y if you already know z?». В du Boulay, Benedict; Hogg, David C.; Steels, Luc (ред.). Advances in Artificial Intelligence II, Седьмая европейская конференция по искусственному интеллекту, ECAI 1986, Брайтон, Великобритания, 20–25 июля 1986 г., Труды (PDF) . North-Holland. стр. 357–363.
7. Перл, Джудеа (1988). Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода . Морган Кауфманн. ISBN 9780934613736.

Внешние ссылки

• Медиа, связанные с Условная независимость на Wikimedia Commons