Условная независимость

Концепция теории вероятностей

В теории вероятностей условная независимость описывает ситуации, когда наблюдение нерелевантно или избыточно при оценке достоверности гипотезы. Условная независимость обычно формулируется в терминах условной вероятности как особого случая, когда вероятность гипотезы при неинформативном наблюдении равна вероятности без нее. Если – гипотеза, и – наблюдения, то условную независимость можно сформулировать как равенство: ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$

${\displaystyle P(A\mid B,C)=P(A\mid C)}$

где вероятность данных обоих и . Поскольку вероятность данного равна вероятности данного и , это равенство выражает то, что ничего не способствует достоверности . В этом случае и называются условно независимыми данными , что символически записывается как: . На языке обозначений причинного равенства две функции и обе зависят от общей переменной описываются как условно независимые с использованием обозначения , которое эквивалентно обозначению . ${\displaystyle P(A\mid B,C)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle (A\perp \!\!\!\perp B\mid C)}$ ${\displaystyle f(y)}$ ${\displaystyle g(y)}$ ${\displaystyle y}$ ${\displaystyle f\left(y\right)~{\overset {\curvearrowleft \curvearrowright }{=}}~g\left(y\right)}$ ${\displaystyle P(f\mid g,y)=P(f\mid y)}$

Концепция условной независимости важна для теорий статистического вывода, основанных на графах, поскольку она устанавливает математическую связь между набором условных утверждений и графоидом .

Условная независимость событий

Пусть , , и будут событиями . и называются условно независимыми тогда и только тогда, когда и: ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle P(C)>0}$

${\displaystyle P(A\mid B,C)=P(A\mid C)}$

Это свойство часто пишется: , что и следует читать . ${\displaystyle (A\perp \!\!\!\perp B\mid C)}$ ${\displaystyle ((A\perp \!\!\!\perp B)\vert C)}$

Эквивалентно, условная независимость может быть сформулирована как:

${\displaystyle P(A,B|C)=P(A|C)P(B|C)}$

где - совместная вероятность и данного . Эта альтернативная формулировка утверждает, что и являются независимыми событиями при данных . ${\displaystyle P(A,B|C)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$

Это демонстрирует, что эквивалентно . ${\displaystyle (A\perp \!\!\!\perp B\mid C)}$ ${\displaystyle (B\perp \!\!\!\perp A\mid C)}$

Доказательство эквивалентного определения

${\displaystyle P(A,B\mid C)=P(A\mid C)P(B\mid C)}$

iff      (определение условной вероятности ) ${\displaystyle {\frac {P(A,B,C)}{P(C)}}=\left({\frac {P(A,C)}{P(C)}}\right)\left({\frac {P(B,C)}{P(C)}}\right)}$

iff       (умножить обе части на ) ${\displaystyle P(A,B,C)={\frac {P(A,C)P(B,C)}{P(C)}}}$ ${\displaystyle P(C)}$

если       (разделим обе части на ) ${\displaystyle {\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,C)}{P(C)}}}$ ${\displaystyle P(B,C)}$

iff       (определение условной вероятности) ${\displaystyle P(A\mid B,C)=P(A\mid C)}$ ${\displaystyle \therefore }$

Примеры

Цветные коробки

Каждая ячейка представляет возможный результат. События и представлены областями, заштрихованными красным , синим и желтым цветом соответственно. Перекрытие между событиями и заштриховано фиолетовым цветом . ${\displaystyle \color {red}R}$ ${\displaystyle \color {blue}B}$ ${\displaystyle \color {gold}Y}$ ${\displaystyle \color {red}R}$ ${\displaystyle \color {blue}B}$

Вероятности этих событий представлены заштрихованными областями относительно общей площади. В обоих примерах и условно независимы, поскольку: ${\displaystyle \color {red}R}$ ${\displaystyle \color {blue}B}$ ${\displaystyle \color {gold}Y}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})}$^[1]

но не является условно независимым, поскольку: ${\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})}$

Близость и задержки

Пусть события A и B определяются как вероятность того, что человек A и человек B вернутся домой к ужину, причем оба человека случайным образом выбираются со всего мира. Можно предположить, что события A и B независимы, т.е. знание того, что A опаздывает, практически не влияет на вероятность опоздания B. Однако если введено третье событие, человек А и человек Б живут в одном районе, то эти два события теперь не считаются условно независимыми. Дорожные условия и погодные явления, которые могут задержать человека А, могут также задержать и человека Б. Учитывая третье событие и знание того, что человек А опоздал, вероятность того, что человек Б опоздает, существенно изменится. ^[2]

Игра в кости

Условная независимость зависит от характера третьего события. Если вы бросите два кубика, можно предположить, что они ведут себя независимо друг от друга. Просмотр результатов одной кости не скажет вам о результате второй кости. (То есть два кубика независимы.) Однако если результат первого кубика равен 3, а кто-то говорит вам о третьем событии (что сумма двух результатов четная), то эта дополнительная единица информации ограничивает результат. варианты 2-го результата до нечетного числа. Другими словами, два события могут быть независимыми, но НЕ условно независимыми. ^[2]

Рост и словарный запас

Рост и словарный запас зависят от этого, поскольку очень маленькие люди, как правило, являются детьми, известными своим более простым словарным запасом. Но зная, что двум людям 19 лет (т.е. в зависимости от возраста), нет оснований думать, что словарный запас одного человека больше, если нам говорят, что он выше ростом.

Условная независимость случайных величин

Две дискретные случайные величины и условно независимы с учетом третьей дискретной случайной величины тогда и только тогда, когда они независимы в своем условном распределении вероятностей, заданном . То есть и являются условно независимыми, если и только если при любом значении распределение вероятностей одинаково для всех значений и распределение вероятностей одинаково для всех значений . Формально: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

где – условная кумулятивная функция распределения и задана . ${\displaystyle F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

Два события и условно независимы в данной σ-алгебре , если ${\displaystyle R}$ ${\displaystyle B}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}}$

где обозначает условное математическое ожидание индикаторной функции события , , учитывая сигма-алгебру . То есть, ${\displaystyle \Pr(A\mid \Sigma )}$ ${\displaystyle A}$ ${\displaystyle \chi _{A}}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}$

Две случайные величины и условно независимы в данной σ-алгебре, если приведенное выше уравнение справедливо для всех in и in . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \Sigma }$ ${\displaystyle R}$ ${\displaystyle \sigma (X)}$ ${\displaystyle B}$ ${\displaystyle \sigma (Y)}$

Две случайные величины и условно независимы с учетом случайной величины, если они независимы с учетом σ ( W ): σ-алгебра, порожденная . Обычно пишут: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$ ${\displaystyle W}$

${\displaystyle X\perp \!\!\!\perp Y\mid W}$или

${\displaystyle X\perp Y\mid W}$

Это гласило: « независимо от данного »; условие применяется ко всему утверждению: «( независимо от ) данного ». ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Это обозначение распространяется на « независимо от » . ${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Если предполагает счетное множество значений, это эквивалентно условной независимости X и Y для событий вида . Аналогично определяется условная независимость более двух событий или более двух случайных величин. ${\displaystyle W}$ ${\displaystyle [W=w]}$

Следующие два примера показывают, что ни подразумевается, ни не подразумевается . ${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Во-первых, предположим, что это 0 с вероятностью 0,5 и 1 в противном случае. При W  = 0 возьмем и независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. При , и снова независимы, но на этот раз принимают значение 1 с вероятностью 0,99. Затем . Но и зависимы, поскольку Pr( X  = 0) < Pr( X  = 0| Y  = 0). Это потому, что Pr( X  = 0) = 0,5, но если Y  = 0, то весьма вероятно, что W  = 0 и, следовательно, X  = 0, поэтому Pr( X  = 0 | Y  = 0) > 0,5. ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W=1}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$ ${\displaystyle X}$ ${\displaystyle Y}$

Для второго примера предположим , что каждый принимает значения 0 и 1 с вероятностью 0,5. Пусть будет продукт . Тогда , когда Pr( X  = 0) = 2/3, но Pr( X  = 0 | Y  = 0) = 1/2, это неверно. Это также пример объяснения. См. учебник Кевина Мерфи ^[3], где и берут значения «умный» и «спортивный». ${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle W}$ ${\displaystyle X\cdot Y}$ ${\displaystyle W=0}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$ ${\displaystyle X}$ ${\displaystyle Y}$

Условная независимость случайных векторов

Два случайных вектора и являются условно независимыми с учетом третьего случайного вектора тогда и только тогда, когда они независимы в своем условном кумулятивном распределении, заданном . Формально: ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Z} }$

где , и и условные кумулятивные распределения определяются следующим образом. ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }}$ ${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }}$ ${\displaystyle \mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }}$

${\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}$

Использование в байесовском выводе

Пусть p — доля избирателей, которые проголосуют «за» на предстоящем референдуме . При проведении опроса общественного мнения случайным образом выбираются n избирателей из числа населения. Для i  = 1, ...,  n пусть X _i  = 1 или 0 соответствует, соответственно, тому, будет ли i-й выбранный избиратель голосовать «за» или нет.

При частотном подходе к статистическому выводу нельзя приписывать p какое-либо распределение вероятностей (если только вероятности не могут быть каким-то образом интерпретированы как относительная частота появления какого-либо события или как доля некоторой популяции) и можно было бы сказать, что X ₁ ,... , X _n — независимые случайные величины.

Напротив, в байесовском подходе к статистическому выводу можно было бы приписать p распределение вероятностей независимо от отсутствия какой-либо такой «частотной» интерпретации, и можно было бы истолковать вероятности как степени уверенности в том, что p находится в любом интервале которому присвоена вероятность. В этой модели случайные величины X ₁ , ...,  X _n не являются независимыми, но они являются условно независимыми с учетом значения p . В частности, если наблюдается большое количество X, равное 1, это будет означать высокую условную вероятность , учитывая это наблюдение, что p близко к 1, и, следовательно, высокую условную вероятность , учитывая это наблюдение, что следующий наблюдаемый X будет равен 1.

Правила условной независимости

Набор правил, регулирующих заявления об условной независимости, был получен из базового определения. ^{[4] [5]}

Эти правила были названы Перлом и Пазом «аксиомами графоида » ^[6] , поскольку они соблюдаются в графах, что интерпретируется как следующее: «Все пути от X до A пересекаются множеством B ». ^[7] ${\displaystyle X\perp \!\!\!\perp A\mid B}$

Симметрия

${\displaystyle X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X}$

Доказательство:

Обратите внимание, что нам необходимо доказать, если то . Обратите внимание, что если то это можно показать . Поэтому по мере необходимости. ${\displaystyle P(X|Y)=P(X)}$ ${\displaystyle P(Y|X)=P(Y)}$ ${\displaystyle P(X|Y)=P(X)}$ ${\displaystyle P(X,Y)=P(X)P(Y)}$ ${\displaystyle P(Y|X)=P(X,Y)/P(X)=P(X)P(Y)/P(X)=P(Y)}$

Разложение

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}}$

Доказательство

• ${\displaystyle p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)}$      (значение ) ${\displaystyle X\perp \!\!\!\perp A,B}$
• ${\displaystyle \int _{B}p_{X,A,B}(x,a,b)\,db=\int _{B}p_{X}(x)p_{A,B}(a,b)\,db}$      (игнорируйте переменную B , интегрируя ее)
• ${\displaystyle p_{X,A}(x,a)=p_{X}(x)p_{A}(a)}$     

Аналогичное доказательство показывает независимость X и B.

Слабый союз

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}}$

Доказательство

• По предположению, . ${\displaystyle \Pr(X)=\Pr(X\mid A,B)}$
• Благодаря свойству разложения , . ${\displaystyle X\perp \!\!\!\perp B}$ ${\displaystyle \Pr(X)=\Pr(X\mid B)}$
• Объединение двух приведенных выше равенств дает , что устанавливает . ${\displaystyle \Pr(X\mid B)=\Pr(X\mid A,B)}$ ${\displaystyle X\perp \!\!\!\perp A\mid B}$

Второе условие доказывается аналогично.

Сокращение

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B}$

Доказательство

Это свойство можно доказать, заметив , каждое равенство которого утверждается и , соответственно. ${\displaystyle \Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)}$ ${\displaystyle X\perp \!\!\!\perp A\mid B}$ ${\displaystyle X\perp \!\!\!\perp B}$

Пересечение

Для строго положительных распределений вероятностей ^[5] также справедливо следующее:

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z}$

Доказательство

По предположению:

${\displaystyle P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)}$

Используя это равенство вместе с Законом полной вероятности, применимым к : ${\displaystyle P(X|Z)}$

${\displaystyle {\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}}$

Так как и , то следует, что . ${\displaystyle P(X|Z,W,Y)=P(X|Z,Y)}$ ${\displaystyle P(X|Z,Y)=P(X|Z)}$ ${\displaystyle P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z}$

Техническое примечание: поскольку эти выводы справедливы для любого вероятностного пространства, они все равно будут справедливы, если рассматривать подвселенную, обуславливая все другой переменной, скажем  , K. Например, это также будет означать, что . ${\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X}$ ${\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}$

Смотрите также

• графоид
• Условная зависимость
• теорема де Финетти
• Условное ожидание

Рекомендации

1. Чтобы увидеть, что это так, нужно осознать, что Pr( R ∩ B | Y ) — это вероятность перекрытия R и B (область, заштрихованная фиолетовым цветом) в области Y. Поскольку на рисунке слева есть два квадрата, где R и B перекрываются внутри области Y , а область Y состоит из двенадцати квадратов, Pr( R ∩ B | Y ) =2/12"="1/6. Аналогично, Pr( R | Y ) =4/12"="1/3и Pr( B | Y ) =6/12"="1/2.
2. Может ли кто-нибудь объяснить условную независимость?
3. «Графические модели».
4. Дэвид, AP (1979). «Условная независимость в статистической теории». Журнал Королевского статистического общества, серия B. 41 (1): 1–31. JSTOR  2984718. МР  0535541.
5. Дж. Перл, Причинность: модели, рассуждения и выводы, 2000, Cambridge University Press.
6. Перл, Иудея ; Пас, Азария (1986). «Графоиды: графическая логика для рассуждений об отношениях релевантности или когда x расскажет вам больше об y, если вы уже знаете z?». Ин дю Буле, Бенедикт; Хогг, Дэвид С.; Стилс, Люк (ред.). Достижения в области искусственного интеллекта II, Седьмая Европейская конференция по искусственному интеллекту, ECAI 1986, Брайтон, Великобритания, 20–25 июля 1986 г., Материалы (PDF) . Северная Голландия. стр. 357–363.
7. Перл, Иудея (1988). Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода . Морган Кауфманн. ISBN 9780934613736.

Внешние ссылки

• СМИ, связанные с условной независимостью, на Викискладе?