Концепция теории вероятностей
В теории вероятностей условная независимость описывает ситуации, когда наблюдение нерелевантно или избыточно при оценке достоверности гипотезы. Условная независимость обычно формулируется в терминах условной вероятности как особого случая, когда вероятность гипотезы при неинформативном наблюдении равна вероятности без нее. Если – гипотеза, и – наблюдения, то условную независимость можно сформулировать как равенство:
где вероятность данных обоих и . Поскольку вероятность данного равна вероятности данного и , это равенство выражает то, что ничего не способствует достоверности . В этом случае и называются условно независимыми данными , что символически записывается как: . На языке обозначений причинного равенства две функции и обе зависят от общей переменной описываются как условно независимые с использованием обозначения , которое эквивалентно обозначению .
Концепция условной независимости важна для теорий статистического вывода, основанных на графах, поскольку она устанавливает математическую связь между набором условных утверждений и графоидом .
Условная независимость событий
Пусть , , и будут событиями . и называются условно независимыми тогда и только тогда, когда и:
Это свойство часто пишется: , что и следует читать .
Эквивалентно, условная независимость может быть сформулирована как:
где - совместная вероятность и данного . Эта альтернативная формулировка утверждает, что и являются независимыми событиями при данных .
Это демонстрирует, что эквивалентно .
Доказательство эквивалентного определения
- iff (определение условной вероятности )
- iff (умножить обе части на )
- если (разделим обе части на )
- iff (определение условной вероятности)
Примеры
Цветные коробки
Каждая ячейка представляет возможный результат. События и представлены областями , заштрихованными красным , синим и желтым цветом соответственно. Перекрытие между событиями и заштриховано фиолетовым цветом .
Вероятности этих событий представлены заштрихованными областями относительно общей площади. В обоих примерах и условно независимы, поскольку:
- [1]
но не является условно независимым, поскольку:
Близость и задержки
Пусть события A и B определяются как вероятность того, что человек A и человек B вернутся домой к ужину, причем оба человека случайным образом выбираются со всего мира. Можно предположить, что события A и B независимы, т.е. знание того, что A опаздывает, практически не влияет на вероятность опоздания B. Однако если введено третье событие, человек А и человек Б живут в одном районе, то эти два события теперь не считаются условно независимыми. Дорожные условия и погодные явления, которые могут задержать человека А, могут также задержать и человека Б. Учитывая третье событие и знание того, что человек А опоздал, вероятность того, что человек Б опоздает, существенно изменится. [2]
Игра в кости
Условная независимость зависит от характера третьего события. Если вы бросите два кубика, можно предположить, что они ведут себя независимо друг от друга. Просмотр результатов одной кости не скажет вам о результате второй кости. (То есть два кубика независимы.) Однако если результат первого кубика равен 3, а кто-то говорит вам о третьем событии (что сумма двух результатов четная), то эта дополнительная единица информации ограничивает результат. варианты 2-го результата до нечетного числа. Другими словами, два события могут быть независимыми, но НЕ условно независимыми. [2]
Рост и словарный запас
Рост и словарный запас зависят от этого, поскольку очень маленькие люди, как правило, являются детьми, известными своим более простым словарным запасом. Но зная, что двум людям 19 лет (т.е. в зависимости от возраста), нет оснований думать, что словарный запас одного человека больше, если нам говорят, что он выше ростом.
Условная независимость случайных величин
Две дискретные случайные величины и условно независимы с учетом третьей дискретной случайной величины тогда и только тогда, когда они независимы в своем условном распределении вероятностей, заданном . То есть и являются условно независимыми, если и только если при любом значении распределение вероятностей одинаково для всех значений и распределение вероятностей одинаково для всех значений . Формально:
где – условная кумулятивная функция распределения и задана .
Два события и условно независимы в данной σ-алгебре, если
где обозначает условное математическое ожидание индикаторной функции события , , учитывая сигма-алгебру . То есть,
Две случайные величины и условно независимы в данной σ-алгебре, если приведенное выше уравнение справедливо для всех in и in .
Две случайные величины и условно независимы с учетом случайной величины, если они независимы с учетом σ ( W ): σ-алгебра, порожденная . Обычно пишут:
- или
Это гласило: « независимо от данного » ; условие применяется ко всему утверждению: «( независимо от ) данного ».
Это обозначение распространяется на « независимо от » .
Если предполагает счетное множество значений, это эквивалентно условной независимости X и Y для событий вида . Аналогично определяется условная независимость более двух событий или более двух случайных величин.
Следующие два примера показывают, что ни подразумевается, ни не подразумевается .
Во-первых, предположим, что это 0 с вероятностью 0,5 и 1 в противном случае. При W = 0 возьмем и независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. При , и снова независимы, но на этот раз принимают значение 1 с вероятностью 0,99. Затем . Но и зависимы, поскольку Pr( X = 0) < Pr( X = 0| Y = 0). Это потому, что Pr( X = 0) = 0,5, но если Y = 0, то весьма вероятно, что W = 0 и, следовательно , X = 0, поэтому Pr( X = 0 | Y = 0) > 0,5.
Для второго примера предположим , что каждый принимает значения 0 и 1 с вероятностью 0,5. Пусть будет продукт . Тогда , когда Pr( X = 0) = 2/3, но Pr( X = 0 | Y = 0) = 1/2, это неверно. Это также пример объяснения. См. учебник Кевина Мерфи [3] , где и берут значения «умный» и «спортивный».
Условная независимость случайных векторов
Два случайных вектора и являются условно независимыми с учетом третьего случайного вектора тогда и только тогда, когда они независимы в своем условном кумулятивном распределении, заданном . Формально:
где , и и условные кумулятивные распределения определяются следующим образом.
Использование в байесовском выводе
Пусть p — доля избирателей, которые проголосуют «за» на предстоящем референдуме . При проведении опроса общественного мнения случайным образом выбираются n избирателей из числа населения. Для i = 1, ..., n пусть X i = 1 или 0 соответствует, соответственно, тому, будет ли i- й выбранный избиратель голосовать «за» или нет.
При частотном подходе к статистическому выводу нельзя приписывать p какое-либо распределение вероятностей (если только вероятности не могут быть каким-то образом интерпретированы как относительная частота появления какого-либо события или как доля некоторой популяции) и можно было бы сказать, что X 1 ,... , X n — независимые случайные величины.
Напротив, в байесовском подходе к статистическому выводу можно было бы приписать p распределение вероятностей независимо от отсутствия какой-либо такой «частотной» интерпретации, и можно было бы истолковать вероятности как степени уверенности в том, что p находится в любом интервале которому присвоена вероятность. В этой модели случайные величины X 1 , ..., X n не являются независимыми, но они являются условно независимыми с учетом значения p . В частности, если наблюдается большое количество X , равное 1, это будет означать высокую условную вероятность , учитывая это наблюдение, что p близко к 1, и, следовательно, высокую условную вероятность , учитывая это наблюдение, что следующий наблюдаемый X будет равен 1.
Правила условной независимости
Набор правил, регулирующих заявления об условной независимости, был получен из базового определения. [4] [5]
Эти правила были названы Перлом и Пазом «аксиомами графоида » [6] , поскольку они соблюдаются в графах, что интерпретируется как следующее: «Все пути от X до A пересекаются множеством B ». [7]
Симметрия
Разложение
Доказательство
- (значение )
- (игнорируйте переменную B , интегрируя ее)
-
Аналогичное доказательство показывает независимость X и B.
Слабый союз
Доказательство
- По предположению, .
- Благодаря свойству разложения , .
- Объединение двух приведенных выше равенств дает , что устанавливает .
Второе условие доказывается аналогично.
Сокращение
Доказательство
Это свойство можно доказать, заметив , каждое равенство которого утверждается и , соответственно.
Пересечение
Для строго положительных распределений вероятностей [5] также справедливо следующее:
Доказательство
По предположению:
Используя это равенство вместе с Законом полной вероятности, применимым к :
Так как и , то следует, что .
Техническое примечание: поскольку эти выводы справедливы для любого вероятностного пространства, они все равно будут справедливы, если рассматривать подвселенную, обуславливая все другой переменной, скажем , K. Например, это также будет означать, что .
Смотрите также
Рекомендации
- ^ Чтобы увидеть, что это так, нужно осознать, что Pr( R ∩ B | Y ) — это вероятность перекрытия R и B (область, заштрихованная фиолетовым цветом) в области Y. Поскольку на рисунке слева есть два квадрата, где R и B перекрываются внутри области Y , а область Y состоит из двенадцати квадратов, Pr( R ∩ B | Y ) =2/12"="1/6. Аналогично, Pr( R | Y ) =4/12"="1/3и Pr( B | Y ) =6/12"="1/2.
- ^ ab Может ли кто-нибудь объяснить условную независимость?
- ^ «Графические модели».
- ^ Дэвид, AP (1979). «Условная независимость в статистической теории». Журнал Королевского статистического общества, серия B. 41 (1): 1–31. JSTOR 2984718. МР 0535541.
- ^ ab Дж. Перл, Причинность: модели, рассуждения и выводы, 2000, Cambridge University Press.
- ^ Перл, Иудея; Пас, Азария (1985). «Графоиды: графовая логика для рассуждений об отношениях релевантности».
- ^ Перл, Иудея (1988). Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода . Морган Кауфманн. ISBN 9780934613736.
Внешние ссылки
- СМИ, связанные с условной независимостью, на Викискладе?