Независимость (теория вероятностей)

Когда возникновение одного события не влияет на вероятность другого

Независимость является фундаментальным понятием в теории вероятностей , как и в статистике и теории случайных процессов . Два события являются независимыми , статистически независимыми или стохастически независимыми ^[1], если, неформально говоря, возникновение одного из них не влияет на вероятность возникновения другого или, что то же самое, не влияет на шансы . Аналогично, две случайные величины являются независимыми, если реализация одного из них не влияет на распределение вероятностей другого.

При работе с наборами из более чем двух событий необходимо различать два понятия независимости. События называются попарно независимыми , если любые два события в наборе независимы друг от друга, в то время как взаимная независимость (или коллективная независимость ) событий означает, неформально говоря, что каждое событие независимо от любой комбинации других событий в наборе. Аналогичное понятие существует для наборов случайных величин. Взаимная независимость подразумевает попарную независимость, но не наоборот. В стандартной литературе по теории вероятностей, статистике и стохастическим процессам независимость без дополнительных уточнений обычно относится к взаимной независимости.

Определение

Для мероприятий

Два события

Два события и независимы (часто обозначаются как или , где последний символ часто используется также для обозначения условной независимости ) тогда и только тогда, когда их совместная вероятность равна произведению их вероятностей: ^{[2] : стр. 29  [3] : стр. 10} ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A\perp B}$ ${\displaystyle A\perp \!\!\!\perp B}$

${\displaystyle A\cap B\neq \emptyset }$указывает, что два независимых события и имеют общие элементы в своем пространстве выборки , так что они не являются взаимоисключающими (взаимно исключающими, если и только если ). Почему это определяет независимость, становится ясно, если переписать с условными вероятностями как вероятность, с которой событие происходит при условии, что событие произошло или предполагается, что оно произошло: ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A\cap B=\emptyset }$ ${\displaystyle P(A\mid B)={\frac {P(A\cap B)}{P(B)}}}$ ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (A\mid B)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (B)}}=\mathrm {P} (A).}$

и аналогично

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B)\iff \mathrm {P} (B\mid A)={\frac {\mathrm {P} (A\cap B)}{\mathrm {P} (A)}}=\mathrm {P} (B).}$

Таким образом, возникновение не влияет на вероятность , и наоборот. Другими словами, и независимы друг от друга. Хотя полученные выражения могут показаться более интуитивными, они не являются предпочтительным определением, поскольку условные вероятности могут быть неопределенными, если или равны 0. Более того, предпочтительное определение ясно показывает симметрией, что когда не зависит от , также не зависит от . ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle \mathrm {P} (A)}$ ${\displaystyle \mathrm {P} (B)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle B}$ ${\displaystyle A}$

Шансы

Выражаясь в терминах шансов , два события независимы тогда и только тогда, когда отношение шансов ⁠ ⁠ ${\displaystyle A}$ и ⁠ ⁠ ${\displaystyle B}$ равно единице (1). Аналогично вероятности, это эквивалентно тому, что условные шансы равны безусловным шансам:

${\displaystyle O(A\mid B)=O(A){\text{ and }}O(B\mid A)=O(B),}$

или к тому, что шансы одного события при условии, что другое событие не произойдет, равны шансам этого события при условии, что другое событие не произойдет:

${\displaystyle O(A\mid B)=O(A\mid \neg B){\text{ and }}O(B\mid A)=O(B\mid \neg A).}$

Отношение шансов можно определить как

${\displaystyle O(A\mid B):O(A\mid \neg B),}$

или симметрично для коэффициентов ⁠ ⁠ ${\displaystyle B}$ заданных ⁠ ⁠ ${\displaystyle A}$ , и, таким образом, равен 1 тогда и только тогда, когда события независимы.

Более двух событий

Конечный набор событий попарно независим, если каждая пара событий независима ^[4] — то есть тогда и только тогда, когда для всех различных пар индексов , ${\displaystyle \{A_{i}\}_{i=1}^{n}}$ ${\displaystyle m,k}$

Конечный набор событий взаимно независим , если каждое событие независимо от любого пересечения других событий ^{[4] [3] : стр. 11} — то есть, тогда и только тогда, когда для каждого и для каждого k индексов , ${\displaystyle k\leq n}$ ${\displaystyle 1\leq i_{1}<\dots <i_{k}\leq n}$

Это называется правилом умножения для независимых событий. Это не единственное условие, включающее только произведение всех вероятностей всех отдельных событий; оно должно быть верным для всех подмножеств событий.

Для более чем двух событий взаимно независимый набор событий (по определению) попарно независим; но обратное не обязательно верно. ^{[2] : стр. 30}

Вероятность логарифма и содержание информации

Выражаясь в терминах логарифмической вероятности , два события независимы тогда и только тогда, когда логарифмическая вероятность совместного события равна сумме логарифмических вероятностей отдельных событий:

${\displaystyle \log \mathrm {P} (A\cap B)=\log \mathrm {P} (A)+\log \mathrm {P} (B)}$

В теории информации отрицательная логарифмическая вероятность интерпретируется как информационное содержание , и, таким образом, два события являются независимыми тогда и только тогда, когда информационное содержание объединенного события равно сумме информационного содержания отдельных событий:

${\displaystyle \mathrm {I} (A\cap B)=\mathrm {I} (A)+\mathrm {I} (B)}$

Подробности см. в разделе «Информационное содержание» § «Аддитивность независимых событий» .

Для действительных случайных величин

Две случайные величины

Две случайные величины и независимы тогда и только тогда, когда (если и только тогда) элементы π- системы, порожденные ими, независимы; то есть для каждого и события и являются независимыми событиями (как определено выше в уравнении 1 ). То есть, и с кумулятивными функциями распределения и , независимы тогда и только тогда, когда объединенная случайная величина имеет совместную кумулятивную функцию распределения ^{[3] : стр. 15} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle \{X\leq x\}}$ ${\displaystyle \{Y\leq y\}}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle F_{X}(x)}$ ${\displaystyle F_{Y}(y)}$ ${\displaystyle (X,Y)}$

или, что эквивалентно, если существуют плотности вероятности и и совместная плотность вероятности , ${\displaystyle f_{X}(x)}$ ${\displaystyle f_{Y}(y)}$ ${\displaystyle f_{X,Y}(x,y)}$

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)\quad {\text{for all }}x,y.}$

Более двух случайных величин

Конечный набор случайных величин попарно независим тогда и только тогда, когда каждая пара случайных величин независима. Даже если набор случайных величин попарно независим, он не обязательно взаимно независим, как определено далее. ${\displaystyle n}$ ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$

Конечный набор случайных величин является взаимно независимым тогда и только тогда, когда для любой последовательности чисел события являются взаимно независимыми событиями (как определено выше в уравнении 3 ). Это эквивалентно следующему условию для совместной кумулятивной функции распределения . Конечный набор случайных величин является взаимно независимым тогда и только тогда, когда ^{[3] : стр. 16} ${\displaystyle n}$ ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ ${\displaystyle \{x_{1},\ldots ,x_{n}\}}$ ${\displaystyle \{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}}$ ${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}$ ${\displaystyle n}$ ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$

Здесь нет необходимости требовать, чтобы распределение вероятностей факторизовалось для всех возможных -элементных подмножеств, как в случае событий. Это не требуется, поскольку eg подразумевает . ${\displaystyle k}$ ${\displaystyle n}$ ${\displaystyle F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot F_{X_{3}}(x_{3})}$ ${\displaystyle F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})\cdot F_{X_{3}}(x_{3})}$

Те, кто склонен к теории меры, могут предпочесть заменить события на события в приведенном выше определении, где — любое борелевское множество . Это определение в точности эквивалентно приведенному выше, когда значения случайных величин являются действительными числами . Оно имеет то преимущество, что работает также для комплекснозначных случайных величин или для случайных величин, принимающих значения в любом измеримом пространстве (включая топологические пространства, наделенные соответствующими σ-алгебрами). ${\displaystyle \{X\in A\}}$ ${\displaystyle \{X\leq x\}}$ ${\displaystyle A}$

Для действительных случайных векторов

Два случайных вектора и называются независимыми, если ^{[5] : стр. 187} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\mathrm {T} }}$

где и обозначают кумулятивные функции распределения и и обозначает их совместную кумулятивную функцию распределения. Независимость и часто обозначается как . Записанные покомпонентно, и называются независимыми, если ${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$ ${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}.}$

Для случайных процессов

Для одного стохастического процесса

Определение независимости может быть расширено от случайных векторов до стохастического процесса . Поэтому для независимого стохастического процесса требуется, чтобы случайные величины, полученные путем выборки процесса в любые моменты времени, были независимыми случайными величинами для любого . ^{[6] : стр. 163} ${\displaystyle n}$ ${\displaystyle t_{1},\ldots ,t_{n}}$ ${\displaystyle n}$

Формально случайный процесс называется независимым, если и только если для всех и для всех ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ ${\displaystyle n\in \mathbb {N} }$ ${\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}$

где . Независимость случайного процесса является свойством внутри случайного процесса, а не между двумя случайными процессами. ${\displaystyle F_{X_{t_{1}},\ldots ,X_{t_{n}}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X(t_{1})\leq x_{1},\ldots ,X(t_{n})\leq x_{n})}$

Для двух случайных процессов

Независимость двух случайных процессов — это свойство между двумя случайными процессами и , которые определены на одном и том же вероятностном пространстве . Формально два случайных процесса и называются независимыми, если для всех и для всех , случайные векторы и независимы, ^{[7] : стр. 515} т.е. если ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$ ${\displaystyle n\in \mathbb {N} }$ ${\displaystyle t_{1},\ldots ,t_{n}\in {\mathcal {T}}}$ ${\displaystyle (X(t_{1}),\ldots ,X(t_{n}))}$ ${\displaystyle (Y(t_{1}),\ldots ,Y(t_{n}))}$

Независимые σ-алгебры

Определения выше ( Уравнение 1 и Уравнение 2 ) оба обобщаются следующим определением независимости для σ-алгебр . Пусть будет вероятностным пространством и пусть и будут двумя под-σ-алгебрами . и называются независимыми, если, всякий раз, когда и , ${\displaystyle (\Omega ,\Sigma ,\mathrm {P} )}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle {\mathcal {B}}}$ ${\displaystyle \Sigma }$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle {\mathcal {B}}}$ ${\displaystyle A\in {\mathcal {A}}}$ ${\displaystyle B\in {\mathcal {B}}}$

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B).}$

Аналогично, конечное семейство σ-алгебр , где — множество индексов , называется независимым тогда и только тогда, когда ${\displaystyle (\tau _{i})_{i\in I}}$ ${\displaystyle I}$

${\displaystyle \forall \left(A_{i}\right)_{i\in I}\in \prod \nolimits _{i\in I}\tau _{i}\ :\ \mathrm {P} \left(\bigcap \nolimits _{i\in I}A_{i}\right)=\prod \nolimits _{i\in I}\mathrm {P} \left(A_{i}\right)}$

и бесконечное семейство σ-алгебр называется независимым, если все его конечные подсемейства независимы.

Новое определение имеет самое непосредственное отношение к предыдущим:

• Два события независимы (в старом смысле) тогда и только тогда, когда σ-алгебры, которые они порождают, независимы (в новом смысле). σ-алгебра, порождаемая событием , по определению, ${\displaystyle E\in \Sigma }$

${\displaystyle \sigma (\{E\})=\{\emptyset ,E,\Omega \setminus E,\Omega \}.}$

• Две случайные величины и , определенные над , независимы (в старом смысле) тогда и только тогда, когда σ-алгебры, которые они порождают, независимы (в новом смысле). σ-алгебра , порождаемая случайной величиной , принимающей значения в некотором измеримом пространстве, состоит, по определению, из всех подмножеств вида , где — любое измеримое подмножество . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \Omega }$ ${\displaystyle X}$ ${\displaystyle S}$ ${\displaystyle \Omega }$ ${\displaystyle X^{-1}(U)}$ ${\displaystyle U}$ ${\displaystyle S}$

Используя это определение, легко показать, что если и являются случайными величинами, а является константой, то и независимы, поскольку σ-алгебра, порожденная постоянной случайной величиной, является тривиальной σ-алгеброй . События с нулевой вероятностью не могут повлиять на независимость, поэтому независимость также сохраняется, если является только Pr- почти наверное постоянной. ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \{\varnothing ,\Omega \}}$ ${\displaystyle Y}$

Характеристики

Самостоятельность

Обратите внимание, что событие независимо от самого себя тогда и только тогда, когда

${\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\iff \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1.}$

Таким образом, событие независимо от самого себя тогда и только тогда, когда оно почти наверняка происходит или его дополнение почти наверняка происходит; этот факт полезен при доказательстве законов нуля или единицы . ^[8]

Ожидание и ковариация

Если и являются статистически независимыми случайными величинами, то оператор ожидания обладает свойством ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {E} }$

${\displaystyle \operatorname {E} [X^{n}Y^{m}]=\operatorname {E} [X^{n}]\operatorname {E} [Y^{m}],}$^{[9] : стр. 10}

и ковариация равна нулю, как следует из ${\displaystyle \operatorname {cov} [X,Y]}$

${\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y].}$

Обратное утверждение неверно: если две случайные величины имеют ковариацию, равную 0, они все равно могут быть не независимыми.

Аналогично для двух стохастических процессов и : если они независимы, то они некоррелированы . ^{[10] : стр. 151} ${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$ ${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$

Характерная функция

Две случайные величины и независимы тогда и только тогда, когда характеристическая функция случайного вектора удовлетворяет условию ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$

${\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s).}$

В частности, характеристическая функция их суммы является произведением их предельных характеристических функций:

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}$

хотя обратное утверждение неверно. Случайные величины, удовлетворяющие последнему условию, называются субнезависимыми .

Примеры

Бросание игральных костей

Событие выпадения 6 при первом броске игральной кости и событие выпадения 6 при втором броске игральной кости являются независимыми . Напротив, событие выпадения 6 при первом броске игральной кости и событие, что сумма чисел, увиденных при первом и втором броске, равна 8, не являются независимыми.

Карты для рисования

Если из колоды карт вынимаются две карты с заменой, событие вынимания красной карты в первой попытке и событие вынимания красной карты во второй попытке являются независимыми . Напротив, если из колоды карт вынимаются две карты без замены, событие вынимания красной карты в первой попытке и событие вынимания красной карты во второй попытке не являются независимыми, поскольку колода, из которой удалена красная карта, имеет пропорционально меньше красных карт.

Попарная и взаимная независимость

Попарно независимые, но не взаимно независимые события

Взаимно независимые события

Рассмотрим два показанных вероятностных пространства. В обоих случаях и . События в первом пространстве попарно независимы, поскольку , , и ; но три события не являются взаимно независимыми. События во втором пространстве являются как попарно независимыми, так и взаимно независимыми. Чтобы проиллюстрировать разницу, рассмотрим обусловленность двух событий. В случае попарно независимого события, хотя каждое событие независимо от каждого из двух других по отдельности, оно не является независимым от пересечения двух других: ${\displaystyle \mathrm {P} (A)=\mathrm {P} (B)=1/2}$ ${\displaystyle \mathrm {P} (C)=1/4}$ ${\displaystyle \mathrm {P} (A|B)=\mathrm {P} (A|C)=1/2=\mathrm {P} (A)}$ ${\displaystyle \mathrm {P} (B|A)=\mathrm {P} (B|C)=1/2=\mathrm {P} (B)}$ ${\displaystyle \mathrm {P} (C|A)=\mathrm {P} (C|B)=1/4=\mathrm {P} (C)}$

${\displaystyle \mathrm {P} (A|BC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (A)}$

${\displaystyle \mathrm {P} (B|AC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (B)}$

${\displaystyle \mathrm {P} (C|AB)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {6}{40}}}}={\tfrac {2}{5}}\neq \mathrm {P} (C)}$

Однако во взаимно независимом случае

${\displaystyle \mathrm {P} (A|BC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (A)}$

${\displaystyle \mathrm {P} (B|AC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (B)}$

${\displaystyle \mathrm {P} (C|AB)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {3}{16}}}}={\tfrac {1}{4}}=\mathrm {P} (C)}$

Тройная независимость, но не попарная независимость

Можно создать пример из трех событий, в котором

${\displaystyle \mathrm {P} (A\cap B\cap C)=\mathrm {P} (A)\mathrm {P} (B)\mathrm {P} (C),}$

и все же никакие два из трех событий не являются попарно независимыми (и, следовательно, набор событий не является взаимно независимым). ^[11] Этот пример показывает, что взаимная независимость подразумевает требования к произведениям вероятностей всех комбинаций событий, а не только отдельных событий, как в этом примере.

Условная независимость

Для мероприятий

События и условно независимы при условии, что произошло событие , когда ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle C}$

${\displaystyle \mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)}$.

Для случайных величин

Интуитивно, две случайные величины и условно независимы , если, будучи известными, значение не добавляет никакой дополнительной информации о . Например, два измерения и одной и той же базовой величины не являются независимыми, но они условно независимы, если (если только ошибки в двух измерениях каким-то образом не связаны). ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$

Формальное определение условной независимости основано на идее условных распределений . Если , , и являются дискретными случайными величинами , то мы определяем и как условно независимые заданные , если ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}$

для всех и таких, что . С другой стороны, если случайные величины непрерывны и имеют совместную функцию плотности вероятности , то и условно независимы, если ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle z}$ ${\displaystyle \mathrm {P} (Z=z)>0}$ ${\displaystyle f_{XYZ}(x,y,z)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

${\displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)}$

для всех действительных чисел и таких , что . ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle z}$ ${\displaystyle f_{Z}(z)>0}$

Если дискретны и условно независимы , то ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

${\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}$

для любого и с . То есть условное распределение для заданных и такое же, как и заданное отдельно. Аналогичное уравнение справедливо для функций условной плотности вероятности в непрерывном случае. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle z}$ ${\displaystyle \mathrm {P} (Z=z)>0}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$

Независимость можно рассматривать как особый вид условной независимости, поскольку вероятность можно рассматривать как вид условной вероятности при отсутствии событий.

История

До 1933 года независимость в теории вероятностей определялась словесно. Например, де Муавр дал следующее определение: «Два события независимы, когда они не связаны друг с другом, и что наступление одного из них не способствует и не препятствует наступлению другого». ^[12] Если имеется n независимых событий, вероятность события, что все они произойдут, вычислялась как произведение вероятностей этих n событий. По-видимому, существовало убеждение, что эта формула является следствием приведенного выше определения. (Иногда это называлось теоремой умножения.) Конечно, доказательство его утверждения не может работать без дальнейших более формальных молчаливых предположений.

Определение независимости, данное в этой статье, стало стандартным определением (теперь используемым во всех книгах) после того, как оно появилось в 1933 году как часть аксиоматизации вероятности Колмогорова. ^[13] Колмогоров приписал его С. Н. Бернштейну и процитировал публикацию, которая появилась на русском языке в 1927 году. ^[14]

К сожалению, и Бернштейн, и Колмогоров не знали о работе Георга Больмана . Больман дал одно и то же определение для двух событий в 1901 году ^[15] и для n событий в 1908 году ^[16]. В последней работе он подробно изучил свое понятие. Например, он привел первый пример, показывающий, что попарная независимость не подразумевает взаимную независимость. Даже сегодня Больмана редко цитируют. Подробнее о его работе можно узнать в статье О вкладе Георга Больмана в теорию вероятностей от Ульриха Кренгеля. ^[17]

Смотрите также

• Копула (статистика)
• Независимые и одинаково распределенные случайные величины
• Средняя зависимость
• Нормально распределенные и некоррелированные не означают независимость

Ссылки

1. Рассел, Стюарт; Норвиг, Питер (2002). Искусственный интеллект: современный подход . Prentice Hall . стр. 478. ISBN 0-13-790395-2.
2. Флореску, Ионут (2014). Вероятность и случайные процессы . Уайли. ISBN 978-0-470-62455-5.
3. Галлагер, Роберт Г. (2013). Теория стохастических процессов для приложений . Cambridge University Press. ISBN 978-1-107-03975-9.
4. Feller, W (1971). «Стохастическая независимость». Введение в теорию вероятностей и ее приложения . Wiley .
5. Папулис, Афанасиос (1991). Вероятность, случайные величины и стохастические процессы . MCGraw Hill. ISBN 0-07-048477-5.
6. Хвей, Пяо (1997). Теория и проблемы вероятности, случайных величин и случайных процессов . McGraw-Hill. ISBN 0-07-030644-3.
7. Амос Лапидот (8 февраля 2017 г.). Основы цифровой коммуникации. Cambridge University Press. ISBN 978-1-107-17732-1.
8. Дарретт, Ричард (1996). Вероятность: теория и примеры (Второе изд.).страница 62
9. Э. Джейкман. МОДЕЛИРОВАНИЕ ФЛУКТУАЦИЙ В РАССЕЯННЫХ ВОЛНАХ . ISBN 978-0-7503-1005-5.
10. Пак, Кун Ил (2018). Основы вероятности и стохастических процессов с приложениями к коммуникациям . Springer. ISBN 978-3-319-68074-3.
11. Джордж, Глин, «Проверка независимости трех событий», Mathematical Gazette 88, ноябрь 2004 г., 568. PDF
12. Цитируется по: Введение в теорию вероятностей Гринстеда и Снелла. В: Проект CHANCE. Версия от 4 июля 2006 г.
13. Колмогоров, Андрей (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (на немецком языке). Берлин: Юлиус Шпрингер. Перевод: Колмогоров, Андрей (1956). Перевод:Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. ISBN 978-0-8284-0023-7.
14. С. Н. Бернштейн , Теория вероятностей (рус.), М., 1927 (4 издания, последнее 1946)
15. Георг Больманн : Lebensversicherungsmathematik, Encyklop¨adie der mathematischen Wissenschaften, Bd I, Teil 2, Artikel ID 4b (1901), 852–917
16. Георг Больманн : Die Grundbegriffe der Wahrscheinlichkeitsrechnung в ihrer Anwendung auf die Lebensversichrung, Atti del IV. Конгресс Межд. деи Матем. Ром, Бд. III (1908), 244–278.
17. de:Ульрих Кренгель: О вкладе Георга Больмана в теорию вероятностей (PDF; 6,4 МБ), Электронный журнал по истории вероятностей и статистики, 2011.

Внешние ссылки

• Медиа, связанные с Independence (теория вероятностей) на Wikimedia Commons