Некоррелированность (теория вероятностей)

В теории вероятностей и статистике две действительные случайные величины , , , называются некоррелированными, если их ковариация , , равна нулю. Если две переменные некоррелированы, между ними нет линейной зависимости. ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]}$

Некоррелированные случайные величины имеют коэффициент корреляции Пирсона , если он существует, равный нулю, за исключением тривиального случая, когда любая переменная имеет нулевую дисперсию (является константой). В этом случае корреляция не определена.

В общем, некоррелированность — это не то же самое, что ортогональность , за исключением особого случая, когда хотя бы одна из двух случайных величин имеет ожидаемое значение 0. В этом случае ковариация — это математическое ожидание произведения, и и некоррелированы, если и только если . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {E} [XY]=0}$

Если и независимы , с конечными вторыми моментами , то они некоррелированы. Однако не все некоррелированные переменные являются независимыми. ^{[1] : с. 155} ${\displaystyle X}$ ${\displaystyle Y}$

Определение

Определение двух действительных случайных величин

Две случайные величины называются некоррелированными, если их ковариация равна нулю. ^{[1] : с. 153  [2] : с. 121} Формально: ${\displaystyle X,Y}$ ${\displaystyle \operatorname {Cov} [X,Y]=\operatorname {E} [(X-\operatorname {E} [X])(Y-\operatorname {E} [Y])]}$

${\displaystyle X,Y{\text{ uncorrelated}}\quad \iff \quad \operatorname {E} [XY]=\operatorname {E} [X]\cdot \operatorname {E} [Y]}$

Определение двух комплексных случайных величин

Две комплексные случайные величины называются некоррелированными, если их ковариация и псевдоковариация равны нулю, т.е. ${\displaystyle Z,W}$ ${\displaystyle \operatorname {K} _{ZW}=\operatorname {E} [(Z-\operatorname {E} [Z]){\overline {(W-\operatorname {E} [W])}}]}$ ${\displaystyle \operatorname {J} _{ZW}=\operatorname {E} [(Z-\operatorname {E} [Z])(W-\operatorname {E} [W])]}$

${\displaystyle Z,W{\text{ uncorrelated}}\quad \iff \quad \operatorname {E} [Z{\overline {W}}]=\operatorname {E} [Z]\cdot \operatorname {E} [{\overline {W}}]{\text{ and }}\operatorname {E} [ZW]=\operatorname {E} [Z]\cdot \operatorname {E} [W]}$

Определение для более чем двух случайных величин

Совокупность двух и более случайных величин называется некоррелированной, если каждая пара из них некоррелирована. Это эквивалентно требованию, чтобы все недиагональные элементы автоковариационной матрицы случайного вектора были равны нулю. Матрица автоковариации определяется как: ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {cov} [\mathbf {X} ,\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}}$

Примеры зависимости без корреляции

Пример 1

• Пусть — случайная величина, принимающая значение 0 с вероятностью 1/2 и принимающая значение 1 с вероятностью 1/2. ${\displaystyle X}$
• Пусть – случайная величина, независимая от , принимающая значение −1 с вероятностью 1/2 и принимающая значение 1 с вероятностью 1/2. ${\displaystyle Y}$ ${\displaystyle X}$
• Пусть – случайная величина, построенная как . ${\displaystyle U}$ ${\displaystyle U=XY}$

Утверждается, что и имеют нулевую ковариацию (и, следовательно, некоррелированы), но не являются независимыми. ${\displaystyle U}$ ${\displaystyle X}$

Доказательство:

Принимая во внимание, что

${\displaystyle \operatorname {E} [U]=\operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y]=\operatorname {E} [X]\cdot 0=0,}$

где выполняется второе равенство, поскольку и независимы, получаем ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\begin{aligned}\operatorname {cov} [U,X]&=\operatorname {E} [(U-\operatorname {E} [U])(X-\operatorname {E} [X])]=\operatorname {E} [U(X-{\tfrac {1}{2}})]\\&=\operatorname {E} [X^{2}Y-{\tfrac {1}{2}}XY]=\operatorname {E} [(X^{2}-{\tfrac {1}{2}}X)Y]=\operatorname {E} [(X^{2}-{\tfrac {1}{2}}X)]\operatorname {E} [Y]=0\end{aligned}}}$

Следовательно, и некоррелированы. ${\displaystyle U}$ ${\displaystyle X}$

Независимость от и означает, что для всех и , . Это неверно, в частности, для и . ${\displaystyle U}$ ${\displaystyle X}$ ${\displaystyle a}$ ${\displaystyle b}$ ${\displaystyle \Pr(U=a\mid X=b)=\Pr(U=a)}$ ${\displaystyle a=1}$ ${\displaystyle b=0}$

• ${\displaystyle \Pr(U=1\mid X=0)=\Pr(XY=1\mid X=0)=0}$
• ${\displaystyle \Pr(U=1)=\Pr(XY=1)=1/4}$

Таким образом так и не являются независимыми. ${\displaystyle \Pr(U=1\mid X=0)\neq \Pr(U=1)}$ ${\displaystyle U}$ ${\displaystyle X}$

КЭД

Пример 2

Если - непрерывная случайная величина, равномерно распределенная на и , то и некоррелированы, хотя определяет и определенное значение может быть получено только одним или двумя значениями  : ${\displaystyle X}$ ${\displaystyle [-1,1]}$ ${\displaystyle Y=X^{2}}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle f_{X}(t)={1 \over 2}I_{[-1,1]};f_{Y}(t)={1 \over {2{\sqrt {t}}}}I_{]0,1]}}$

с другой стороны, равно 0 в треугольнике, определяемом хотя и не равно нулю в этой области. Следовательно , и переменные не являются независимыми. ${\displaystyle f_{X,Y}}$ ${\displaystyle 0<X<Y<1}$ ${\displaystyle f_{X}\times f_{Y}}$ ${\displaystyle f_{X,Y}(X,Y)\neq f_{X}(X)\times f_{Y}(Y)}$

${\displaystyle E[X]={{1-1} \over 4}=0;E[Y]={{1^{3}-(-1)^{3}} \over {3\times 2}}={1 \over 3}}$

${\displaystyle Cov[X,Y]=E\left[(X-E[X])(Y-E[Y])\right]=E\left[X^{3}-{X \over 3}\right]={{1^{4}-(-1)^{4}} \over {4\times 2}}=0}$

Следовательно, переменные некоррелированы.

Когда некоррелированность подразумевает независимость

Есть случаи, когда некоррелированность действительно подразумевает независимость. В одном из таких случаев обе случайные величины являются двузначными (поэтому каждую можно линейно преобразовать, чтобы получить распределение Бернулли ). ^[3] Кроме того, две совместно нормально распределенные случайные величины являются независимыми, если они некоррелированы, ^[4] хотя это не справедливо для переменных, чьи маргинальные распределения нормальны и некоррелированы, но чье совместное распределение не является совместно нормальным (см. Нормально распределенные и некоррелированные не подразумевает независимости ).

Обобщения

Некоррелированные случайные векторы

Два случайных вектора и называются некоррелированными, если ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{T}}$ ${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{T}}$

${\displaystyle \operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$.

Они некоррелированы тогда и только тогда, когда их матрица взаимной ковариации равна нулю. ^{[5] : стр.337} ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$

Два комплексных случайных вектора называются некоррелированными , если их матрица перекрестной ковариации и матрица псевдоковариации равны нулю, т. е. если ${\displaystyle \mathbf {Z} }$ ${\displaystyle \mathbf {W} }$

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {J} _{\mathbf {Z} \mathbf {W} }=0}$

где

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ]){(\mathbf {W} -\operatorname {E} [\mathbf {W} ])}^{\mathrm {H} }]}$

и

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {W} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ]){(\mathbf {W} -\operatorname {E} [\mathbf {W} ])}^{\mathrm {T} }]}$.

Некоррелированные случайные процессы

Два случайных процесса называются некоррелированными, если их перекрестная ковариация всегда равна нулю. ^{[2] : с. 142} Формально: ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right)\left(Y(t_{2})-\mu _{Y}(t_{2})\right)\right]}$

${\displaystyle \left\{X_{t}\right\},\left\{Y_{t}\right\}{\text{ uncorrelated}}\quad :\iff \quad \forall t_{1},t_{2}\colon \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=0}$.

Смотрите также

• Корреляция и зависимость
• Биномиальное распределение: ковариация между двумя биномами.
• Некоррелированный элемент объема

Рекомендации

1. Папулис, Афанасиос (1991). Вероятность, случайные величины и случайные процессы . МакГроу Хилл. ISBN 0-07-048477-5.
2. Кун Иль Парк, Основы теории вероятностей и случайных процессов с применением в коммуникациях, Springer, 2018, 978-3-319-68074-3
3. Виртуальные лаборатории вероятности и статистики: ковариация и корреляция, пункт 17.
4. Бейн, Ли; Энгельхардт, Макс (1992). «Глава 5.5 Условное ожидание». Введение в вероятность и математическую статистику (2-е изд.). стр. 185–186. ISBN 0534929303.
5. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1.

дальнейшее чтение

• Вероятность для статистиков , Гален Р. Шорак , Спрингер (c2000) ISBN 0-387-98953-6