Некоррелированность (теория вероятностей)

В теории вероятностей и статистике две действительные случайные величины , , , называются некоррелированными , если их ковариация , , равна нулю. Если две переменные некоррелированы, между ними нет линейной связи. ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]}$

Некоррелированные случайные величины имеют коэффициент корреляции Пирсона , если он существует, равный нулю, за исключением тривиального случая, когда любая из переменных имеет нулевую дисперсию (является константой). В этом случае корреляция не определена.

В общем случае некоррелированность не то же самое, что ортогональность , за исключением особого случая, когда по крайней мере одна из двух случайных величин имеет ожидаемое значение 0. В этом случае ковариация является ожиданием произведения, а и некоррелированы тогда и только тогда, когда . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {E} [XY]=0}$

Если и независимы , с конечными вторыми моментами , то они некоррелированы. Однако не все некоррелированные переменные независимы. [ ^{1] : стр. 155} ${\displaystyle X}$ ${\displaystyle Y}$

Определение

Определение для двух действительных случайных величин

Две случайные величины называются некоррелированными, если их ковариация равна нулю. ^{[1] : стр. 153  [2] : стр. 121} Формально: ${\displaystyle X,Y}$ ${\displaystyle \operatorname {Cov} [X,Y]=\operatorname {E} [(X-\operatorname {E} [X])(Y-\operatorname {E} [Y])]}$

${\displaystyle X,Y{\text{ uncorrelated}}\quad \iff \quad \operatorname {E} [XY]=\operatorname {E} [X]\cdot \operatorname {E} [Y]}$

Определение для двух комплексных случайных величин

Две сложные случайные величины называются некоррелированными, если их ковариация и их псевдоковариация равны нулю, т.е. ${\displaystyle Z,W}$ ${\displaystyle \operatorname {K} _{ZW}=\operatorname {E} [(Z-\operatorname {E} [Z]){\overline {(W-\operatorname {E} [W])}}]}$ ${\displaystyle \operatorname {J} _{ZW}=\operatorname {E} [(Z-\operatorname {E} [Z])(W-\operatorname {E} [W])]}$

${\displaystyle Z,W{\text{ uncorrelated}}\quad \iff \quad \operatorname {E} [Z{\overline {W}}]=\operatorname {E} [Z]\cdot \operatorname {E} [{\overline {W}}]{\text{ and }}\operatorname {E} [ZW]=\operatorname {E} [Z]\cdot \operatorname {E} [W]}$

Определение для более чем двух случайных величин

Набор из двух или более случайных величин называется некоррелированным, если каждая пара из них некоррелирована. Это эквивалентно требованию, чтобы все недиагональные элементы автоковариационной матрицы случайного вектора были равны нулю. Автоковариационная матрица определяется как: ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {cov} [\mathbf {X} ,\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}}$

Примеры зависимости без корреляции

Пример 1

• Пусть — случайная величина, которая принимает значение 0 с вероятностью 1/2 и принимает значение 1 с вероятностью 1/2. ${\displaystyle X}$
• Пусть будет случайной величиной, не зависящей от , которая принимает значение −1 с вероятностью 1/2 и принимает значение 1 с вероятностью 1/2. ${\displaystyle Y}$ ${\displaystyle X}$
• Пусть — случайная величина, построенная как . ${\displaystyle U}$ ${\displaystyle U=XY}$

Утверждается, что и имеют нулевую ковариацию (и, следовательно, некоррелированы), но не являются независимыми. ${\displaystyle U}$ ${\displaystyle X}$

Доказательство:

Принимая во внимание, что

${\displaystyle \operatorname {E} [U]=\operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y]=\operatorname {E} [X]\cdot 0=0,}$

где второе равенство выполняется, поскольку и независимы, получаем ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\begin{aligned}\operatorname {cov} [U,X]&=\operatorname {E} [(U-\operatorname {E} [U])(X-\operatorname {E} [X])]=\operatorname {E} [U(X-{\tfrac {1}{2}})]\\&=\operatorname {E} [X^{2}Y-{\tfrac {1}{2}}XY]=\operatorname {E} [(X^{2}-{\tfrac {1}{2}}X)Y]=\operatorname {E} [(X^{2}-{\tfrac {1}{2}}X)]\operatorname {E} [Y]=0\end{aligned}}}$

Следовательно, и некоррелированы. ${\displaystyle U}$ ${\displaystyle X}$

Независимость и означает, что для всех и , . Это неверно, в частности, для и . ${\displaystyle U}$ ${\displaystyle X}$ ${\displaystyle a}$ ${\displaystyle b}$ ${\displaystyle \Pr(U=a\mid X=b)=\Pr(U=a)}$ ${\displaystyle a=1}$ ${\displaystyle b=0}$

• ${\displaystyle \Pr(U=1\mid X=0)=\Pr(XY=1\mid X=0)=0}$
• ${\displaystyle \Pr(U=1)=\Pr(XY=1)=1/4}$

Таким образом , и не являются независимыми. ${\displaystyle \Pr(U=1\mid X=0)\neq \Pr(U=1)}$ ${\displaystyle U}$ ${\displaystyle X}$

ЧТЭК

Пример 2

Если — непрерывная случайная величина, равномерно распределенная по и , то и некоррелированы, хотя определяют и конкретное значение может быть получено только одним или двумя значениями  : ${\displaystyle X}$ ${\displaystyle [-1,1]}$ ${\displaystyle Y=X^{2}}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle f_{X}(t)={1 \over 2}I_{[-1,1]};f_{Y}(t)={1 \over {2{\sqrt {t}}}}I_{]0,1]}}$

с другой стороны, равен 0 на треугольнике, определяемом как , хотя не равен нулю на этой области. Следовательно , и переменные не являются независимыми. ${\displaystyle f_{X,Y}}$ ${\displaystyle 0<X<Y<1}$ ${\displaystyle f_{X}\times f_{Y}}$ ${\displaystyle f_{X,Y}(X,Y)\neq f_{X}(X)\times f_{Y}(Y)}$

${\displaystyle E[X]={{1-1} \over 4}=0;E[Y]={{1^{3}-(-1)^{3}} \over {3\times 2}}={1 \over 3}}$

${\displaystyle Cov[X,Y]=E\left[(X-E[X])(Y-E[Y])\right]=E\left[X^{3}-{X \over 3}\right]={{1^{4}-(-1)^{4}} \over {4\times 2}}=0}$

Следовательно, переменные некоррелированы.

Когда некоррелированность подразумевает независимость

Существуют случаи, в которых некоррелированность подразумевает независимость. Один из таких случаев — когда обе случайные величины двузначны (поэтому каждая может быть линейно преобразована для получения распределения Бернулли ). ^[3] Кроме того, две совместно нормально распределенные случайные величины являются независимыми, если они некоррелированы, ^[4] хотя это не относится к переменным, чьи предельные распределения являются нормальными и некоррелированными, но чье совместное распределение не является совместно нормальным (см. Нормально распределенные и некоррелированные не подразумевают независимость ).

Обобщения

Некоррелированные случайные векторы

Два случайных вектора и называются некоррелированными, если ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{T}}$ ${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{T}}$

${\displaystyle \operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$.

Они некоррелированы тогда и только тогда, когда их матрица кросс-ковариации равна нулю. ^{[5] : стр.337} ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$

Два сложных случайных вектора и называются некоррелированными , если их матрица взаимной ковариации и их матрица псевдовзаимной ковариации равны нулю, т.е. если ${\displaystyle \mathbf {Z} }$ ${\displaystyle \mathbf {W} }$

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {J} _{\mathbf {Z} \mathbf {W} }=0}$

где

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ]){(\mathbf {W} -\operatorname {E} [\mathbf {W} ])}^{\mathrm {H} }]}$

и

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {W} }=\operatorname {E} [(\mathbf {Z} -\operatorname {E} [\mathbf {Z} ]){(\mathbf {W} -\operatorname {E} [\mathbf {W} ])}^{\mathrm {T} }]}$.

Некоррелированные стохастические процессы

Два стохастических процесса и называются некоррелированными , если их взаимная ковариация равна нулю для всех моментов времени. ^{[2] : стр. 142} Формально: ${\displaystyle \left\{X_{t}\right\}}$ ${\displaystyle \left\{Y_{t}\right\}}$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=\operatorname {E} \left[\left(X(t_{1})-\mu _{X}(t_{1})\right)\left(Y(t_{2})-\mu _{Y}(t_{2})\right)\right]}$

${\displaystyle \left\{X_{t}\right\},\left\{Y_{t}\right\}{\text{ uncorrelated}}\quad :\iff \quad \forall t_{1},t_{2}\colon \operatorname {K} _{\mathbf {X} \mathbf {Y} }(t_{1},t_{2})=0}$.

Смотрите также

• Корреляция и зависимость
• Биномиальное распределение: ковариация между двумя биномами ^{[ сломанный якорь ]}
• Некоррелированный элемент объема

Ссылки

1. Papoulis, Athanasios (1991). Вероятность, случайные величины и стохастические процессы . MCGraw Hill. ISBN 0-07-048477-5.
2. Kun Il Park, Основы теории вероятностей и стохастических процессов с приложениями к коммуникациям, Springer, 2018, 978-3-319-68074-3
3. Виртуальные лаборатории по вероятности и статистике: ковариация и корреляция, пункт 17.
4. Бэйн, Ли; Энгельхардт, Макс (1992). «Глава 5.5 Условное ожидание». Введение в теорию вероятностей и математическую статистику (2-е изд.). С. 185–186. ISBN 0534929303.
5. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков . Cambridge University Press. ISBN 978-0-521-86470-1.

Дальнейшее чтение

• Вероятность для статистиков , Гален Р. Шорак , Springer (c2000) ISBN 0-387-98953-6