Нормально распределенные и некоррелированные не подразумевают независимость.

В теории вероятностей , хотя простые примеры показывают, что линейная некоррелированность двух случайных величин, как правило, не подразумевает их независимости , иногда ошибочно полагают, что это действительно подразумевает, что две случайные величины имеют нормальное распределение . В этой статье показано, что предположение о нормальном распределении не имеет такого последствия, хотя многомерное нормальное распределение , включая двумерное нормальное распределение , имеет такое значение.

Сказать, что пара случайных величин имеет двумерное нормальное распределение, означает, что каждая линейная комбинация и для постоянных (т.е. не случайных) коэффициентов и (не оба равных нулю) имеет одномерное нормальное распределение. В этом случае, если и некоррелированы, то они независимы. ^[1] Однако возможно, что две случайные величины будут распределены так совместно, что каждая из них в отдельности будет иметь предельно нормальное распределение, и они некоррелированы, но они не являются независимыми; примеры приведены ниже. ${\displaystyle (X,Y)}$ ${\displaystyle aX+bY}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle a}$ ${\displaystyle b}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Примеры

Симметричный пример

Совместный ассортимент и . Более темный цвет указывает на более высокое значение функции плотности. ${\displaystyle X}$ ${\displaystyle Y}$

Предположим, имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1. Пусть имеет распределение Радемахера , так что или , каждое с вероятностью 1/2, и предположим, что оно не зависит от . Позволять . Затем ${\displaystyle X}$ ${\displaystyle W}$ ${\displaystyle W=1}$ ${\displaystyle W=-1}$ ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y=WX}$

• ${\displaystyle X}$и некоррелированы; ${\displaystyle Y}$
• оба имеют одинаковое нормальное распределение; и
• ${\displaystyle X}$и не являются независимыми. ^{[2] [3]} ${\displaystyle Y}$

Чтобы увидеть, что и некоррелированы, можно рассмотреть ковариацию : по определению, это ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {cov} (X,Y)}$

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y).}$

Тогда по определению случайных величин , , и , а также независимости от , имеем ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W}$ ${\displaystyle W}$ ${\displaystyle X}$

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {E} (XY)-0=\operatorname {E} (X^{2}W)=\operatorname {E} (X^{2})\operatorname {E} (W)=\operatorname {E} (X^{2})\cdot 0=0.}$

Чтобы увидеть, что оно имеет то же нормальное распределение, что и , рассмотрим ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle {\begin{aligned}\Pr(Y\leq x)&{}=\operatorname {E} (\Pr(Y\leq x\mid W))\\&{}=\Pr(X\leq x)\Pr(W=1)+\Pr(-X\leq x)\Pr(W=-1)\\&{}=\Phi (x)\cdot {\frac {1}{2}}+\Phi (x)\cdot {\frac {1}{2}}\end{aligned}}}$

(поскольку и оба имеют одинаковое нормальное распределение), где – кумулятивная функция распределения стандартного нормального распределения. ${\displaystyle X}$ ${\displaystyle -X}$ ${\displaystyle \Phi (x)}$

Чтобы увидеть то и не быть независимыми, наблюдать то или это . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle |Y|=|X|}$ ${\displaystyle \operatorname {Pr} (Y>1|-1/2<X<1/2)=\operatorname {Pr} (X>1|-1/2<X<1/2)=0}$

Наконец, распределение простой линейной комбинации концентрирует положительную вероятность в точке 0: . Следовательно, случайная величина не является нормально распределенной, а значит, и совместно не является нормально распределенной (согласно приведенному выше определению). ${\displaystyle X+Y}$ ${\displaystyle \operatorname {Pr} (X+Y=0)=1/2}$ ${\displaystyle X+Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Асимметричный пример

Совместная плотность и . Более темный цвет указывает на более высокое значение плотности. ${\displaystyle X}$ ${\displaystyle Y}$

Предположим , что оно имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1. Пусть ${\displaystyle X}$

${\displaystyle Y=\left\{{\begin{matrix}X&{\text{if }}\left|X\right|\leq c\\-X&{\text{if }}\left|X\right|>c\end{matrix}}\right.}$

где – положительное число, которое будет указано ниже. Если очень мало, то корреляция близка , если очень велика, то близка к 1. Поскольку корреляция является непрерывной функцией от , теорема о промежуточном значении предполагает, что существует какое-то конкретное значение, которое делает корреляцию равной 0. Это значение приблизительно равно 1.54. ^{[примечание 1]} В таком случае и некоррелированы, но они явно не независимы, т.к. полностью определяют . ${\displaystyle c}$ ${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$ ${\displaystyle -1}$ ${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$ ${\displaystyle c}$ ${\displaystyle c}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Чтобы увидеть, что это распределение нормально распределено (на самом деле, что его распределение такое же, как и у), можно вычислить его кумулятивную функцию распределения : ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle {\begin{aligned}\Pr(Y\leq x)&=\Pr(\{|X|\leq c{\text{ and }}X\leq x\}{\text{ or }}\{|X|>c{\text{ and }}-X\leq x\})\\&=\Pr(|X|\leq c{\text{ and }}X\leq x)+\Pr(|X|>c{\text{ and }}-X\leq x)\\&=\Pr(|X|\leq c{\text{ and }}X\leq x)+\Pr(|X|>c{\text{ and }}X\leq x)\\&=\Pr(X\leq x),\end{aligned}}}$

где предпоследнее равенство следует из симметричности распределения и симметричности условия, что . ${\displaystyle X}$ ${\displaystyle |X|\leq c}$

В этом примере разница далека от нормального распределения, поскольку существует значительная вероятность (около 0,88) того, что она равна 0. Напротив, нормальное распределение, будучи непрерывным распределением, не имеет дискретной части, то есть он не концентрирует вероятность больше нуля в какой-либо одной точке. Следовательно , и не являются совместно нормально распределенными, хотя они нормально распределены отдельно. ^[4] ${\displaystyle X-Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Примеры с поддержкой почти везде в ℝ 2

Хорошо известно, что соотношение двух независимых стандартных нормальных случайных чисел отклоняется и имеет распределение Коши . С таким же успехом можно начать со случайной величины Коши и вывести условное распределение, удовлетворяющее требованию, что оно независимо и стандартно нормально. Проведя математические расчеты, можно обнаружить, что ${\displaystyle C}$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle C}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{i}=CY_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

${\displaystyle Y_{i}=W_{i}{\sqrt {\frac {\chi _{i}^{2}\left(k=2\right)}{1+C^{2}}}}}$

где – случайная величина Радемахера, а – случайная величина хи-квадрат с двумя степенями свободы. ${\displaystyle W_{i}}$ ${\displaystyle \chi _{i}^{2}\left(k=2\right)}$

Рассмотрим два набора , . Обратите внимание, что он не индексируется , то есть в определении и используется одна и та же случайная величина Коши . Такое совместное использование результатов приводит к появлению зависимостей между индексами: ни один из них не является независимым от . Тем не менее, все и некоррелированы, поскольку все двумерные распределения имеют отражательную симметрию по осям. ${\displaystyle \left(X_{i},Y_{i}\right)}$ ${\displaystyle i\in \left\{1,2\right\}}$ ${\displaystyle C}$ ${\displaystyle i}$ ${\displaystyle C}$ ${\displaystyle \left(X_{1},Y_{1}\right)}$ ${\displaystyle \left(X_{2},Y_{2}\right)}$ ${\displaystyle C}$ ${\displaystyle X_{1}}$ ${\displaystyle Y_{1}}$ ${\displaystyle Y_{2}}$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

Ненормальные совместные распределения с нормальными маргинальными значениями.

На рисунке показаны диаграммы рассеяния выборок, взятых из приведенного выше распределения. Это дает два примера двумерных распределений, которые не коррелируют и имеют нормальные маргинальные распределения, но не являются независимыми. Левая панель показывает совместное распределение и ; дистрибутив имеет поддержку везде, кроме источника. На правой панели показано совместное распределение и ; распределение имеет поддержку везде, кроме вдоль осей, и имеет разрыв в начале координат: плотность расходится при приближении к началу координат по любому прямому пути, кроме вдоль осей. ${\displaystyle X_{1}}$ ${\displaystyle Y_{2}}$ ${\displaystyle Y_{1}}$ ${\displaystyle Y_{2}}$

Смотрите также

• Корреляция и зависимость

Рекомендации

1. Хогг, Роберт ; Танис, Эллиот (2001). «Глава 5.4 Двумерное нормальное распределение». Вероятность и статистический вывод (6-е изд.). стр. 258–259. ISBN 0130272949.
2. UIUC, Лекция 21. Многомерное нормальное распределение, 21.6: «Индивидуально гауссово против совместно гауссово».
3. Розенталь, Джеффри С. (2005). «Разглагольствования о некоррелированных нормальных случайных величинах».
4. Эдвард Л. Мельник и Аарон Тененбейн, «Неверные спецификации нормального распределения», The American Statistician , том 36, номер 4, ноябрь 1982 г., страницы 372–373

Примечания

1. Точнее, 1,53817..., квадратный корень из медианы распределения хи-квадрат с 3 степенями свободы.