Заблуждения о нормальном распределении

Студенты, изучающие статистику и теорию вероятностей, иногда вырабатывают неправильные представления о нормальном распределении, идеи, которые могут показаться правдоподобными, но математически неверны. Например, иногда ошибочно полагают, что две линейно некоррелированные , нормально распределенные случайные величины должны быть статистически независимы . Однако это неверно, как можно продемонстрировать с помощью контрпримера. Аналогично, иногда ошибочно полагают, что линейная комбинация нормально распределенных случайных величин сама будет распределена нормально, но, опять же, контрпримеры доказывают, что это неверно. ^{[1] [2]}

Сказать, что пара случайных величин имеет двумерное нормальное распределение , означает, что каждая линейная комбинация и для постоянных (т.е. не случайных) коэффициентов и (не равных нулю) имеет одномерное нормальное распределение. В этом случае, если и некоррелированы, то они независимы. [ ^3] Однако возможно, что две случайные величины и распределены совместно так, что каждая из них по отдельности имеет маргинально нормальное распределение, и они некоррелированы, но не являются независимыми; примеры приведены ниже. ${\displaystyle (X,Y)}$ ${\displaystyle aX+bY}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle a}$ ${\displaystyle b}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Примеры

Симметричный пример

Совместный диапазон и . Более темный цвет указывает на более высокое значение функции плотности. ${\displaystyle X}$ ${\displaystyle Y}$

Предположим, что имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1. Пусть имеет распределение Радемахера , так что или , каждое с вероятностью 1/2, и предположим, что не зависит от . Пусть . Тогда и некоррелированы, что можно проверить, вычислив их ковариацию . Более того, оба имеют одинаковое нормальное распределение. И все же, и не являются независимыми. ^{[4] [1] [5]} ${\displaystyle X}$ ${\displaystyle W}$ ${\displaystyle W=1}$ ${\displaystyle W=-1}$ ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y=WX}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Чтобы увидеть, что и не являются независимыми, наблюдайте то или это . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle |Y|=|X|}$ ${\displaystyle \operatorname {Pr} (Y>1|-1/2<X<1/2)=\operatorname {Pr} (X>1|-1/2<X<1/2)=0}$

Наконец, распределение простой линейной комбинации концентрирует положительную вероятность в точке 0: . Следовательно, случайная величина не распределена нормально, и, следовательно , и не распределены совместно нормально (по определению выше). ^[4] ${\displaystyle X+Y}$ ${\displaystyle \operatorname {Pr} (X+Y=0)=1/2}$ ${\displaystyle X+Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Асимметричный пример

Совместная плотность и . Более темный цвет указывает на более высокое значение плотности. ${\displaystyle X}$ ${\displaystyle Y}$

Предположим, что имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1. Пусть где - положительное число, которое будет указано ниже. Если очень мало, то корреляция близка, если очень велико, то близка к 1. Поскольку корреляция является непрерывной функцией , теорема о промежуточном значении подразумевает, что существует некоторое конкретное значение , которое делает корреляцию 0. Это значение приблизительно равно 1,54. ^{[2] [примечание 1]} В этом случае и некоррелированы, но они явно не являются независимыми, поскольку полностью определяет . ${\displaystyle X}$ $${\displaystyle Y=\left\{{\begin{matrix}X&{\text{if }}\left|X\right|\leq c\\-X&{\text{if }}\left|X\right|>c\end{matrix}}\right.}$$ ${\displaystyle c}$ ${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$ ${\displaystyle -1}$ ${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$ ${\displaystyle c}$ ${\displaystyle c}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Чтобы убедиться, что распределение нормальное (и что его распределение совпадает с распределением ), можно вычислить его кумулятивную функцию распределения : ^[6] ${\displaystyle Y}$ ${\displaystyle X}$ $${\displaystyle {\begin{aligned}\Pr(Y\leq x)&=\Pr(\{|X|\leq c{\text{ and }}X\leq x\}{\text{ or }}\{|X|>c{\text{ and }}-X\leq x\})\\&=\Pr(|X|\leq c{\text{ and }}X\leq x)+\Pr(|X|>c{\text{ and }}-X\leq x)\\&=\Pr(|X|\leq c{\text{ and }}X\leq x)+\Pr(|X|>c{\text{ and }}X\leq x)\\&=\Pr(X\leq x),\end{aligned}}}$$

где предпоследнее равенство следует из симметрии распределения и симметрии условия, что . ${\displaystyle X}$ ${\displaystyle |X|\leq c}$

В этом примере разность далека от нормального распределения, поскольку имеет существенную вероятность (около 0,88) того, что она равна 0. Напротив, нормальное распределение, будучи непрерывным распределением, не имеет дискретной части — то есть оно не концентрирует больше нулевой вероятности в любой отдельной точке. Следовательно, и не распределены совместно нормально, хотя они по отдельности распределены нормально. ^[2] ${\displaystyle X-Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

Примеры с поддержкой почти в любой точке плоскости

Предположим, что координаты случайной точки на плоскости выбраны в соответствии с функцией плотности вероятности. Тогда случайные величины и некоррелированы, и каждая из них распределена нормально (со средним значением 0 и дисперсией 1), но они не являются независимыми. ^{[7] : 93} ${\displaystyle (X,Y)}$ $${\displaystyle p(x,y)={\frac {1}{2\pi {\sqrt {3}}}}\left[\exp \left(-{\frac {2}{3}}(x^{2}+xy+y^{2})\right)+\exp \left(-{\frac {2}{3}}(x^{2}-xy+y^{2})\right)\right].}$$ ${\displaystyle X}$ ${\displaystyle Y}$

Хорошо известно, что отношение двух независимых стандартных нормальных случайных величин отклоняется и имеет распределение Коши . ^{[8] [9] [7] : 122} Можно с тем же успехом начать со случайной величины Коши и вывести условное распределение для удовлетворения требования, что при и независимой и стандартной нормальной. Из этого следует, что в где — случайная величина Радемахера, а — случайная величина хи-квадрат с двумя степенями свободы. ${\displaystyle C}$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle C}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{i}=CY_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$ $${\displaystyle Y_{i}=W_{i}{\sqrt {\frac {\chi _{i}^{2}\left(k=2\right)}{1+C^{2}}}}}$$ ${\displaystyle W_{i}}$ ${\displaystyle \chi _{i}^{2}\left(k=2\right)}$

Рассмотрим два набора , . Обратите внимание, что не индексируется по – то есть одна и та же случайная величина Коши используется в определении как и . Такое совместное использование приводит к зависимостям между индексами: ни , ни не является независимым от . Тем не менее, все из и некоррелированы, поскольку все двумерные распределения имеют зеркальную симметрию по осям. ^{[ необходима цитата ]} ${\displaystyle \left(X_{i},Y_{i}\right)}$ ${\displaystyle i\in \left\{1,2\right\}}$ ${\displaystyle C}$ ${\displaystyle i}$ ${\displaystyle C}$ ${\displaystyle \left(X_{1},Y_{1}\right)}$ ${\displaystyle \left(X_{2},Y_{2}\right)}$ ${\displaystyle C}$ ${\displaystyle X_{1}}$ ${\displaystyle Y_{1}}$ ${\displaystyle Y_{2}}$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

Ненормальные совместные распределения с нормальными предельными значениями.

На рисунке показаны диаграммы рассеяния выборок, взятых из указанного выше распределения. Это дает два примера двумерных распределений, которые не коррелируют и имеют нормальные маргинальные распределения, но не являются независимыми. Левая панель показывает совместное распределение и ; распределение имеет поддержку везде, кроме начала координат. Правая панель показывает совместное распределение и ; распределение имеет поддержку везде, кроме осей, и имеет разрыв в начале координат: плотность расходится при приближении к началу координат по любому прямому пути, кроме осей. ${\displaystyle X_{1}}$ ${\displaystyle Y_{2}}$ ${\displaystyle Y_{1}}$ ${\displaystyle Y_{2}}$

Смотрите также

• Корреляция и зависимость

Ссылки

1. Rosenthal, Jeffrey S. (2005). «Рассуждения о некоррелированных нормальных случайных величинах».
2. Мельник, Эдвард Л.; Тененбейн, Аарон (ноябрь 1982 г.). «Неверные спецификации нормального распределения». The American Statistician . 36 (4): 372–373. doi :10.1080/00031305.1982.10483052.
3. Хогг, Роберт ; Танис, Эллиот (2001). «Глава 5.4. Двумерное нормальное распределение». Вероятность и статистический вывод (6-е изд.). Prentice Hall. стр. 258–259. ISBN 0130272949.
4. Ash, Robert B. "Lecture 21. The Multivariate Normal Distribution" (PDF) . Lectures on Statistics . Архивировано из оригинала (PDF) 2007-07-14.
5. Романо, Джозеф П.; Сигел, Эндрю Ф. (1986). Контрпримеры в теории вероятностей и статистике . Wadsworth & Brooks/Cole. стр. 65–66. ISBN 0-534-05568-0.
6. Wise, Gary L.; Hall, Eric B. (1993). Контрпримеры в вероятностном и реальном анализе . Oxford University Press. С. 140–141. ISBN 0-19-507068-2.
7. Стоянов, Джордан М. (2013). Контрпримеры в теории вероятности (3-е изд.). Довер. ISBN 978-0-486-49998-7.
8. Патель, Джагдиш К.; Рид, Кэмпбелл Б. (1996). Справочник по нормальному распределению (2-е изд.). Тейлор и Фрэнсис. стр. 113. ISBN 978-0-824-79342-5.
9. Кришнамурти, К. (2006). Справочник по статистическим распределениям с приложениями . CRC Press. стр. 278. ISBN 978-1-420-01137-1.

Примечания

1. Точнее 1,53817..., квадратный корень из медианы распределения хи-квадрат с 3 степенями свободы.