Многомерное нормальное распределение

Обобщение одномерного нормального распределения на более высокие измерения

В теории вероятностей и статистике многомерное нормальное распределение , многомерное распределение Гаусса или совместное нормальное распределение является обобщением одномерного ( одномерного ) нормального распределения на более высокие измерения . Одно из определений состоит в том, что случайный вектор называется нормально распределенным с k -мерными значениями, если каждая линейная комбинация его k компонентов имеет одномерное нормальное распределение. Его важность проистекает главным образом из многомерной центральной предельной теоремы . Многомерное нормальное распределение часто используется для описания, по крайней мере приблизительно, любого набора (возможно) коррелированных действительных случайных величин , каждая из которых группируется вокруг среднего значения.

Определения

Обозначения и параметризация

Многомерное нормальное распределение k -мерного случайного вектора можно записать в следующих обозначениях: ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

или чтобы явно было известно, что X является k -мерным,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

с k -мерным средним вектором

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },}$

и ковариационная матрица ${\displaystyle k\times k}$

${\displaystyle \Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

такой, что и . Обратная матрица ковариации называется матрицей точности и обозначается . ${\displaystyle 1\leq i\leq k}$ ${\displaystyle 1\leq j\leq k}$ ${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$

Стандартный нормальный случайный вектор

Действительный случайный вектор называется стандартным нормальным случайным вектором, если все его компоненты независимы и каждый является нормально распределенной случайной величиной с нулевой средней единичной дисперсией, т. е. если для всех . ^{[1] : с. 454} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{i}\sim \ {\mathcal {N}}(0,1)}$ ${\displaystyle i=1\ldots k}$

Центрированный нормальный случайный вектор

Действительный случайный вектор называется центрированным нормальным случайным вектором, если существует детерминированная матрица , имеющая то же распределение, что и где - стандартный нормальный случайный вектор с компонентами. ^{[1] : с. 454} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle k\times \ell }$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Z} }$ ${\displaystyle \ell }$

Нормальный случайный вектор

Действительный случайный вектор называется нормальным случайным вектором, если существует случайный -вектор , который является стандартным нормальным случайным вектором, -вектором и матрицей , такой что . ^{[2] : с. 454  [1] : с. 455} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle \ell }$ ${\displaystyle \mathbf {Z} }$ ${\displaystyle k}$ ${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times \ell }$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$

Формально:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{there exist }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ and }}\forall n=1,\ldots ,l:Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

Здесь ковариационная матрица равна . ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$

В вырожденном случае, когда ковариационная матрица сингулярна , соответствующее распределение не имеет плотности; подробности см. в разделе ниже. Этот случай часто возникает в статистике ; например, в распределении вектора остатков в обычной регрессии наименьших квадратов . В целом они не являются независимыми; их можно рассматривать как результат применения матрицы к набору независимых гауссовских переменных . ${\displaystyle X_{i}}$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle \mathbf {Z} }$

Эквивалентные определения

Следующие определения эквивалентны определению, данному выше. Случайный вектор имеет многомерное нормальное распределение, если он удовлетворяет одному из следующих эквивалентных условий. ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

• Любая линейная комбинация ее компонентов нормально распределена . То есть для любого постоянного вектора случайная величина имеет одномерное нормальное распределение, где одномерное нормальное распределение с нулевой дисперсией представляет собой точечную массу в своем среднем значении. ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$ ${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$ ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$
• Существуют k -вектор и симметричная положительно полуопределенная матрица такие, что характеристическая функция равна ${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbf {X} }$
  $${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$$

Сферическое нормальное распределение можно охарактеризовать как уникальное распределение, компоненты которого независимы в любой ортогональной системе координат. ^{[3] [4]}

Функция плотности

Двумерная нормальная плотность суставов

Невырожденный случай

Многомерное нормальное распределение называется «невырожденным», если симметричная ковариационная матрица положительно определена . В этом случае распределение имеет плотность ^[5] ${\displaystyle {\boldsymbol {\Sigma }}}$

${\displaystyle f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}}$

где – действительный k -мерный вектор-столбец и – определитель , также известный как обобщенная дисперсия . Приведенное выше уравнение сводится к уравнению одномерного нормального распределения, если — матрица (т. е. одно действительное число). ${\displaystyle {\mathbf {x} }}$ ${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle 1\times 1}$

Циркулярно-симметричная версия комплексного нормального распределения имеет несколько иную форму.

Каждый локус изоплотности — локус точек в k -мерном пространстве, каждая из которых дает одно и то же конкретное значение плотности — представляет собой эллипс или его многомерное обобщение; следовательно, многомерная нормаль является частным случаем эллиптических распределений .

Эта величина известна как расстояние Махаланобиса , которое представляет собой расстояние между контрольной точкой и средним значением . Обратите внимание, что в случае , когда распределение сводится к одномерному нормальному распределению, а расстояние Махаланобиса сводится к абсолютному значению стандартного балла . См. также Интервал ниже. ${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$ ${\displaystyle {\mathbf {x} }}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle k=1}$

Двумерный случай

В двумерном неособом случае ( ) функция плотности вероятности вектора равна: ${\displaystyle k=\operatorname {rank} \left(\Sigma \right)=2}$ ${\displaystyle {\text{[XY]′}}}$

$${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2\left[1-\rho ^{2}\right]}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)}$$

и ${\displaystyle \rho }$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \sigma _{X}>0}$ ${\displaystyle \sigma _{Y}>0}$

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

В двумерном случае первое эквивалентное условие для многомерного восстановления нормальности можно сделать менее ограничительным, поскольку достаточно проверить, что счетное множество различных линейных комбинаций и нормально, чтобы сделать вывод, что вектор является двумерным нормальным. ^[6] ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\text{[XY]′}}}$

Двумерные локусы изоплотности, нанесенные на -плоскость , представляют собой эллипсы , главные оси которых определяются собственными векторами ковариационной матрицы (большой и малый полудиаметры эллипса равны квадратному корню из упорядоченных собственных значений). ${\displaystyle x,y}$ ${\displaystyle {\boldsymbol {\Sigma }}}$

Двумерное нормальное распределение с центром в точке со стандартным отклонением 3 примерно в направлении и 1 в ортогональном направлении. ${\displaystyle (1,3)}$ ${\displaystyle (0.878,0.478)}$

По мере увеличения абсолютного значения параметра корреляции эти локусы сжимаются к следующей линии: ${\displaystyle \rho }$

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

Это связано с тем, что это выражение с заменой (где sn — функция Sign ) на , является лучшим линейным несмещенным прогнозом для данного значения . ^[7] ${\displaystyle \operatorname {sgn}(\rho )}$ ${\displaystyle \rho }$ ${\displaystyle Y}$ ${\displaystyle X}$

Вырожденный случай

Если ковариационная матрица не является полноранговой, то многомерное нормальное распределение вырождено и не имеет плотности. Точнее, он не имеет плотности по отношению к k -мерной мере Лебега (которая является обычной мерой, принимаемой в курсах вероятностей на уровне исчисления). Говорят , что только случайные векторы, распределения которых абсолютно непрерывны относительно меры, имеют плотность (относительно этой меры). Чтобы говорить о плотностях, но не иметь дело с теоретико-мерными сложностями, может быть проще ограничить внимание подмножеством координат таких, что ковариационная матрица для этого подмножества является положительно определенной; тогда другие координаты можно рассматривать как аффинную функцию этих выбранных координат. ^[8] ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$ ${\displaystyle \mathbf {x} }$

Таким образом, чтобы осмысленно говорить о плотности в единичных случаях, мы должны выбрать другую базовую меру. Используя теорему дезинтеграции, мы можем определить ограничение меры Лебега на -мерное аффинное подпространство, в котором поддерживается гауссово распределение, т.е. По этой мере распределение имеет плотность следующего мотива: ${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle \left\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\right\}}$

${\displaystyle f(\mathbf {x} )={\frac {e^{-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{+}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)}}{\sqrt {(2\pi )^{k}\det \nolimits ^{*}({\boldsymbol {\Sigma }})}}}}$

где – обобщенная обратная , – ранг и – псевдодетерминант . ^[9] ${\displaystyle {\boldsymbol {\Sigma }}^{+}}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \det \nolimits ^{*}}$

Кумулятивная функция распределения

Понятие кумулятивной функции распределения (cdf) в размерности 1 можно расширить двумя способами на многомерный случай, основанный на прямоугольных и эллипсоидальных областях.

Первый способ — определить CDF случайного вектора как вероятность того, что все компоненты меньше или равны соответствующим значениям в векторе : ^[10] ${\displaystyle F(\mathbf {x} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} }$

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

Хотя закрытой формы для не существует , существует ряд алгоритмов, позволяющих оценить ее численно. ^{[10] [11]} ${\displaystyle F(\mathbf {x} )}$

Другой способ - определить CDF как вероятность того, что образец находится внутри эллипсоида, определяемого его расстоянием Махаланобиса от гауссианы, что является прямым обобщением стандартного отклонения. ^[12] Для вычисления значений этой функции существуют замкнутые аналитические формулы ^[12] следующим образом. ${\displaystyle F(r)}$ ${\displaystyle r}$

Интервал

Интервал многомерного нормального распределения дает область, состоящую из тех векторов x , которые удовлетворяют

${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).}$

Здесь -мерный вектор, - известный -мерный средний вектор, - известная ковариационная матрица и - функция квантиля для вероятности распределения хи -квадрат со степенями свободы. ^[13] Когда выражение определяет внутреннюю часть эллипса, а распределение хи-квадрат упрощается до экспоненциального распределения со средним значением, равным двум (скорость равна половине). ${\displaystyle {\mathbf {x} }}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \chi _{k}^{2}(p)}$ ${\displaystyle p}$ ${\displaystyle k}$ ${\displaystyle k=2,}$

Дополнительная кумулятивная функция распределения (хвостовое распределение)

Дополнительная кумулятивная функция распределения (ccdf) или хвостовое распределение определяется как . Когда , то ccdf можно записать как вероятность максимума зависимых гауссовских переменных: ^[14] ${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)}$ ${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).}$

Хотя простой замкнутой формулы для вычисления ccdf не существует, максимум зависимых гауссовских переменных можно точно оценить с помощью метода Монте-Карло . ^{[14] [15]}

Характеристики

Вероятность в разных областях

Вверху: вероятность двумерной нормальности в области (синие области). В центре: вероятность трехмерной нормали в тороидальной области. Внизу: сходящийся интеграл Монте-Карло вероятности 4-мерной нормали в 4d-регулярной многогранной области, определяемой . Все они рассчитываются численным методом трассировки лучей. ^[16] ${\displaystyle x\sin y-y\cos x>1}$ ${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert <1}$

Вероятностное содержание многомерной нормали в квадратичной области, определяемой (где — матрица, — вектор и — скаляр), что актуально для байесовской классификации/теории принятия решений с использованием гауссовского дискриминантного анализа, определяется обобщенным хи- распределение в квадрате . ^[16] Содержимое вероятности в любой общей области, определяемой (где – общая функция), может быть вычислено с использованием численного метода трассировки лучей ^[16] (код Matlab). ${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0}$ ${\displaystyle \mathbf {Q_{2}} }$ ${\displaystyle {\boldsymbol {q_{1}}}}$ ${\displaystyle q_{0}}$ ${\displaystyle f({\boldsymbol {x}})>0}$ ${\displaystyle f({\boldsymbol {x}})}$

Высшие моменты

Моменты k -го порядка по x определяются выражением

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

где р ₁ + р ₂ + ⋯ + р _N знак равно k .

Центральные моменты k -го порядка следующие :

1. Если k нечетно, µ _{1, …, N} ( x - µ ) знак равно 0 .
2. Если k четно с k = 2 λ , то ^{[ неоднозначно ]}
   $${\displaystyle \mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)}$$

где сумма берется по всем распределениям набора по λ (неупорядоченным) парам. То есть для k -го (= 2 λ = 6) центрального момента суммируются произведения ковариаций λ = 3 (в интересах экономии ожидаемое значение µ принимается равным 0): ${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

Это дает члены в сумме (15 в приведенном выше случае), каждый из которых является произведением ковариаций λ (в данном случае 3). Для моментов четвертого порядка (четыре переменные) имеется три члена. Для моментов шестого порядка имеется 3 × 5 = 15 членов, а для моментов восьмого порядка — 3 × 5 × 7 = 105 членов. ${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$

Затем ковариации определяются путем замены членов списка соответствующими членами списка, состоящего из r ₁ единиц, затем r ₂ двоек и т. д. Чтобы проиллюстрировать это, рассмотрим следующий случай центрального момента 4-го порядка: ${\displaystyle [1,\ldots ,2\lambda ]}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

где – ковариация X _i и X _j . С помощью описанного выше метода сначала находится общий случай для k -го момента с k различными X- переменными, а затем соответствующим образом упрощается. Например, для можно положить X _i = X _j и использовать тот факт, что . ${\displaystyle \sigma _{ij}}$ ${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$ ${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$ ${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$

Функции нормального вектора

a: Плотность вероятности функции одной нормальной переменной с и . б: Плотность вероятности функции нормального вектора со средним значением и ковариацией . c: Тепловая карта совместной плотности вероятности двух функций нормального вектора со средним значением и ковариацией . d: Плотность вероятности функции 4 стандартных нормальных переменных iid. Они рассчитываются численным методом трассировки лучей. ^[16] ${\displaystyle \cos x^{2}}$ ${\displaystyle x}$ ${\displaystyle \mu =-2}$ ${\displaystyle \sigma =3}$ ${\displaystyle x^{y}}$ ${\displaystyle (x,y)}$ ${\displaystyle {\boldsymbol {\mu }}=(1,2)}$ ${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}}$ ${\displaystyle (x,y)}$ ${\displaystyle {\boldsymbol {\mu }}=(-2,5)}$ ${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}}$ ${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert }$

Квадратичная форма нормального вектора ( где – матрица, – вектор, – скаляр) – это обобщенная переменная хи-квадрат . ^[16] Направление нормального вектора соответствует прогнозируемому нормальному распределению . ^[17] ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$ ${\displaystyle \mathbf {Q_{2}} }$ ${\displaystyle {\boldsymbol {q_{1}}}}$ ${\displaystyle q_{0}}$

Если — общая скалярная функция нормального вектора, ее функция плотности вероятности , кумулятивная функция распределения и обратная кумулятивная функция распределения могут быть вычислены с помощью численного метода трассировки лучей (код Matlab). ^[16] ${\displaystyle f({\boldsymbol {x}})}$

Функция правдоподобия

Если известны среднее значение и ковариационная матрица, логарифм правдоподобия наблюдаемого вектора представляет собой просто логарифм функции плотности вероятности : ${\displaystyle {\boldsymbol {x}}}$

${\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]}$,

Циклически симметричная версия нецентрального комплексного случая, где – вектор комплексных чисел, будет иметь вид ${\displaystyle {\boldsymbol {z}}}$

${\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}$

т.е. с сопряженной транспозицией (обозначенной значком ), заменяющей нормальную транспозицию (обозначенную значком ). Это немного отличается от реального случая, поскольку циркулярно-симметричная версия комплексного нормального распределения имеет несколько иной вид константы нормализации . ${\displaystyle \dagger }$ ${\displaystyle '}$

Аналогичные обозначения используются для множественной линейной регрессии . ^[18]

Поскольку логарифмическая вероятность нормального вектора представляет собой квадратичную форму нормального вектора, она распределяется как обобщенная переменная хи-квадрат . ^[16]

Дифференциальная энтропия

Дифференциальная энтропия многомерного нормального распределения равна ^[19]

${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\&={\frac {1}{2}}\ln {}\left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}+{\frac {k}{2}}\ln {}2\pi +{\frac {1}{2}}\ln {}\left|{\boldsymbol {\Sigma }}\right|\\\end{aligned}}}$

где столбцы обозначают определитель матрицы , k — размерность векторного пространства, а результат имеет единицы измерения nats .

Расхождение Кульбака – Лейблера

Расхождение Кульбака –Лейблера от до для неособых матриц Σ ₁ и Σ ₀ равно: ^[20] ${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$ ${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

где обозначает определитель матрицы , – след , – натуральный логарифм , – размерность векторного пространства. ${\displaystyle |\cdot |}$ ${\displaystyle tr(\cdot )}$ ${\displaystyle ln(\cdot )}$ ${\displaystyle k}$

Логарифм необходимо брать по основанию e, поскольку два члена, следующие за логарифмом, сами являются логарифмами по основанию e выражений, которые либо являются факторами функции плотности, либо возникают естественным образом. Таким образом, уравнение дает результат, измеряемый в натс . Разделив все приведенное выше выражение на log _e  2, получим расхождение в битах .

Когда , ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

Взаимная информация

Взаимная информация распределения представляет собой частный случай расхождения Кульбака – Лейблера, в котором является полным многомерным распределением и является продуктом одномерных маргинальных распределений. В обозначениях раздела о расхождениях Кульбака – Лейблера в этой статье это диагональная матрица с диагональными элементами , и . Итоговая формула взаимной информации: ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle {\boldsymbol {\Sigma }}_{1}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

где – корреляционная матрица, построенная из . ^[21] ${\displaystyle {\boldsymbol {\rho }}_{0}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{0}}$

В двумерном случае выражение взаимной информации имеет вид:

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

Нормальность суставов

Нормально распределенные и независимые

Если и нормально распределены и независимы , это означает, что они «совместно нормально распределены», т. е. пара должна иметь многомерное нормальное распределение. Однако пара совместно нормально распределенных переменных не обязательно должна быть независимой (будет таковой только в том случае, если она не коррелирует ). ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$ ${\displaystyle \rho =0}$

Две нормально распределенные случайные величины не обязательно должны быть совместно двумерными нормальными.

Тот факт, что две случайные величины имеют нормальное распределение, не означает, что пара имеет совместное нормальное распределение. Простым примером является тот, в котором X имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1, и если и если , где . Существуют аналогичные контрпримеры для более чем двух случайных величин. В общем, они суммируются в смешанной модели . ^{[ нужна цитата ]} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$ ${\displaystyle Y=X}$ ${\displaystyle |X|>c}$ ${\displaystyle Y=-X}$ ${\displaystyle |X|<c}$ ${\displaystyle c>0}$

Корреляции и независимость

В общем, случайные величины могут быть некоррелированными, но статистически зависимыми. Но если случайный вектор имеет многомерное нормальное распределение, то любые два или более его некоррелированных компонента являются независимыми . Это означает, что любые два или более его компонента, попарно независимые, являются независимыми. Но, как указывалось выше, неверно , что две случайные величины, которые ( отдельно , маргинально) нормально распределены и некоррелированы, независимы.

Условные распределения

Если N -мерный x разбит следующим образом

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

и, соответственно, µ и Σ разбиваются следующим образом

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

тогда распределение x ₁ при условии x ₂ = a является многомерным нормальным ^[22] ( x ₁  |  x ₂ = a ) ~ N ( µ , Σ ), где

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

и ковариационная матрица

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^[23]

Вот обобщенная инверсия . _ Матрица является дополнением Шура к ₂₂ в . _ То есть приведенное выше уравнение эквивалентно инвертированию общей ковариационной матрицы, удалению строк и столбцов, соответствующих обусловленным переменным, и обратному обращению для получения условной ковариационной матрицы. ${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{22}}$ ${\displaystyle {\overline {\boldsymbol {\Sigma }}}}$

Обратите внимание, что знание того, что x ₂ = a изменяет дисперсию, хотя новая дисперсия не зависит от конкретного значения a ; что еще более удивительно, среднее значение смещается на ; сравните это с ситуацией, когда значение a не известно , и в этом случае x ₁ будет иметь распределение . ${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$ ${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$

Интересный факт, полученный для доказательства этого результата, состоит в том, что случайные векторы и независимы. ${\displaystyle \mathbf {x} _{2}}$ ${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$

Матрица Σ ₁₂ Σ ₂₂ ^-1 известна как матрица коэффициентов регрессии .

Двумерный случай

В двумерном случае, когда x делится на и , условное распределение заданного является ^[24] ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

${\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right)}$

где коэффициент корреляции между и . ${\displaystyle \rho }$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

Двумерное условное ожидание

В общем случае

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)}$

Условное ожидание X ₁ при условии X ₂ равно:

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})}$

Доказательство: результат получается, если взять математическое ожидание условного распределения, приведенного выше. ${\displaystyle X_{1}\mid X_{2}}$

В центрированном случае с единичными дисперсиями

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}$

Условное ожидание X ₁ при условии X ₂ равно

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

и условная дисперсия равна

${\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}$

таким образом, условная дисперсия не зависит от x ₂ .

Условное математическое ожидание X ₁ при условии, что X ₂ меньше/больше z, равно: ^{[25] : 367}

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\varphi (z) \over \Phi (z)},}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\varphi (z) \over (1-\Phi (z))},}$

где окончательное соотношение здесь называется обратным коэффициентом Миллса .

Доказательство: два последних результата получены с помощью результата , так что ${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)}$а затем используя свойства ожидания усеченного нормального распределения .

Маржинальные распределения

Чтобы получить маргинальное распределение по подмножеству многомерных нормальных случайных величин, нужно всего лишь исключить нерелевантные переменные (переменные, которые нужно исключить) из среднего вектора и ковариационной матрицы. Доказательство этого следует из определений многомерного нормального распределения и линейной алгебры. ^[26]

Пример

Пусть X = [ X ₁ , X ₂ , X ₃ ] будут многомерными нормальными случайными величинами со средним вектором µ = [ µ ₁ , µ ₂ , µ ₃ ] и ковариационной матрицей Σ (стандартная параметризация для многомерных нормальных распределений). Тогда совместное распределение X' ₌ [ X ₁ , X ₃ ] является многомерным нормальным со средним вектором µ ' = [ 1 , µ ₃ ] и ковариационной матрицей . ${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

Аффинное преобразование

Если Y = c + BX — аффинное преобразование , где c — вектор констант, а B — постоянная матрица, то Y имеет многомерное нормальное распределение с ожидаемым значением c + Bμ и дисперсией BΣB ^T , т.е. В частности, любое подмножество X _i имеет предельное распределение, которое также является многомерным нормальным. Чтобы убедиться в этом, рассмотрим следующий пример: чтобы извлечь подмножество ( X ₁ , X ₂ , X ₄ ) ^T , используйте ${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$ ${\displaystyle M\times 1}$ ${\displaystyle M\times N}$ ${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

который извлекает нужные элементы напрямую.

Другим следствием является то, что распределение Z = b · X , где b — постоянный вектор с тем же числом элементов, что и X , а точка указывает на скалярное произведение , является одномерным гауссовским с . Этот результат получается при использовании ${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Обратите внимание, что из положительной определенности Σ следует, что дисперсия скалярного произведения должна быть положительной.

Аффинное преобразование X, такое как 2 X, — это не то же самое, что сумма двух независимых реализаций X.

Геометрическая интерпретация

Контуры эквивалентности неособого многомерного нормального распределения представляют собой эллипсоиды (т.е. аффинные преобразования гиперсфер ) с центром в среднем. ^[27] Следовательно, многомерное нормальное распределение является примером класса эллиптических распределений . Направления главных осей эллипсоидов задаются собственными векторами ковариационной матрицы . Квадраты относительных длин главных осей задаются соответствующими собственными значениями. ${\displaystyle {\boldsymbol {\Sigma }}}$

Если Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^T — собственное разложение , где столбцы U являются единичными собственными векторами, а Λ — диагональная матрица собственных значений, то мы имеем

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

Более того, U можно выбрать в качестве матрицы вращения , поскольку инвертирование оси не оказывает никакого влияния на N (0, Λ ), но инвертирование столбца меняет знак определителя U. Распределение N ( μ , Σ ) фактически представляет собой N (0, I ), масштабированное на Λ ^1/2 , повернутое на U и сдвинутое на µ .

И наоборот, любой выбор µ , матрицы полного ранга U и положительных диагональных элементов Λ _i дает неособое многомерное нормальное распределение. Если любой Λ _i равен нулю, а U квадратен , результирующая ковариационная матрица UΛU ^T сингулярна . Геометрически это означает, что каждый контурный эллипсоид бесконечно тонкий и имеет нулевой объем в n -мерном пространстве, поскольку хотя бы одна из главных осей имеет нулевую длину; это вырожденный случай .

«Радиус вокруг истинного среднего значения двумерной нормальной случайной величины, переписанной в полярных координатах (радиус и угол), соответствует распределению Хойта ». ^[28]

В одном измерении вероятность найти выборку нормального распределения в интервале составляет примерно 68,27%, но в более высоких измерениях вероятность найти выборку в области эллипса стандартного отклонения ниже. ^[29] ${\displaystyle \mu \pm \sigma }$

Статистические выводы

Оценка параметров

Вывод оценки максимального правдоподобия ковариационной матрицы многомерного нормального распределения прост.

Короче говоря, функция плотности вероятности (pdf) многомерного нормального значения равна

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

а ML-оценка ковариационной матрицы из выборки из n наблюдений равна ^[30]

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\mathrm {T} }}$

это просто выборочная ковариационная матрица . Это смещенная оценка , математическое ожидание которой равно

${\displaystyle E\left[{\widehat {\boldsymbol {\Sigma }}}\right]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

Несмещенная выборочная ковариация — это

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={\frac {1}{n-1}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}={\frac {1}{n-1}}\left[X'\left(I-{\frac {1}{n}}\cdot J\right)X\right]}$ (форма матрицы; — единичная матрица, J — матрица единиц; таким образом, термин в скобках является центрирующей матрицей) ${\displaystyle I}$ ${\displaystyle K\times K}$ ${\displaystyle K\times K}$ ${\displaystyle K\times K}$

Информационная матрица Фишера для оценки параметров многомерного нормального распределения имеет выражение замкнутого вида. Это можно использовать, например, для вычисления границы Крамера – Рао для оценки параметров в этой ситуации. Дополнительную информацию см . в информации Fisher .

Байесовский вывод

В байесовской статистике сопряженный априор среднего вектора является еще одним многомерным нормальным распределением, а сопряженный априор ковариационной матрицы представляет собой обратное распределение Вишарта . Предположим тогда, что было сделано n наблюдений. ${\displaystyle {\mathcal {W}}^{-1}}$

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

и что был назначен сопряженный априор, где

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

где

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

и

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

Тогда ^[31]

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

где

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

Многомерные тесты на нормальность

Многомерные тесты нормальности проверяют заданный набор данных на сходство с многомерным нормальным распределением . Нулевая гипотеза заключается в том, что набор данных аналогичен нормальному распределению, поэтому достаточно маленькое значение p указывает на ненормальные данные. Многомерные тесты на нормальность включают тест Кокса-Смолла ^[32] и адаптацию Смита и Джайна ^[33] теста Фридмана-Рафски, созданного Ларри Рафски и Джеромом Фридманом . ^[34]

Тест Мардиа ^[35] основан на многомерном расширении мер асимметрии и эксцесса . Для выборки { x ₁ , ..., x _n } k -мерных векторов мы вычисляем

${\displaystyle {\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{\mathrm {T} }\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}}$

При нулевой гипотезе многомерной нормальности статистика A будет иметь приблизительно распределение хи-квадрат с1/6⋅ k ( k + 1)( k + 2) степеней свободы, и B будет примерно стандартной нормалью N (0,1).

Статистика эксцесса Мардиа искажена и очень медленно сходится к предельному нормальному распределению. Для выборок среднего размера модифицируются параметры асимптотического распределения статистики эксцесса ^[36]. Для тестов на небольшой выборке ( ) используются эмпирические критические значения. Таблицы критических значений для обеих статистик приведены Ренчером ^[37] для k  = 2, 3, 4. ${\displaystyle (50\leq n<400)}$ ${\displaystyle n<50}$

Тесты Мардиа аффинно-инвариантны, но несогласованны. Например, многомерный тест на асимметрию несовместим с симметричными ненормальными альтернативами. ^[38]

Тест BHEP ^[39] вычисляет норму разницы между эмпирической характеристической функцией и теоретической характеристической функцией нормального распределения. Вычисление нормы производится в пространстве L ² ( μ ) функций, интегрируемых с квадратом, относительно весовой функции Гаусса . Статистика теста ${\displaystyle \mu _{\beta }(\mathbf {t} )=(2\pi \beta ^{2})^{-k/2}e^{-|\mathbf {t} |^{2}/(2\beta ^{2})}}$

${\displaystyle {\begin{aligned}T_{\beta }&=\int _{\mathbb {R} ^{k}}\left|{1 \over n}\sum _{j=1}^{n}e^{i\mathbf {t} ^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1/2}(\mathbf {x} _{j}-{\bar {\mathbf {x} )}}}-e^{-|\mathbf {t} |^{2}/2}\right|^{2}\;{\boldsymbol {\mu }}_{\beta }(\mathbf {t} )\,d\mathbf {t} \\&={1 \over n^{2}}\sum _{i,j=1}^{n}e^{-{\beta ^{2} \over 2}(\mathbf {x} _{i}-\mathbf {x} _{j})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-\mathbf {x} _{j})}-{\frac {2}{n(1+\beta ^{2})^{k/2}}}\sum _{i=1}^{n}e^{-{\frac {\beta ^{2}}{2(1+\beta ^{2})}}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})}+{\frac {1}{(1+2\beta ^{2})^{k/2}}}\end{aligned}}}$

Предельное распределение этой тестовой статистики представляет собой взвешенную сумму случайных величин хи-квадрат. ^[39]

Доступен подробный обзор этих и других процедур испытаний. ^[40]

Классификация на многомерные нормальные классы

Слева: Классификация семи многомерных нормальных классов. Цветные эллипсы — это эллипсы ошибок с точностью до 1 стандартного отклонения. Черным отмечены границы между областями классификации. – вероятность полной ошибки классификации. Справа: матрица ошибок. — вероятность отнесения образца от нормального к . Они рассчитываются численным методом трассировки лучей ^[16] (код Matlab). ${\displaystyle p_{e}}$ ${\displaystyle p_{ij}}$ ${\displaystyle i}$ ${\displaystyle j}$

Гауссов дискриминантный анализ

Предположим, что наблюдения (которые являются векторами) предположительно происходят из одного из нескольких многомерных нормальных распределений с известными средними значениями и ковариациями. Тогда любое данное наблюдение можно отнести к распределению, из которого оно имеет наибольшую вероятность возникновения. Эта процедура классификации называется гауссовским дискриминантным анализом. Производительность классификации, то есть вероятности различных результатов классификации, а также общая ошибка классификации, могут быть рассчитаны с помощью численного метода трассировки лучей ^[16] (код Matlab).

Вычислительные методы

Получение значений из распределения

Широко используемый метод рисования (выборки) случайного вектора x из N -мерного многомерного нормального распределения со средним вектором µ и ковариационной матрицей Σ работает следующим образом: ^[41]

1. Найдите любую действительную матрицу A такую, что A  A ^T = Σ . Когда Σ положительно определена, обычно используется разложение Холецкого , и всегда можно использовать расширенную форму этого разложения (поскольку ковариационная матрица может быть только положительно полуопределенной) в обоих случаях получается подходящая матрица A. Альтернативой является использование матрицы A = UΛ½ ^, полученной в результате спектрального разложения Σ = UΛU ⁻¹ матрицы Σ . Первый подход более прост с вычислительной точки зрения, но матрицы A изменяются для различного порядка элементов случайного вектора, тогда как второй подход дает матрицы, которые связаны простым переупорядочением. Теоретически оба подхода дают одинаково хорошие способы определения подходящей матрицы A , но есть различия во времени вычислений.
2. Пусть z = ( z ₁ , …, z _N ) ^T — вектор, компоненты которого представляют собой N независимых стандартных нормальных переменных (которые можно сгенерировать, например, с помощью преобразования Бокса–Мюллера ).
3. Пусть x будет µ + Az . Оно имеет желаемое распределение благодаря свойству аффинного преобразования.

Смотрите также

• Распределение Хи , PDF 2-нормы ( евклидова норма или длина вектора ) многомерного нормально распределенного вектора (некоррелированного и центрированного по нулю).
  • Распределение Рэлея , PDF-файл длины вектора двумерного нормально распределенного вектора (некоррелированного и с центром в нуле)
  • Распределение риса , PDF-файл длины вектора двумерного нормально распределенного вектора (некоррелированного и нецентрированного)
  • Распределение Хойта , PDF-файл длины вектора двумерного нормально распределенного вектора (коррелированного и центрированного)
• Комплексное нормальное распределение , применение двумерного нормального распределения
• Copula для определения гауссовой или нормальной модели копулы.
• Многомерное t-распределение — еще одно широко используемое сферически-симметричное многомерное распределение.
• Расширение многомерного устойчивого распределения многомерного нормального распределения, когда индекс (показатель степени характеристической функции) находится между нулем и двумя.
• Расстояние Махаланобис
• Распределение желаний
• Матричное нормальное распределение

Рекомендации

1. Лапидот, Амос (2009). Фонд цифровых коммуникаций . Издательство Кембриджского университета. ISBN 978-0-521-19395-5.
2. Гут, Аллан (2009). Промежуточный курс теории вероятности . Спрингер. ISBN 978-1-441-90161-3.
3. Кац, М. (1939). «О характеристике нормального распределения». Американский журнал математики . 61 (3): 726–728. дои : 10.2307/2371328. JSTOR  2371328.
4. Синц, Фабиан; Гервинн, Себастьян; Бетге, Матиас (2009). «Характеристика p-обобщенного нормального распределения». Журнал многомерного анализа . 100 (5): 817–820. дои : 10.1016/j.jmva.2008.07.006 .
5. Саймон Джей Ди Принс (июнь 2012 г.). Компьютерное зрение: модели, обучение и выводы. Издательство Кембриджского университета. 3.7: «Многомерное нормальное распределение».
6. Хамедани, Г.Г.; Тата, Миннесота (1975). «Об определении двумерного нормального распределения по распределениям линейных комбинаций переменных». Американский математический ежемесячник . 82 (9): 913–915. дои : 10.2307/2318494. JSTOR  2318494.
7. Вятт, Джон (26 ноября 2008 г.). «Линейная оценка наименьших среднеквадратических ошибок» (PDF) . Конспект лекций по курсу прикладной вероятности . Архивировано из оригинала (PDF) 10 октября 2015 года . Проверено 23 января 2012 г.
8. «Линейная алгебра - Сопоставление между аффинной координатной функцией» . Математический обмен стеками . Проверено 24 июня 2022 г.
9. Рао, CR (1973). Линейный статистический вывод и его приложения . Нью-Йорк: Уайли. стр. 527–528. ISBN 0-471-70823-2.
10. Ботев, З.И. (2016). «Нормальный закон при линейных ограничениях: моделирование и оценка с помощью минимаксного наклона». Журнал Королевского статистического общества, серия B. 79 : 125–148. arXiv : 1603.04166 . Бибкод : 2016arXiv160304166B. дои : 10.1111/rssb.12162. S2CID  88515228.
11. Генц, Алан (2009). Вычисление многомерных нормальных и t-вероятностей. Спрингер. ISBN 978-3-642-01689-9.
12. Бенсимхун Майкл, N-мерная кумулятивная функция и другие полезные факты о гауссианах и нормальных плотностях (2006)
13. Сиотани, Минору (1964). «Области толерантности для многомерной нормальной популяции» (PDF) . Летопись Института статистической математики . 16 (1): 135–153. дои : 10.1007/BF02868568. S2CID  123269490.
14. Ботев, З.И.; Манджес, М.; Риддер, А. (6–9 декабря 2015 г.). «Хвостовое распределение максимума коррелированных гауссовских случайных величин». Зимняя конференция по моделированию (WSC) 2015 . Хантингтон-Бич, Калифорния, США: IEEE. стр. 633–642. дои : 10.1109/WSC.2015.7408202. hdl : 10419/130486 . ISBN 978-1-4673-9743-8.
15. Адлер, Р.Дж.; Бланше, Дж.; Лю, Дж. (7–10 декабря 2008 г.). «Эффективное моделирование хвостовых вероятностей гауссовских случайных полей». Зимняя конференция по моделированию (WSC) 2008 г. Майами, Флорида, США: IEEE. стр. 328–336. дои : 10.1109/WSC.2008.4736085. ISBN 978-1-4244-2707-9.{{cite conference}}: CS1 maint: date and year (link)
16. Дас, Абхранил; Уилсон С. Гейслер (2020). «Методы интеграции мультинормальных чисел и вычисления мер классификации». arXiv : 2012.14331 [stat.ML].
17. Эрнандес-Стумпфхаузер, Дэниел; Брейдт, Ф. Джей; ван дер Вёрд, Марк Дж. (2017). «Общее прогнозируемое нормальное распределение произвольной размерности: моделирование и байесовский вывод». Байесовский анализ . 12 (1): 113–133. дои : 10.1214/15-BA989 .
18. Тонг, Т. (2010) Множественная линейная регрессия: MLE и результаты ее распределения. Архивировано 16 июня 2013 г. на WebCite , конспекты лекций.
19. Гохале, Д.В.; Ахмед, Н.А.; Рес, Британская Колумбия; Пискатауэй, Нью-Джерси (май 1989 г.). «Выражения энтропии и их оценки для многомерных распределений». Транзакции IEEE по теории информации . 35 (3): 688–692. дои : 10.1109/18.30996.
20. Дучи, Дж. «Выводы для линейной алгебры и оптимизации» (PDF) : 13. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
21. Маккей, Дэвид Дж. К. (6 октября 2003 г.). Теория информации, логический вывод и алгоритмы обучения (Иллюстрированное издание). Кембридж: Издательство Кембриджского университета. ISBN 978-0-521-64298-9.
22. Холт, В.; Нгуен, Д. (2023). «Основные аспекты байесовского вменения данных». ССНН  4494314. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
23. Итон, Моррис Л. (1983). Многомерная статистика: векторно-пространственный подход . Джон Уайли и сыновья. стр. 116–117. ISBN 978-0-471-02776-8.
24. Дженсен, Дж (2000). Статистика для инженеров-нефтяников и геологов . Амстердам: Эльзевир. п. 207. ИСБН 0-444-50552-0.
25. Маддала, GS (1983). Ограниченно зависимые и качественные переменные в эконометрике . Издательство Кембриджского университета. ISBN 0-521-33825-5.
26. Алгебраическое вычисление предельного распределения показано здесь http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html. Архивировано 17 января 2010 г. в Wayback Machine . Здесь изложено гораздо более короткое доказательство https://math.stackexchange.com/a/3832137.
27. Николаус Хансен (2016). «Стратегия эволюции CMA: Учебное пособие» (PDF) . arXiv : 1604.00772 . Бибкод : 2016arXiv160400772H. Архивировано из оригинала (PDF) 31 марта 2010 г. Проверено 7 января 2012 г.
28. Дэниел Волльшлегер. «Дистрибутив Хойта (документация для пакета R 'shotGroups' версии 0.6.2)».^{[ постоянная мертвая ссылка ]}
29. Ван, Бин; Ши, Вэньчжун; Мяо, Зеланг (13 марта 2015 г.). Роккини, Дуччо (ред.). «Анализ уверенности в эллипсе стандартных отклонений и его расширении в евклидово пространство более высоких измерений». ПЛОС ОДИН . 10 (3): e0118537. Бибкод : 2015PLoSO..1018537W. дои : 10.1371/journal.pone.0118537 . ISSN  1932-6203. ПМЦ 4358977 . ПМИД  25769048. 
30. Холт, В.; Нгуен, Д. (2023). «Введение в байесовское вменение данных». ССНН  4494314. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
31. Холт, В.; Нгуен, Д. (2023). «Введение в байесовское вменение данных». ССНН  4494314. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
32. Кокс, Д.Р.; Смолл, Нью-Джерси (1978). «Тестирование многомерной нормальности». Биометрика . 65 (2): 263. doi :10.1093/biomet/65.2.263.
33. Смит, СП; Джайн, АК (1988). «Тест для определения многомерной нормальности набора данных». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 10 (5): 757. дои : 10.1109/34.6789.
34. Фридман, Дж. Х.; Рафски, LC (1979). «Многомерные обобщения двухвыборочных критериев Вальда – Вольфовица и Смирнова». Анналы статистики . 7 (4): 697. дои : 10.1214/aos/1176344722 .
35. Мардия, КВ (1970). «Меры многомерной асимметрии и эксцесса с приложениями». Биометрика . 57 (3): 519–530. дои : 10.1093/biomet/57.3.519.
36. Ренчер (1995), страницы 112–113.
37. Ренчер (1995), страницы 493–495.
38. Барингхаус, Л.; Хенце, Н. (1991). «Предельные распределения показателей многомерной асимметрии и эксцесса на основе прогнозов». Журнал многомерного анализа . 38 : 51–69. дои : 10.1016/0047-259X(91)90031-V .
39. Бэрингхаус, Л.; Хенце, Н. (1988). «Последовательный тест на многомерную нормальность, основанный на эмпирической характеристической функции». Метрика . 35 (1): 339–348. дои : 10.1007/BF02613322. S2CID  122362448.
40. Хенце, Норберт (2002). «Инвариантные тесты на многомерную нормальность: критический обзор». Статистические документы . 43 (4): 467–506. дои : 10.1007/s00362-002-0119-6. S2CID  122934510.
41. Нежный, JE (2009). Вычислительная статистика. Статистика и вычисления. Нью-Йорк: Спрингер. стр. 315–316. дои : 10.1007/978-0-387-98144-4. ISBN 978-0-387-98143-7.

Литература

• Ренчер, AC (1995). Методы многомерного анализа . Нью-Йорк: Уайли.
• Тонг, ЮЛ (1990). Многомерное нормальное распределение . Серия Спрингера по статистике. Нью-Йорк: Springer-Verlag. дои : 10.1007/978-1-4613-9655-0. ISBN 978-1-4613-9657-4. S2CID  120348131.