Ковариационная матрица

Мера ковариации компонентов случайного вектора

Двумерная гауссовская функция плотности вероятности с центром в точке (0, 0) с ковариационной матрицей, заданной как ${\displaystyle {\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}}$

Точки выборки из двумерного гауссовского распределения со стандартным отклонением 3 примерно в нижнем левом – верхнем правом направлении и 1 в ортогональном направлении. Поскольку компоненты x и y ковариируют, дисперсии и не полностью описывают распределение. Необходима ковариационная матрица; направления стрелок соответствуют собственным векторам этой ковариационной матрицы, а их длины – квадратным корням собственных значений . ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle 2\times 2}$

В теории вероятностей и статистике ковариационная матрица (также известная как автоковариационная матрица , дисперсионная матрица , дисперсионная матрица или дисперсионно-ковариационная матрица ) — это квадратная матрица, задающая ковариацию между каждой парой элементов заданного случайного вектора .

Интуитивно, ковариационная матрица обобщает понятие дисперсии на множество измерений. Например, вариация в наборе случайных точек в двумерном пространстве не может быть полностью охарактеризована одним числом, и дисперсии в направлениях и не будут содержать всю необходимую информацию; для полной характеристики двумерной вариации потребуется матрица. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle 2\times 2}$

Любая ковариационная матрица симметрична и положительно полуопределена , а ее главная диагональ содержит дисперсии (т. е. ковариацию каждого элемента с самим собой).

Ковариационная матрица случайного вектора обычно обозначается как , или . ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \Sigma }$ ${\displaystyle S}$

Определение

В этой статье жирным шрифтом без нижнего индекса обозначаются случайные векторы, а римскими шрифтами с нижним индексом обозначаются скалярные случайные величины. ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

Если элементы в векторе-столбце являются случайными величинами , каждая из которых имеет конечную дисперсию и ожидаемое значение , то ковариационная матрица — это матрица, элементом которой является ковариация ^{[1] : 177} , где оператор обозначает ожидаемое значение (среднее) своего аргумента. $${\displaystyle \mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathsf {T}}}$$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle (i,j)}$ $${\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]}$$ ${\displaystyle \operatorname {E} }$

Противоречивые номенклатуры и обозначения

Номенклатуры различаются. Некоторые статистики, следуя вероятностнику Уильяму Феллеру в его двухтомной книге « Введение в теорию вероятностей и ее приложения» ^[2] , называют матрицу дисперсией случайного вектора , потому что она является естественным обобщением на более высокие измерения одномерной дисперсии. Другие называют ее ковариационной матрицей , потому что она является матрицей ковариаций между скалярными компонентами вектора . ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$ $${\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right].}$$

Обе формы вполне стандартны, и между ними нет никакой двусмысленности. Матрицу также часто называют матрицей дисперсии-ковариации , поскольку диагональные члены на самом деле являются дисперсиями. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$

Для сравнения, обозначение матрицы кросс-ковариации между двумя векторами имеет вид $${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathsf {T}}\right].}$$

Характеристики

Связь с матрицей автокорреляции

Автоковариационная матрица связана с автокорреляционной матрицей соотношением, где автокорреляционная матрица определяется как . ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$ $${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathsf {T}}}$$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathsf {T}}]}$

Отношение к корреляционной матрице

Сущность, тесно связанная с ковариационной матрицей, — это матрица коэффициентов корреляции Пирсона между каждой из случайных величин в случайном векторе , которую можно записать как , где — матрица диагональных элементов (т.е. диагональная матрица дисперсий для ) . ${\displaystyle \mathbf {X} }$ $${\displaystyle \operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},}$$ ${\displaystyle \operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })}$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle X_{i}}$ ${\displaystyle i=1,\dots ,n}$

Эквивалентно, корреляционную матрицу можно рассматривать как ковариационную матрицу стандартизированных случайных величин для . ${\displaystyle X_{i}/\sigma (X_{i})}$ ${\displaystyle i=1,\dots ,n}$ $${\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}$$

Каждый элемент на главной диагонали корреляционной матрицы представляет собой корреляцию случайной величины с самой собой, которая всегда равна 1. Каждый недиагональный элемент находится в диапазоне от −1 до +1 включительно.

Обратная ковариационная матрица

Обратная матрица этой матрицы , если она существует, является обратной ковариационной матрицей (или обратной матрицей концентрации ^{[ сомнительно – обсудить ]} ), также известной как матрица точности (или матрица концентрации ). ^[3] ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}}$

Точно так же, как ковариационная матрица может быть записана как масштабирование корреляционной матрицы по предельным дисперсиям: $${\displaystyle \operatorname {cov} (\mathbf {X} )={\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}{\begin{bmatrix}1&\rho _{x_{1},x_{2}}&\cdots &\rho _{x_{1},x_{n}}\\\rho _{x_{2},x_{1}}&1&\cdots &\rho _{x_{2},x_{n}}\\\vdots &\vdots &\ddots &\vdots \\\rho _{x_{n},x_{1}}&\rho _{x_{n},x_{2}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}}$$

Таким образом, используя идею частичной корреляции и частичной дисперсии, обратную ковариационную матрицу можно выразить аналогично: Эта двойственность обусловливает ряд других двойственностей между маргинализацией и обусловливанием для гауссовских случайных величин. $${\displaystyle \operatorname {cov} (\mathbf {X} )^{-1}={\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}{\begin{bmatrix}1&-\rho _{x_{1},x_{2}\mid x_{3}...}&\cdots &-\rho _{x_{1},x_{n}\mid x_{2}...x_{n-1}}\\-\rho _{x_{2},x_{1}\mid x_{3}...}&1&\cdots &-\rho _{x_{2},x_{n}\mid x_{1},x_{3}...x_{n-1}}\\\vdots &\vdots &\ddots &\vdots \\-\rho _{x_{n},x_{1}\mid x_{2}...x_{n-1}}&-\rho _{x_{n},x_{2}\mid x_{1},x_{3}...x_{n-1}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}}$$

Основные свойства

Для и , где — -мерная случайная величина, применяются следующие основные свойства: ^[4] ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\mathsf {T}}\right]}$ ${\displaystyle {\boldsymbol {\mu }}_{\mathbf {X} }=\operatorname {E} [{\textbf {X}}]}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathsf {T}}}$ ${\displaystyle n}$

1. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\mathsf {T}}} )-{\boldsymbol {\mu }}_{\mathbf {X} }{\boldsymbol {\mu }}_{\mathbf {X} }^{\mathsf {T}}}$
2. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$является положительно-полуопределенным , т.е. ${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$
3. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$симметрично , т.е. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{\mathsf {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$
4. Для любой постоянной (т.е. неслучайной) матрицы и постоянного вектора имеем ${\displaystyle m\times n}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle m\times 1}$ ${\displaystyle \mathbf {a} }$ ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\mathsf {T}}}$
5. Если — другой случайный вектор той же размерности, что и , то где — матрица взаимной ковариации и . ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$ ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Блочные матрицы

Совместную среднюю и совместную ковариационную матрицу и можно записать в блочной форме , где , и . ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ $${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}}$$ ${\displaystyle \operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )}$ ${\displaystyle \operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )}$ ${\displaystyle \operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\mathsf {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$

${\displaystyle \operatorname {K} _{\mathbf {XX} }}$и могут быть идентифицированы как матрицы дисперсии предельных распределений для и соответственно. ${\displaystyle \operatorname {K} _{\mathbf {YY} }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Если и распределены совместно нормально , то условное распределение для заданного задается формулой ^[5], определяемой условным средним и условной дисперсией ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ $${\displaystyle \mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\operatorname {\boldsymbol {\Sigma }} ),}$$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ $${\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}({\boldsymbol {\mu }}_{\mathbf {Y|X} },\operatorname {K} _{\mathbf {Y|X} }),}$$ $${\displaystyle {\boldsymbol {\mu }}_{\mathbf {Y} |\mathbf {X} }={\boldsymbol {\mu }}_{\mathbf {Y} }+\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -{\boldsymbol {\mu }}_{\mathbf {X} }\right)}$$ $${\displaystyle \operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.}$$

Матрица известна как матрица коэффициентов регрессии , в то время как в линейной алгебре она является дополнением Шура для . ${\displaystyle \operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}}$ ${\displaystyle \operatorname {K} _{\mathbf {Y|X} }}$ ${\displaystyle \operatorname {K} _{\mathbf {XX} }}$ ${\displaystyle {\boldsymbol {\Sigma }}}$

Матрица коэффициентов регрессии часто может быть задана в транспонированной форме, , подходящей для последующего умножения вектора-строки объясняющих переменных, а не предварительного умножения вектора-столбца . В этой форме они соответствуют коэффициентам, полученным путем инвертирования матрицы нормальных уравнений обычных наименьших квадратов (OLS). ${\displaystyle \operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }}$ ${\displaystyle \mathbf {X} ^{\mathsf {T}}}$ ${\displaystyle \mathbf {X} }$

Частичная ковариационная матрица

Ковариационная матрица со всеми ненулевыми элементами говорит нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не только напрямую коррелируют, но и косвенно коррелируют через другие переменные. Часто такие косвенные, синфазные корреляции тривиальны и неинтересны. Их можно подавить, вычислив частичную ковариационную матрицу, то есть часть ковариационной матрицы, которая показывает только интересную часть корреляций.

Если два вектора случайных величин и коррелируют через другой вектор , то последние корреляции подавляются в матрице ^[6]. Частичная ковариационная матрица фактически является простой ковариационной матрицей, как если бы неинтересные случайные величины оставались постоянными. ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {I} }$ $${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).}$$ ${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }}$ ${\displaystyle \operatorname {K} _{\mathbf {XY} }}$ ${\displaystyle \mathbf {I} }$

Ковариационная матрица как параметр распределения

Если вектор-столбец возможно коррелированных случайных величин распределен совместно нормально или, в более общем случае, эллиптически , то его функция плотности вероятности может быть выражена через ковариационную матрицу следующим образом ^[6], где и является определителем . ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \operatorname {f} (\mathbf {X} )}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ $${\displaystyle \operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|{\boldsymbol {\Sigma }}|^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\mathsf {T}}\Sigma ^{-1}(X-\mu )} \right),}$$ ${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]}$ ${\displaystyle |{\boldsymbol {\Sigma }}|}$ ${\displaystyle {\boldsymbol {\Sigma }}}$

Ковариационная матрица как линейный оператор

Примененная к одному вектору, ковариационная матрица отображает линейную комбинацию c случайных величин X на вектор ковариаций с этими переменными: . Рассматриваемая как билинейная форма , она дает ковариацию между двумя линейными комбинациями: . Дисперсия линейной комбинации тогда равна , ее ковариации с самой собой. ${\displaystyle \mathbf {c} ^{\mathsf {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\mathsf {T}}\mathbf {X} ,\mathbf {X} )}$ ${\displaystyle \mathbf {d} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\mathsf {T}}\mathbf {X} ,\mathbf {c} ^{\mathsf {T}}\mathbf {X} )}$ ${\displaystyle \mathbf {c} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} }$

Аналогично, (псевдо)обратная ковариационная матрица обеспечивает внутренний продукт , который индуцирует расстояние Махаланобиса , меру «маловероятности» c . ^{[ необходима ссылка ]} ${\displaystyle \langle c-\mu |\Sigma ^{+}|c-\mu \rangle }$

Какие матрицы являются ковариационными?

Из тождества, приведенного выше, пусть будет действительным вектором, тогда который всегда должен быть неотрицательным, поскольку он представляет собой дисперсию действительной случайной величины, поэтому ковариационная матрица всегда является положительно-полуопределенной матрицей . ${\displaystyle \mathbf {b} }$ ${\displaystyle (p\times 1)}$ $${\displaystyle \operatorname {var} (\mathbf {b} ^{\mathsf {T}}\mathbf {X} )=\mathbf {b} ^{\mathsf {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,}$$

Приведенный выше аргумент можно расширить следующим образом: где последнее неравенство следует из наблюдения, которое является скаляром. $${\displaystyle {\begin{aligned}&w^{\mathsf {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right]w=\operatorname {E} \left[w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}}$$ ${\displaystyle w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])}$

Наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы увидеть это, предположим, что является симметричной положительно полуопределенной матрицей. Из конечномерного случая спектральной теоремы следует, что имеет неотрицательный симметричный квадратный корень , который можно обозначить как M ^1/2 . Пусть будет любой случайной величиной со значением вектора-столбца, ковариационная матрица которой является единичной матрицей. Тогда ${\displaystyle M}$ ${\displaystyle p\times p}$ ${\displaystyle M}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle p\times 1}$ ${\displaystyle p\times p}$ $${\displaystyle \operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .}$$

Сложные случайные векторы

Дисперсия комплексной скалярной случайной величины с ожидаемым значением традиционно определяется с помощью комплексного сопряжения : где комплексно сопряженное число комплексного числа обозначается ; таким образом , дисперсия комплексной случайной величины является действительным числом. ${\displaystyle \mu }$ $${\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],}$$ ${\displaystyle z}$ ${\displaystyle {\overline {z}}}$

Если — вектор-столбец комплекснозначных случайных величин, то сопряженное транспонирование формируется как транспонированием, так и сопряжением. В следующем выражении произведение вектора на сопряженное транспонирование приводит к квадратной матрице, называемой ковариационной матрицей , как и ее ожидание: ^{[7] : 293} Полученная таким образом матрица будет эрмитовой положительно-полуопределенной , ^[8] с действительными числами на главной диагонали и комплексными числами вне диагонали. ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathsf {T}}}$ ${\displaystyle \mathbf {Z} ^{\mathsf {H}}}$ $${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {H}}\right],}$$

Характеристики

• Ковариационная матрица является эрмитовой матрицей , т.е. [ ^{1] : 179} ${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathsf {H}}=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }}$
• Диагональные элементы ковариационной матрицы действительны. ^{[1] : 179}

Псевдоковариационная матрица

Для сложных случайных векторов другой вид второго центрального момента — псевдоковариационная матрица (также называемая матрицей отношений ) — определяется следующим образом: $${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {T}}\right]}$$

В отличие от ковариационной матрицы, определенной выше, эрмитово транспонирование заменяется транспозицией в определении. Его диагональные элементы могут быть комплекснозначными; это комплексная симметричная матрица .

Оценка

Если и являются центрированными матрицами данных размерности и соответственно, т.е. с n столбцами наблюдений p и q строк переменных, из которых были вычтены средние значения строк, то, если средние значения строк были оценены из данных, выборочные ковариационные матрицы и могут быть определены как или, если средние значения строк были известны априори, ${\displaystyle \mathbf {M} _{\mathbf {X} }}$ ${\displaystyle \mathbf {M} _{\mathbf {Y} }}$ ${\displaystyle p\times n}$ ${\displaystyle q\times n}$ ${\displaystyle \mathbf {Q} _{\mathbf {XX} }}$ ${\displaystyle \mathbf {Q} _{\mathbf {XY} }}$ $${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}}$$ $${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}.}$$

Эти эмпирические выборочные ковариационные матрицы являются наиболее простыми и наиболее часто используемыми оценщиками для ковариационных матриц, но существуют и другие оценщики, включая регуляризованные или сжатые оценщики, которые могут иметь лучшие свойства.

Приложения

Ковариационная матрица является полезным инструментом во многих различных областях. Из нее может быть получена матрица преобразования , называемая отбеливающим преобразованием , которая позволяет полностью декоррелировать данные ^[9] или, с другой точки зрения, найти оптимальную основу для представления данных в компактном виде ^{[ требуется ссылка ]} (см. Коэффициент Рэлея для формального доказательства и дополнительных свойств ковариационных матриц). Это называется анализом главных компонент (PCA) и преобразованием Карунена–Лоэва (KL-преобразование).

Матрица ковариации играет ключевую роль в финансовой экономике , особенно в теории портфеля и ее теореме о разделении паевых инвестиционных фондов , а также в модели ценообразования капитальных активов . Матрица ковариаций между доходностями различных активов используется для определения, при определенных предположениях, относительных объемов различных активов, которые инвесторы должны (в нормативном анализе ) или, как прогнозируется (в позитивном анализе ), выбрать для удержания в контексте диверсификации .

Использовать в оптимизации

Стратегия эволюции , особое семейство эвристик рандомизированного поиска, в основе своей опирается на ковариационную матрицу в своем механизме. Оператор характеристической мутации извлекает шаг обновления из многомерного нормального распределения с использованием развивающейся ковариационной матрицы. Существует формальное доказательство того, что ковариационная матрица стратегии эволюции адаптируется к обратной матрице Гессе поискового ландшафта с точностью до скалярного множителя и небольших случайных колебаний (доказано для стратегии с одним родителем и статической модели по мере увеличения размера популяции с опорой на квадратичное приближение). ^[10] Интуитивно этот результат подтверждается обоснованием того, что оптимальное ковариационное распределение может предлагать шаги мутации, чьи контуры вероятности равной плотности соответствуют уровням ландшафта, и поэтому они максимизируют скорость прогресса.

Ковариационное картирование

В ковариационном отображении значения матрицы или отображаются в виде двумерной карты. Когда векторы и являются дискретными случайными функциями , карта показывает статистические связи между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнина нулевого уровня, в то время как положительные или отрицательные корреляции отображаются, соответственно, как холмы или долины. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

На практике векторы столбцов и получаются экспериментально как строки выборок, например, где - i -е дискретное значение в выборке j случайной функции . Ожидаемые значения, необходимые в формуле ковариации, оцениваются с использованием выборочного среднего , например , а ковариационная матрица оценивается с помощью выборочной ковариационной матрицы , где угловые скобки обозначают выборочное усреднение, как и прежде, за исключением того, что следует сделать поправку Бесселя, чтобы избежать смещения . Используя эту оценку, частичная ковариационная матрица может быть вычислена как, где обратная косая черта обозначает левый оператор деления матрицы , который обходит требование инвертировать матрицу и доступен в некоторых вычислительных пакетах, таких как Matlab . ^[11] ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ ${\displaystyle \mathbf {I} }$ ${\displaystyle n}$ $${\displaystyle \left[\mathbf {X} _{1},\mathbf {X} _{2},\dots ,\mathbf {X} _{n}\right]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},}$$ ${\displaystyle X_{j}(t_{i})}$ ${\displaystyle X(t)}$ $${\displaystyle \langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}}$$ $${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\mathsf {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle ,}$$ $${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),}$$

Рисунок 1: Построение частичной ковариационной карты молекул N ₂ , подвергающихся кулоновскому взрыву, вызванному лазером на свободных электронах. ^[12] Панели a и b отображают два члена ковариационной матрицы, которая показана на панели c . Панель d отображает синфазные корреляции через флуктуации интенсивности лазера. Панель e отображает частичную ковариационную матрицу, которая скорректирована с учетом флуктуаций интенсивности. Панель f показывает, что 10%-ная перекоррекция улучшает карту и делает ион-ионные корреляции четко видимыми. Благодаря сохранению импульса эти корреляции появляются в виде линий, приблизительно перпендикулярных линии автокорреляции (и периодическим модуляциям, которые вызваны звоном детектора).

Рис. 1 иллюстрирует, как строится частичная ковариационная карта на примере эксперимента, проведенного на лазере на свободных электронах FLASH в Гамбурге. ^[12] Случайная функция представляет собой спектр времени пролета ионов от кулоновского взрыва молекул азота, многократно ионизированных лазерным импульсом. Поскольку при каждом лазерном импульсе ионизируется всего несколько сотен молекул, спектры одиночных импульсов сильно флуктуируют. Однако сбор таких спектров, как правило , и их усреднение по дает гладкий спектр , который показан красным в нижней части рис. 1. Средний спектр показывает несколько ионов азота в виде пиков, уширенных их кинетической энергией, но для нахождения корреляций между стадиями ионизации и импульсами ионов требуется вычислить ковариационную карту. ${\displaystyle X(t)}$ ${\displaystyle m=10^{4}}$ ${\displaystyle \mathbf {X} _{j}(t)}$ ${\displaystyle j}$ ${\displaystyle \langle \mathbf {X} (t)\rangle }$ ${\displaystyle \langle \mathbf {X} \rangle }$

В примере на рис. 1 спектры и одинаковы, за исключением того, что диапазон времени пролета отличается. Панель a показывает , панель b показывает , а панель c показывает их разницу, которая составляет (обратите внимание на изменение цветовой шкалы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными интенсивностью лазера, флуктуирующей от выстрела к выстрелу. Для подавления таких корреляций интенсивность лазера регистрируется при каждом выстреле, помещается в и рассчитывается, как показывают панели d и e . Подавление неинтересных корреляций, однако, несовершенно, поскольку существуют другие источники синфазных флуктуаций, кроме интенсивности лазера, и в принципе все эти источники должны контролироваться в векторе . Однако на практике часто бывает достаточно перекомпенсировать частичную ковариационную поправку, как показывает панель f , где интересные корреляции импульсов ионов теперь четко видны в виде прямых линий, центрированных на стадиях ионизации атомарного азота. ${\displaystyle \mathbf {X} _{j}(t)}$ ${\displaystyle \mathbf {Y} _{j}(t)}$ ${\displaystyle t}$ ${\displaystyle \langle \mathbf {XY^{\mathsf {T}}} \rangle }$ ${\displaystyle \langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle }$ ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle I_{j}}$ ${\displaystyle \mathbf {I} }$ ${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$ ${\displaystyle \mathbf {I} }$

Двумерная инфракрасная спектроскопия

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения 2D-спектров конденсированной фазы . Существует две версии этого анализа: синхронная и асинхронная . Математически первая выражается в терминах матрицы ковариации образца, а метод эквивалентен ковариационному отображению. ^[13]

Смотрите также

• Ковариационная функция
• Разложение собственных значений
• Матрица Грэмиана
• Распределение Левандовски-Куровицки-Джо
• Многомерная статистика
• Основные компоненты
• Квадратичная форма (статистика)

Ссылки

1. Park, Kun Il (2018). Основы вероятности и стохастических процессов с приложениями к коммуникациям . Springer. ISBN 978-3-319-68074-3.
2. Уильям Феллер (1971). Введение в теорию вероятностей и ее приложения. Wiley. ISBN 978-0-471-25709-7. Получено 10 августа 2012 г.
3. Вассерман, Ларри (2004). Вся статистика: краткий курс статистического вывода. Springer. ISBN 0-387-40272-1.
4. Табога, Марко (2010). «Лекции по теории вероятностей и математической статистике».
5. Итон, Моррис Л. (1983). Многомерная статистика: подход векторного пространства . John Wiley and Sons. стр. 116–117. ISBN 0-471-02776-6.
6. WJ Krzanowski "Принципы многомерного анализа" (Oxford University Press, Нью-Йорк, 1988), Глава 14.4; KV Mardia, JT Kent и JM Bibby "Многомерный анализ" (Academic Press, Лондон, 1997), Глава 6.5.3; TW Anderson "Введение в многомерный статистический анализ" (Wiley, Нью-Йорк, 2003), 3-е изд., Главы 2.5.1 и 4.3.1.
7. Лапидот, Амос (2009). Основы цифровой коммуникации . Cambridge University Press. ISBN 978-0-521-19395-5.
8. Брукс, Майк. «Справочное руководство по Матрице».
9. Кесси, Агнан; Стриммер, Корбиниан; Левин, Алекс (2018). «Оптимальное отбеливание и декорреляция». Американский статистик . 72 (4). Тейлор и Фрэнсис: 309–314. arXiv : 1512.00809 . doi : 10.1080/00031305.2016.1277159.
10. Шир, ОМ; А. Йехудайофф (2020). «О ковариационно-гессеновской связи в эволюционных стратегиях». Теоретическая информатика . 801. Elsevier: 157–174. arXiv : 1806.03674 . doi : 10.1016/j.tcs.2019.09.002 .
11. LJ Frasinski "Методы ковариационного картирования" J. Phys. B: At. Mol. Opt. Phys. 49 152004 (2016), открытый доступ
12. O Kornilov, M Eckstein, M Rosenblatt, CP Schulz, K Motomura, A Rouzée, J Klei, L Foucar, M Siano, A Lübcke, F. Schapper, P Johnsson, DMP Holland, T Schlatholter, T Marchenko, S Düsterer, K Ueda, MJJ Vrakking и LJ Frasinski "Кулоновский взрыв двухатомных молекул в интенсивных полях XUV, отображенных с помощью частичной ковариации" J. Phys. B: At. Mol. Opt. Phys. 46 164028 (2013), открытый доступ
13. I Noda "Обобщенный метод двумерной корреляции, применимый к инфракрасной, рамановской и другим типам спектроскопии" Appl. Spectrosc. 47 1329–36 (1993)

Дальнейшее чтение

• «Ковариационная матрица», Энциклопедия математики , EMS Press , 2001 [1994]
• «Ковариационная матрица с пояснениями в картинках» — простой способ визуализации ковариационной матрицы!
• Вайсштейн, Эрик В. «Ковариационная матрица». MathWorld .
• van Kampen, NG (1981). Стохастические процессы в физике и химии . Нью-Йорк: North-Holland. ISBN 0-444-86200-5.