Ковариационная матрица

Мера ковариации компонентов случайного вектора

Двумерная гауссова функция плотности вероятности с центром в точке (0, 0) с ковариационной матрицей, заданной выражением ${\displaystyle {\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}}$

Точки выборки из двумерного распределения Гаусса со стандартным отклонением 3 примерно в нижнем левом – верхнем правом направлении и 1 в ортогональном направлении. Поскольку компоненты x и y изменяются совместно, дисперсии и не полностью описывают распределение. Необходима ковариационная матрица ; направления стрелок соответствуют собственным векторам этой ковариационной матрицы, а их длины — квадратным корням собственных значений . ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle 2\times 2}$

В теории вероятностей и статистике ковариационная матрица (также известная как матрица автоковариации , матрица дисперсии , матрица дисперсии или матрица дисперсии-ковариации ) представляет собой квадратную матрицу , дающую ковариацию между каждой парой элементов данного случайного вектора .

Интуитивно, ковариационная матрица обобщает понятие дисперсии на несколько измерений. Например, изменение набора случайных точек в двумерном пространстве не может быть полностью охарактеризовано одним числом, а отклонения в направлениях и не будут содержать всю необходимую информацию; матрица будет необходима для полной характеристики двумерного варианта. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle 2\times 2}$

Любая ковариационная матрица симметрична и положительно полуопределена , а ее главная диагональ содержит дисперсии (т. е. ковариацию каждого элемента с самим собой).

Ковариационная матрица случайного вектора обычно обозначается , или . ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \Sigma }$ ${\displaystyle S}$

Определение

В этой статье жирный шрифт без индексов используется для обозначения случайных векторов, а римский шрифт с индексами используется для обозначения скалярных случайных величин. ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

Если записи в вектор-столбце

${\displaystyle \mathbf {X} =(X_{1},X_{2},...,X_{n})^{\mathrm {T} }}$

являются случайными переменными , каждая из которых имеет конечную дисперсию и ожидаемое значение , то матрица ковариации — это матрица, элементом которой является ковариация ^{[1] : p. 177} ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle (i,j)}$

${\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]}$

где оператор обозначает ожидаемое значение (среднее значение) своего аргумента. ${\displaystyle \operatorname {E} }$

Противоречивые номенклатуры и обозначения

Номенклатуры различаются. Некоторые статистики, следуя за вероятностом Уильямом Феллером в его двухтомной книге « Введение в теорию вероятностей и ее приложения» , ^[2] называют матрицу дисперсией случайного вектора , поскольку это естественное обобщение на более высокие измерения одномерного вектора. дисперсия. Другие называют ее ковариационной матрицей , потому что это матрица ковариаций между скалярными компонентами вектора . ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right].}$

Обе формы вполне стандартны, и между ними нет никакой двусмысленности. Матрицу также часто называют дисперсионно-ковариационной матрицей , поскольку диагональные члены на самом деле являются дисперсиями. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$

Для сравнения, обозначение матрицы взаимной ковариации между двумя векторами имеет вид

${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\rm {T}}\right].}$

Характеристики

Связь с матрицей автокорреляции

Матрица автоковариации связана с матрицей автокорреляции соотношением ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}}$

где матрица автокорреляции определяется как . ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\rm {T}}]}$

Связь с корреляционной матрицей

Объектом, тесно связанным с ковариационной матрицей, является матрица коэффициентов корреляции моментов произведения Пирсона между каждой из случайных величин в случайном векторе , которую можно записать как ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},}$

где - матрица диагональных элементов (т.е. диагональная матрица дисперсий для ). ${\displaystyle \operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })}$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle X_{i}}$ ${\displaystyle i=1,\dots ,n}$

Аналогично, корреляционную матрицу можно рассматривать как ковариационную матрицу стандартизированных случайных величин для . ${\displaystyle X_{i}/\sigma (X_{i})}$ ${\displaystyle i=1,\dots ,n}$

${\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}$

Каждый элемент на главной диагонали корреляционной матрицы представляет собой корреляцию случайной величины с самой собой, которая всегда равна 1. Каждый недиагональный элемент находится в диапазоне от -1 до +1 включительно.

Обратная ковариационная матрица

Обратная матрица, если она существует, является обратной ковариационной матрицей (или обратной матрицей концентрации), также известной как матрица точности (или матрица концентрации ). ^[3] ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}}$

Точно так же, как ковариационная матрица может быть записана как масштабирование корреляционной матрицы с помощью предельных отклонений:

${\displaystyle \operatorname {cov} (\mathbf {X} )={\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}{\begin{bmatrix}1&\rho _{x_{1},x_{2}}&\cdots &\rho _{x_{1},x_{n}}\\\rho _{x_{2},x_{1}}&1&\cdots &\rho _{x_{2},x_{n}}\\\vdots &\vdots &\ddots &\vdots \\\rho _{x_{n},x_{1}}&\rho _{x_{n},x_{2}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}}$

Итак, используя идею частичной корреляции и частичной дисперсии, обратную ковариационную матрицу можно выразить аналогичным образом:

${\displaystyle \operatorname {cov} (\mathbf {X} )^{-1}={\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}{\begin{bmatrix}1&-\rho _{x_{1},x_{2}\mid x_{3}...}&\cdots &-\rho _{x_{1},x_{n}\mid x_{2}...x_{n-1}}\\-\rho _{x_{2},x_{1}\mid x_{3}...}&1&\cdots &-\rho _{x_{2},x_{n}\mid x_{1},x_{3}...x_{n-1}}\\\vdots &\vdots &\ddots &\vdots \\-\rho _{x_{n},x_{1}\mid x_{2}...x_{n-1}}&-\rho _{x_{n},x_{2}\mid x_{1},x_{3}...x_{n-1}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}}$

Эта двойственность мотивирует ряд других двойственностей между маргинализацией и обусловленностью гауссовских случайных величин.

Основные свойства

Для и , где – -мерная случайная величина, применяются следующие основные свойства: ^[4] ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\rm {T}}\right]}$ ${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [{\textbf {X}}]}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$ ${\displaystyle n}$

1. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\rm {T}}} )-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{\rm {T}}}$
2. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$является положительно-полуопределенным , т.е. ${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$
3. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$симметричен , т.е. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{\rm {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$
4. Для любой постоянной (т.е. неслучайной) матрицы и постоянного вектора имеем ${\displaystyle m\times n}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle m\times 1}$ ${\displaystyle \mathbf {a} }$ ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\rm {T}}}$
5. Если – другой случайный вектор той же размерности , что и , то где – матрица взаимной ковариации и . ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$ ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Блочные матрицы

Совместная средняя и совместная ковариационная матрица и могут быть записаны в блочной форме. ${\displaystyle \mathbf {\mu } }$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

${\displaystyle \mathbf {\mu } ={\begin{bmatrix}\mathbf {\mu _{X}} \\\mathbf {\mu _{Y}} \end{bmatrix}},\qquad \mathbf {\Sigma } ={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}}$

где и . _ ${\displaystyle \operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )}$ ${\displaystyle \operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )}$ ${\displaystyle \operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\rm {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$

${\displaystyle \operatorname {K} _{\mathbf {XX} }}$и могут быть идентифицированы как матрицы дисперсии предельных распределений для и соответственно. ${\displaystyle \operatorname {K} _{\mathbf {YY} }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Если и совместно нормально распределены , ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

${\displaystyle \mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}(\mathbf {\mu } ,\operatorname {\mathbf {\Sigma } } ),}$

тогда условное распределение для данного определяется выражением ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}(\mathbf {\mu _{Y|X}} ,\operatorname {K} _{\mathbf {Y|X} }),}$^[5]

определяется условным средним

${\displaystyle \mathbf {\mu _{Y|X}} =\mathbf {\mu _{Y}} +\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -\mathbf {\mu _{X}} \right)}$

и условная дисперсия

${\displaystyle \operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.}$

Матрица известна как матрица коэффициентов регрессии , а в линейной алгебре является дополнением Шура в . ${\displaystyle \operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}}$ ${\displaystyle \operatorname {K} _{\mathbf {Y|X} }}$ ${\displaystyle \operatorname {K} _{\mathbf {XX} }}$ ${\displaystyle \mathbf {\Sigma } }$

Матрица коэффициентов регрессии часто может быть задана в транспонированной форме, подходящей для последующего умножения вектора-строки независимых переменных, а не для предварительного умножения вектора-столбца . В таком виде они соответствуют коэффициентам, полученным обращением матрицы нормальных уравнений обыкновенного наименьших квадратов (МНК). ${\displaystyle \operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }}$ ${\displaystyle \mathbf {X} ^{\rm {T}}}$ ${\displaystyle \mathbf {X} }$

Частичная ковариационная матрица

Ковариационная матрица со всеми ненулевыми элементами говорит нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не только напрямую коррелируют, но и косвенно коррелируют через другие переменные. Часто такие косвенные синфазные корреляции тривиальны и неинтересны. Их можно подавить, вычислив частичную ковариационную матрицу, то есть часть ковариационной матрицы, которая показывает только интересную часть корреляций.

Если два вектора случайных величин и коррелируют через другой вектор , то последние корреляции подавляются в матрице ^[6] ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {I} }$

${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).}$

Матрица частичной ковариации фактически представляет собой простую ковариационную матрицу , как если бы неинтересные случайные величины оставались постоянными. ${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }}$ ${\displaystyle \operatorname {K} _{\mathbf {XY} }}$ ${\displaystyle \mathbf {I} }$

Ковариационная матрица как параметр распределения

Если вектор-столбец возможно коррелированных случайных величин совместно нормально распределен или, в более общем случае , эллиптически распределен , то его функция плотности вероятности может быть выражена через ковариационную матрицу следующим образом ^[6] ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \operatorname {f} (\mathbf {X} )}$ ${\displaystyle \mathbf {\Sigma } }$

${\displaystyle \operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|\mathbf {\Sigma } |^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\rm {T}}\Sigma ^{-1}(X-\mu )} \right),}$

где и является определителем . _ ${\displaystyle \mathbf {\mu =\operatorname {E} [X]} }$ ${\displaystyle |\mathbf {\Sigma } |}$ ${\displaystyle \mathbf {\Sigma } }$

Ковариационная матрица как линейный оператор

Применительно к одному вектору ковариационная матрица отображает линейную комбинацию c случайных величин X на вектор ковариаций с этими переменными: . Рассматриваемый как билинейная форма , он дает ковариацию между двумя линейными комбинациями: . Тогда дисперсия линейной комбинации — это ее ковариация сама с собой. ${\displaystyle \mathbf {c} ^{\rm {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\rm {T}}\mathbf {X} ,\mathbf {X} )}$ ${\displaystyle \mathbf {d} ^{\rm {T}}\Sigma \mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\rm {T}}\mathbf {X} ,\mathbf {c} ^{\rm {T}}\mathbf {X} )}$ ${\displaystyle \mathbf {c} ^{\rm {T}}\Sigma \mathbf {c} }$

Точно так же (псевдо) обратная ковариационная матрица обеспечивает внутренний продукт , который индуцирует расстояние Махаланобиса , меру «маловероятности» c . ^{[ нужна цитата ]} ${\displaystyle \langle c-\mu |\Sigma ^{+}|c-\mu \rangle }$

Какие матрицы являются ковариационными?

Из тождества, приведенного выше, пусть будет вектор с действительным знаком, тогда ${\displaystyle \mathbf {b} }$ ${\displaystyle (p\times 1)}$

${\displaystyle \operatorname {var} (\mathbf {b} ^{\rm {T}}\mathbf {X} )=\mathbf {b} ^{\rm {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,}$

которая всегда должна быть неотрицательной, поскольку это дисперсия действительной случайной величины, поэтому ковариационная матрица всегда является положительно-полуопределенной матрицей .

Приведенный выше аргумент можно расширить следующим образом:

$${\displaystyle {\begin{aligned}&w^{\rm {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right]w=\operatorname {E} \left[w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}}$$

${\displaystyle w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])}$

И наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы убедиться в этом, предположим, что это симметричная положительно-полуопределенная матрица. Из конечномерного случая спектральной теоремы следует, что имеет неотрицательный симметричный квадратный корень , который можно обозначить через M ^1/2 . Пусть — любая случайная величина со значением вектора-столбца, чья ковариационная матрица является единичной матрицей. Затем ${\displaystyle M}$ ${\displaystyle p\times p}$ ${\displaystyle M}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle p\times 1}$ ${\displaystyle p\times p}$

${\displaystyle \operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .}$

Сложные случайные векторы

Дисперсия сложной скалярной случайной величины с ожидаемым значением традиционно определяется с помощью комплексного сопряжения : ${\displaystyle \mu }$

${\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],}$

где обозначается комплексно-сопряженное комплексное число ; таким образом, дисперсия комплексной случайной величины является действительным числом. ${\displaystyle z}$ ${\displaystyle {\overline {z}}}$

Если - вектор-столбец случайных величин с комплексными значениями, то сопряженное транспонирование формируется как транспонированием, так и сопряжением. В следующем выражении произведение вектора на сопряженное с ним транспонирование дает в качестве математического ожидания квадратную матрицу, называемую ковариационной матрицей : ^{[7] : p. 293} ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$ ${\displaystyle \mathbf {Z} ^{\mathrm {H} }}$

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {H} }\right]}$,

Полученная таким образом матрица будет эрмитовой положительно-полуопределенной [ ^8] с действительными числами на главной диагонали и комплексными числами на внедиагональной.

Характеристики

• Ковариационная матрица является эрмитовой матрицей , т.е. ^{[1] : с. 179} ${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathrm {H} }=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }}$
• Диагональные элементы ковариационной матрицы действительны. ^{[1] : с. 179}

Псевдоковариационная матрица

Для комплексных случайных векторов другой вид второго центрального момента — матрица псевдоковариации (также называемая матрицей отношений ) определяется следующим образом:

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {T} }\right]}$

В отличие от ковариационной матрицы, определенной выше, эрмитова транспозиция заменяется транспозицией в определении. Его диагональные элементы могут иметь комплексное значение; это сложная симметричная матрица .

Оценка

Если и являются центрированными матрицами данных размерности и соответственно, т.е. с n столбцами наблюдений p и q строк переменных, из которых были вычтены средние значения строк, то, если средние значения строк были оценены на основе данных, выборочные ковариационные матрицы и можно определить как ${\displaystyle \mathbf {M} _{\mathbf {X} }}$ ${\displaystyle \mathbf {M} _{\mathbf {Y} }}$ ${\displaystyle p\times n}$ ${\displaystyle q\times n}$ ${\displaystyle \mathbf {Q} _{\mathbf {XX} }}$ ${\displaystyle \mathbf {Q} _{\mathbf {XY} }}$

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}}$

или, если средние значения строки были известны априори,

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}.}$

Эти ковариационные матрицы эмпирической выборки являются наиболее простыми и наиболее часто используемыми оценщиками для ковариационных матриц, но существуют и другие оценки, в том числе регуляризованные оценки или оценки сжатия, которые могут иметь лучшие свойства.

Приложения

Ковариационная матрица является полезным инструментом во многих различных областях. Из него может быть получена матрица преобразования , называемая преобразованием отбеливания , позволяющая полностью декоррелировать данные ^{[ нужна цитата ]} или, с другой точки зрения, найти оптимальную основу для представления данных в компактном виде ^{[ цитата] требуется ]} ( формальное доказательство и дополнительные свойства ковариационных матриц см. в разделе «Фактор Рэлея »). Это называется анализом главных компонент (PCA) и преобразованием Карунена-Лоэва (KL-преобразованием).

Ковариационная матрица играет ключевую роль в финансовой экономике , особенно в теории портфеля и ее теореме о разделении взаимных фондов , а также в модели ценообразования капитальных активов . Матрица ковариаций доходности различных активов используется для определения, при определенных допущениях, относительных сумм различных активов, которые инвесторы должны (в нормативном анализе ) или, по прогнозам, (в позитивном анализе ) предпочитают держать в контексте диверсификация .

Использование в оптимизации

Стратегия эволюции , особое семейство эвристик рандомизированного поиска, в своем механизме фундаментально опирается на ковариационную матрицу. Оператор характеристической мутации извлекает шаг обновления из многомерного нормального распределения, используя развивающуюся ковариационную матрицу. Существует формальное доказательство того, что ковариационная матрица стратегии эволюции адаптируется к обратной матрице Гессе ландшафта поиска, с точностью до скалярного коэффициента и небольших случайных флуктуаций (доказано для стратегии с одним родителем и статической модели, как численность популяции увеличивается, исходя из квадратичного приближения). ^[9] Интуитивно этот результат подтверждается тем, что оптимальное ковариационное распределение может предлагать этапы мутации, контуры вероятности эквивалентности которых соответствуют наборам уровней ландшафта, и поэтому они максимизируют скорость прогресса.

Ковариационное отображение

При ковариационном отображении значения матрицы или отображаются в виде двумерной карты. Когда векторы и являются дискретными случайными функциями , карта показывает статистические отношения между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнины нулевого уровня, а положительные или отрицательные корреляции отображаются соответственно в виде холмов или долин. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

На практике векторы-столбцы и получаются экспериментально как строки выборок, например ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ ${\displaystyle \mathbf {I} }$ ${\displaystyle n}$

${\displaystyle [\mathbf {X} _{1},\mathbf {X} _{2},...\mathbf {X} _{n}]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},}$

где – i - е дискретное значение j -й выборки случайной функции . Ожидаемые значения, необходимые в формуле ковариации, оцениваются с использованием выборочного среднего значения , например ${\displaystyle X_{j}(t_{i})}$ ${\displaystyle X(t)}$

${\displaystyle \langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}}$

а ковариационная матрица оценивается с помощью выборочной ковариационной матрицы

${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\rm {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\rm {T}}\rangle ,}$

где угловые скобки обозначают выборочное усреднение, как и раньше, за исключением того, что во избежание систематической ошибки необходимо внести поправку Бесселя . Используя эту оценку, матрицу частичной ковариации можно рассчитать как

${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),}$

где обратная косая черта обозначает левый оператор деления матрицы , который обходит требование инвертировать матрицу и доступен в некоторых вычислительных пакетах, таких как Matlab . ^[10]

Рисунок 1: Построение карты частичной ковариации молекул N ₂ , подвергающихся кулоновскому взрыву, вызванному лазером на свободных электронах. ^[11] Панели a и b отображают два члена ковариационной матрицы, которая показана на панели c . Панель d отображает синфазные корреляции через флуктуации интенсивности лазера. Панель e отображает матрицу частичной ковариации, в которую исправлены флуктуации интенсивности. Панель f показывает, что 10%-ная чрезмерная коррекция улучшает карту и делает ион-ионные корреляции четко видимыми. Благодаря сохранению импульса эти корреляции выглядят как линии, приблизительно перпендикулярные линии автокорреляции (и периодическим модуляциям, вызываемым звоном детектора).

На рис. 1 показано, как строится карта частичной ковариации на примере эксперимента, проведенного на лазере на свободных электронах FLASH в Гамбурге. ^[11] Случайная функция представляет собой времяпролетный спектр ионов от кулоновского взрыва молекул азота, многократно ионизированных лазерным импульсом. Поскольку при каждом лазерном импульсе ионизируется всего несколько сотен молекул, спектры одиночных импульсов сильно флуктуируют. Однако обычно сбор таких спектров и их усреднение дает гладкий спектр , который показан красным внизу на рис. 1. Средний спектр обнаруживает несколько ионов азота в виде пиков, уширенных их кинетической энергией, но Чтобы найти корреляции между стадиями ионизации и импульсами ионов, необходимо рассчитать ковариационную карту. ${\displaystyle X(t)}$ ${\displaystyle m=10^{4}}$ ${\displaystyle \mathbf {X} _{j}(t)}$ ${\displaystyle j}$ ${\displaystyle \langle \mathbf {X} (t)\rangle }$ ${\displaystyle \langle \mathbf {X} \rangle }$

В примере рис. 1 спектры и одинаковы, за исключением того, что различается диапазон времени пролета . На панели a показано , на панели b показано и на панели c показано их отличие, которое (обратите внимание на изменение цветовой шкалы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными колебаниями интенсивности лазера от выстрела к выстрелу. Чтобы подавить такие корреляции, интенсивность лазера регистрируется при каждом выстреле, вводится и рассчитывается, как показано на панелях d и e . Однако подавление неинтересных корреляций несовершенно, поскольку существуют и другие источники синфазных флуктуаций, помимо интенсивности лазера, и в принципе все эти источники должны контролироваться в векторе . Тем не менее, на практике часто бывает достаточно сверхкомпенсации частичной ковариационной коррекции, как показано на панели f , где теперь ясно видны интересные корреляции импульсов ионов в виде прямых линий, центрированных на стадиях ионизации атомарного азота. ${\displaystyle \mathbf {X} _{j}(t)}$ ${\displaystyle \mathbf {Y} _{j}(t)}$ ${\displaystyle t}$ ${\displaystyle \langle \mathbf {XY^{\rm {T}}} \rangle }$ ${\displaystyle \langle \mathbf {X} \rangle \langle \mathbf {Y^{\rm {T}}} \rangle }$ ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle I_{j}}$ ${\displaystyle \mathbf {I} }$ ${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$ ${\displaystyle \mathbf {I} }$

Двумерная инфракрасная спектроскопия

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения двумерных спектров конденсированной фазы . Существует две версии этого анализа: синхронная и асинхронная . Математически первое выражается через выборочную ковариационную матрицу, и этот метод эквивалентен ковариационному картированию. ^[12]

Смотрите также

• Ковариационная функция
• Разложение по собственным значениям
• Матрица Грамиана
• Распределение Левандовски-Куровицки-Джо
• Многомерная статистика
• Основные компоненты
• Квадратичная форма (статистика)

Рекомендации

1. Парк, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3.
2. Уильям Феллер (1971). Введение в теорию вероятностей и ее приложения. Уайли. ISBN 978-0-471-25709-7. Проверено 10 августа 2012 г.
3. Вассерман, Ларри (2004). Вся статистика: краткий курс статистических выводов. Спрингер. ISBN 0-387-40272-1.
4. Табога, Марко (2010). «Лекции по теории вероятностей и математической статистике».
5. Итон, Моррис Л. (1983). Многомерная статистика: векторно-пространственный подход . Джон Уайли и сыновья. стр. 116–117. ISBN 0-471-02776-6.
6. WJ Кржановский «Принципы многомерного анализа» (Oxford University Press, Нью-Йорк, 1988), гл. 14,4; К. В. Мардиа, Дж. Т. Кент и Дж. М. Бибби «Многомерный анализ» (Academic Press, Лондон, 1997), глава 6.5.3; Т. В. Андерсон «Введение в многомерный статистический анализ» (Wiley, Нью-Йорк, 2003), 3-е изд., Главы 2.5.1 и 4.3.1.
7. Лапидот, Амос (2009). Фонд цифровых коммуникаций . Издательство Кембриджского университета. ISBN 978-0-521-19395-5.
8. Брукс, Майк. «Справочное руководство по матрицам». {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
9. Шир, ОМ; А. Иегудаев (2020). «О ковариационно-гессианском отношении в эволюционных стратегиях». Теоретическая информатика . Эльзевир. 801 : 157–174. arXiv : 1806.03674 . дои : 10.1016/j.tcs.2019.09.002 .
10. Л. Дж. Фрасински «Методы ковариационного отображения» J. Phys. Летучая мышь. Мол. Опция Физ. 49 152004 (2016), открытый доступ
11. О Корнилов, М. Экстайн, М. Розенблатт, К. П. Шульц, К. Мотомура, А. Рузе, Дж. Клей, Л. Фукар, М. Сиано, А. Любке, Ф. Шаппер, П. Джонссон, DMP Holland, Т. Шлатхольтер, Т. Марченко, С. Дюстерер , К. Уеда, М.Дж. Враккинг и Л.Дж. Фрасински «Кулоновский взрыв двухатомных молекул в интенсивных XUV-полях, отображенный с помощью частичной ковариации» J. Phys. Летучая мышь. Мол. Опция Физ. 46 164028 (2013), открытый доступ
12. I Нода «Обобщенный метод двумерной корреляции, применимый к инфракрасной, рамановской и другим типам спектроскопии» Прикл. Спектроск. 47 1329–36 (1993)

дальнейшее чтение

• «Ковариационная матрица», Математическая энциклопедия , EMS Press , 2001 [1994]
• «Ковариационная матрица с иллюстрациями» — простой способ визуализировать ковариационные матрицы!
• Вайсштейн, Эрик В. «Ковариационная матрица». Математический мир .
• ван Кампен, НГ (1981). Случайные процессы в физике и химии . Нью-Йорк: Северная Голландия. ISBN 0-444-86200-5.