Матрица перекрестной ковариации

Type of matrix in probability theory and statistics

В теории вероятностей и статистике матрица перекрестной ковариации — это матрица , элемент которой в позиции i , j является ковариацией между i -м элементом случайного вектора и j -м элементом другого случайного вектора. Случайный вектор — это случайная величина с несколькими измерениями. Каждый элемент вектора является скалярной случайной величиной. Каждый элемент имеет либо конечное число наблюдаемых эмпирических значений, либо конечное или бесконечное число потенциальных значений. Потенциальные значения определяются теоретическим совместным распределением вероятностей . Интуитивно понятно, что матрица перекрестной ковариации обобщает понятие ковариации на несколько измерений.

Матрица перекрестной ковариации двух случайных векторов обычно обозначается или . ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$ ${\displaystyle \Sigma _{\mathbf {X} \mathbf {Y} }}$

Определение

Для случайных векторов и , каждый из которых содержит случайные элементы , ожидаемое значение и дисперсия которых существуют, матрица перекрестной ковариации и определяется формулой ^{[1] : 336} ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

где и – векторы, содержащие ожидаемые значения и . Векторы и не обязательно должны иметь одинаковую размерность, и любой из них может быть скалярным значением. ${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [\mathbf {X} ]}$ ${\displaystyle \mathbf {\mu _{Y}} =\operatorname {E} [\mathbf {Y} ]}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Матрица перекрестной ковариации — это матрица, записью которой является ковариация ${\displaystyle (i,j)}$

${\displaystyle \operatorname {K} _{X_{i}Y_{j}}=\operatorname {cov} [X_{i},Y_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(Y_{j}-\operatorname {E} [Y_{j}])]}$

между i -м элементом и j -м элементом . Это дает следующее покомпонентное определение матрицы перекрестной ковариации. ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }={\begin{bmatrix}\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(Y_{1}-\operatorname {E} [Y_{1}])]&\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(Y_{2}-\operatorname {E} [Y_{2}])]&\cdots &\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(Y_{n}-\operatorname {E} [Y_{n}])]\\\\\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(Y_{1}-\operatorname {E} [Y_{1}])]&\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(Y_{2}-\operatorname {E} [Y_{2}])]&\cdots &\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(Y_{n}-\operatorname {E} [Y_{n}])]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{m}-\operatorname {E} [X_{m}])(Y_{1}-\operatorname {E} [Y_{1}])]&\mathrm {E} [(X_{m}-\operatorname {E} [X_{m}])(Y_{2}-\operatorname {E} [Y_{2}])]&\cdots &\mathrm {E} [(X_{m}-\operatorname {E} [X_{m}])(Y_{n}-\operatorname {E} [Y_{n}])]\end{bmatrix}}}$

Пример

Например, если и являются случайными векторами, то это матрица, -я запись которой равна . ${\displaystyle \mathbf {X} =\left(X_{1},X_{2},X_{3}\right)^{\rm {T}}}$ ${\displaystyle \mathbf {Y} =\left(Y_{1},Y_{2}\right)^{\rm {T}}}$ ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ ${\displaystyle 3\times 2}$ ${\displaystyle (i,j)}$ ${\displaystyle \operatorname {cov} (X_{i},Y_{j})}$

Характеристики

Для матрицы перекрестной ковариации применяются следующие основные свойства: ^[2]

1. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{\rm {T}}]-\mathbf {\mu _{X}} \mathbf {\mu _{Y}} ^{\rm {T}}}$
2. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{\rm {T}}}$
3. ${\displaystyle \operatorname {cov} (\mathbf {X_{1}} +\mathbf {X_{2}} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2}} ,\mathbf {Y} )}$
4. ${\displaystyle \operatorname {cov} (A\mathbf {X} +\mathbf {a} ,B^{\rm {T}}\mathbf {Y} +\mathbf {b} )=A\,\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\,B}$
5. Если и независимы (или, в менее ограниченном смысле, если каждая случайная величина в некоррелирована с каждой случайной величиной в ), то ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0_{p\times q}}$

где и - случайные векторы, - случайный вектор, - вектор, - вектор, - матрицы констант, - матрица нулей. ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X_{1}} }$ ${\displaystyle \mathbf {X_{2}} }$ ${\displaystyle p\times 1}$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle q\times 1}$ ${\displaystyle \mathbf {a} }$ ${\displaystyle q\times 1}$ ${\displaystyle \mathbf {b} }$ ${\displaystyle p\times 1}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle q\times p}$ ${\displaystyle 0_{p\times q}}$ ${\displaystyle p\times q}$

Определение комплексных случайных векторов

Если и являются комплексными случайными векторами, определение матрицы перекрестной ковариации немного меняется. Транспонирование заменяется эрмитовой транспозицией : ${\displaystyle \mathbf {Z} }$ ${\displaystyle \mathbf {W} }$

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {cov} (\mathbf {Z} ,\mathbf {W} ){\stackrel {\mathrm {def} }{=}}\ \operatorname {E} [(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {W} -\mathbf {\mu _{W}} )^{\rm {H}}]}$

Для комплексных случайных векторов другая матрица, называемая матрицей псевдокросс-ковариации, определяется следующим образом:

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {W} }=\operatorname {cov} (\mathbf {Z} ,{\overline {\mathbf {W} }}){\stackrel {\mathrm {def} }{=}}\ \operatorname {E} [(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {W} -\mathbf {\mu _{W}} )^{\rm {T}}]}$

Некоррелированность

Два случайных вектора называются некоррелированными , если их матрица взаимной ковариации является нулевой матрицей. ^{[1] : 337} ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$

Комплексные случайные векторы называются некоррелированными, если их ковариационная матрица и псевдоковариационная матрица равны нулю, т.е. если . ${\displaystyle \mathbf {Z} }$ ${\displaystyle \mathbf {W} }$ ${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {W} }=\operatorname {J} _{\mathbf {Z} \mathbf {W} }=0}$

Рекомендации

1. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1.
2. Табога, Марко (2010). «Лекции по теории вероятностей и математической статистике».