Многомерная случайная величина

Случайная величина с несколькими размерностями компонентов

В теории вероятности и статистике многомерная случайная величина или случайный вектор представляет собой список или вектор математических переменных , значение каждой из которых неизвестно либо потому, что значение еще не возникло, либо потому, что существует несовершенное знание его значения. Отдельные переменные в случайном векторе группируются вместе, поскольку все они являются частью единой математической системы — часто они представляют разные свойства отдельной статистической единицы . Например, хотя данный человек имеет определенный возраст, рост и вес, представление этих особенностей неопределенного человека внутри группы будет случайным вектором. Обычно каждый элемент случайного вектора является действительным числом .

Случайные векторы часто используются в качестве базовой реализации различных типов совокупных случайных величин , например , случайной матрицы , случайного дерева , случайной последовательности , случайного процесса и т. д.

Более формально, многомерная случайная величина — это вектор-столбец (или его транспонирование , которое является вектором-строкой ), компоненты которого являются скалярными случайными величинами со значениями в том же вероятностном пространстве , что и друг друга, где — выборочное пространство , — сигма- алгебра (совокупность всех событий) и является вероятностной мерой (функция, возвращающая вероятность каждого события ). ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle \Omega }$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle P}$

Распределение вероятностей

Каждый случайный вектор порождает вероятностную меру, в основе которой лежит алгебра Бореля в качестве базовой сигма-алгебры. Эта мера также известна как совместное распределение вероятностей , совместное распределение или многомерное распределение случайного вектора. ${\displaystyle \mathbb {R} ^{n}}$

Распределения каждой из составляющих случайных величин называются маргинальными распределениями . Условное распределение вероятностей данного — это распределение вероятностей того, когда известно , что это определенное значение. ${\displaystyle X_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{j}}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{j}}$

Кумулятивная функция распределения случайного вектора определяется как ^{[1] : стр.15.} ${\displaystyle F_{\mathbf {X} }:\mathbb {R} ^{n}\mapsto [0,1]}$ ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}}$

где . ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})^{\mathsf {T}}}$

Операции со случайными векторами

Со случайными векторами можно выполнять те же виды алгебраических операций , что и с неслучайными векторами: сложение, вычитание, умножение на скаляр и получение скалярных произведений .

Аффинные преобразования

Аналогично, новый случайный вектор может быть определен путем применения аффинного преобразования к случайному вектору : ${\displaystyle \mathbf {Y} }$ ${\displaystyle g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {Y} =\mathbf {A} \mathbf {X} +b}$, где – матрица, – вектор- столбец. ${\displaystyle \mathbf {A} }$ ${\displaystyle n\times n}$ ${\displaystyle b}$ ${\displaystyle n\times 1}$

Если – обратимая матрица и имеет функцию плотности вероятности , то плотность вероятности равна ${\displaystyle \mathbf {A} }$ ${\displaystyle \textstyle \mathbf {X} }$ ${\displaystyle f_{\mathbf {X} }}$ ${\displaystyle \mathbf {Y} }$

${\displaystyle f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }(\mathbf {A} ^{-1}(y-b))}{|\det \mathbf {A} |}}}$.

Обратимые отображения

В более общем смысле мы можем изучать обратимые отображения случайных векторов. ^{[2] : с.290–291.}

Пусть будет взаимно однозначным отображением открытого подмножества на подмножество , пусть имеют непрерывные частные производные в и пусть определитель Якобиана равен нулю ни в одной точке . Предположим, что реальный случайный вектор имеет функцию плотности вероятности и удовлетворяет условиям . Тогда случайный вектор имеет плотность вероятности ${\displaystyle g}$ ${\displaystyle {\mathcal {D}}}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle {\mathcal {R}}}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle g}$ ${\displaystyle {\mathcal {D}}}$ ${\displaystyle g}$ ${\displaystyle {\mathcal {D}}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle f_{\mathbf {X} }(\mathbf {x} )}$ ${\displaystyle P(\mathbf {X} \in {\mathcal {D}})=1}$ ${\displaystyle \mathbf {Y} =g(\mathbf {X} )}$

${\displaystyle \left.f_{\mathbf {Y} }(\mathbf {y} )={\frac {f_{\mathbf {Z} }(\mathbf {z} )}{\left|\det {\frac {\partial \mathbf {z} }{\partial \mathbf {y} }}\right|}}\right|_{\mathbf {z} =g^{-1}(\mathbf {y} )}\mathbf {1} (\mathbf {y} \in R_{\mathbf {Y} })}$

где обозначает индикаторную функцию , а set обозначает поддержку . ${\displaystyle \mathbf {1} }$ ${\displaystyle R_{\mathbf {Y} }=\{\mathbf {y} =g(\mathbf {x} ):f_{\mathbf {X} }(\mathbf {x} )>0\}\subseteq {\mathcal {R}}}$ ${\displaystyle \mathbf {Y} }$

Ожидаемое значение

Ожидаемое значение или среднее значение случайного вектора — это фиксированный вектор , элементами которого являются ожидаемые значения соответствующих случайных величин. ^{[3] : стр.333} ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {E} [\mathbf {X} ]}$

Ковариация и перекрестная ковариация

Определения

Ковариационная матрица (также называемая вторым центральным моментом или дисперсионно-ковариационной матрицей) случайного вектора — это матрица , ( i,j ) ^-й элемент которой представляет собой ковариацию между i ^-й и j- ^й случайными величинами. Ковариационная матрица представляет собой ожидаемое значение, элемент за элементом, матрицы, вычисленной как , где верхний индекс T относится к транспонированию указанного вектора: ^{[2] : p. 464  [3] : стр.335} ${\displaystyle n\times 1}$ ${\displaystyle n\times n}$ ${\displaystyle n\times n}$ ${\displaystyle [\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}}$

В более широком смысле, матрица взаимной ковариации между двумя случайными векторами и ( имеющая элементы и имеющая элементы) представляет собой матрицу ^{[3] : стр.336.} ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle p}$ ${\displaystyle n\times p}$

где снова матричное ожидание берется поэлементно в матрице. Здесь ( i,j ) ^-й элемент — это ковариация между i- ^м элементом и j- ^м элементом . ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Характеристики

Ковариационная матрица является симметричной матрицей , т.е. ^{[2] : p. 466}

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{T}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$.

Ковариационная матрица является положительной полуопределенной матрицей , т.е. ^{[2] : p. 465}

${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$.

Матрица перекрестной ковариации представляет собой просто транспонирование матрицы , т.е. ${\displaystyle \operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]}$ ${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]}$

${\displaystyle \operatorname {K} _{\mathbf {Y} \mathbf {X} }=\operatorname {K} _{\mathbf {X} \mathbf {Y} }^{T}}$.

Некоррелированность

Два случайных вектора и называются некоррелированными, если ${\displaystyle \mathbf {X} =(X_{1},...,X_{m})^{T}}$ ${\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}$

${\displaystyle \operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$.

Они некоррелированы тогда и только тогда, когда их матрица взаимной ковариации равна нулю. ^{[3] : стр.337} ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$

Корреляция и взаимная корреляция

Определения

Корреляционная матрица (также называемая вторым моментом ) случайного вектора — это матрица, ( i,j ) ^-й элемент которой представляет собой корреляцию между i- ^й и j- ^й случайными величинами. Корреляционная матрица представляет собой ожидаемое значение, элемент за элементом, матрицы, вычисленной как , где верхний индекс T относится к транспонированию указанного вектора: ^{[4] : ​​стр.190  [3] : стр.334} ${\displaystyle n\times 1}$ ${\displaystyle n\times n}$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {X} \mathbf {X} ^{T}}$

В более широком смысле, матрица взаимной корреляции между двумя случайными векторами и ( имеющая элементы и имеющая элементы) представляет собой матрицу ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle p}$ ${\displaystyle n\times p}$

Характеристики

Корреляционная матрица связана с ковариационной матрицей соотношением

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {K} _{\mathbf {X} \mathbf {X} }+\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}}$.

Аналогично для матрицы взаимной корреляции и матрицы взаимной ковариации:

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }=\operatorname {K} _{\mathbf {X} \mathbf {Y} }+\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$

Ортогональность

Два случайных вектора одинакового размера называются ортогональными , если ${\displaystyle \mathbf {X} =(X_{1},...,X_{n})^{T}}$ ${\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}$

${\displaystyle \operatorname {E} [\mathbf {X} ^{T}\mathbf {Y} ]=0}$.

Независимость

Два случайных вектора и называются независимыми , если для всех и ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {y} }$

${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )}$

где и обозначают кумулятивные функции распределения, а и обозначают их совместную кумулятивную функцию распределения. Независимость от и часто обозначается . Записываются покомпонентно и называются независимыми, если для всех ${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$ ${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}}$

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})}$.

Характеристическая функция

Характеристическая функция случайного вектора с компонентами — это функция , которая отображает каждый вектор в комплексное число. Это определено ^{[2] : с. 468} ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \mathbb {R} ^{n}\to \mathbb {C} }$ ${\displaystyle \mathbf {\omega } =(\omega _{1},\ldots ,\omega _{n})^{T}}$

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {\omega } )=\operatorname {E} \left[e^{i(\mathbf {\omega } ^{T}\mathbf {X} )}\right]=\operatorname {E} \left[e^{i(\omega _{1}X_{1}+\ldots +\omega _{n}X_{n})}\right]}$.

Дополнительные свойства

Ожидание квадратичной формы

Математическое ожидание квадратичной формы случайного вектора можно принять следующим образом: ^{[5] : с.170–171.} ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {E} [\mathbf {X} ^{T}A\mathbf {X} ]=\operatorname {E} [\mathbf {X} ]^{T}A\operatorname {E} [\mathbf {X} ]+\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} }),}$

где — ковариационная матрица и относится к следу матрицы, то есть к сумме элементов на ее главной диагонали (сверху слева вниз справа). Поскольку квадратичная форма является скаляром, то и ее математическое ожидание является скаляром. ${\displaystyle K_{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {tr} }$

Доказательство : пусть – случайный вектор с и и пусть – нестохастическая матрица. ${\displaystyle \mathbf {z} }$ ${\displaystyle m\times 1}$ ${\displaystyle \operatorname {E} [\mathbf {z} ]=\mu }$ ${\displaystyle \operatorname {Cov} [\mathbf {z} ]=V}$ ${\displaystyle A}$ ${\displaystyle m\times m}$

Тогда на основе формулы ковариации, если мы обозначим и , мы увидим, что: ${\displaystyle \mathbf {z} ^{T}=\mathbf {X} }$ ${\displaystyle \mathbf {z} ^{T}A^{T}=\mathbf {Y} }$

${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$

Следовательно

${\displaystyle {\begin{aligned}\operatorname {E} [XY^{T}]&=\operatorname {Cov} [X,Y]+\operatorname {E} [X]\operatorname {E} [Y]^{T}\\\operatorname {E} [z^{T}Az]&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\operatorname {E} [z^{T}]\operatorname {E} [z^{T}A^{T}]^{T}\\&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\mu ^{T}(\mu ^{T}A^{T})^{T}\\&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\mu ^{T}A\mu ,\end{aligned}}}$

что позволяет нам показать, что

${\displaystyle \operatorname {Cov} [z^{T},z^{T}A^{T}]=\operatorname {tr} (AV).}$

Это верно, поскольку можно циклически переставлять матрицы при съемке трассировки , не меняя конечного результата (например: ). ${\displaystyle \operatorname {tr} (AB)=\operatorname {tr} (BA)}$

Мы видим, что

${\displaystyle {\begin{aligned}\operatorname {Cov} [z^{T},z^{T}A^{T}]&=\operatorname {E} \left[\left(z^{T}-E(z^{T})\right)\left(z^{T}A^{T}-E\left(z^{T}A^{T}\right)\right)^{T}\right]\\&=\operatorname {E} \left[(z^{T}-\mu ^{T})(z^{T}A^{T}-\mu ^{T}A^{T})^{T}\right]\\&=\operatorname {E} \left[(z-\mu )^{T}(Az-A\mu )\right].\end{aligned}}}$

И с тех пор

${\displaystyle \left({z-\mu }\right)^{T}\left({Az-A\mu }\right)}$

является скаляром , тогда

${\displaystyle (z-\mu )^{T}(Az-A\mu )=\operatorname {tr} \left({(z-\mu )^{T}(Az-A\mu )}\right)=\operatorname {tr} \left((z-\mu )^{T}A(z-\mu )\right)}$

тривиально. Используя перестановку, получаем:

${\displaystyle \operatorname {tr} \left({(z-\mu )^{T}A(z-\mu )}\right)=\operatorname {tr} \left({A(z-\mu )(z-\mu )^{T}}\right),}$

и подставив это в исходную формулу, получим:

${\displaystyle {\begin{aligned}\operatorname {Cov} \left[{z^{T},z^{T}A^{T}}\right]&=E\left[{\left({z-\mu }\right)^{T}(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left(A(z-\mu )(z-\mu )^{T}\right)\right]\\&=\operatorname {tr} \left({A\cdot \operatorname {E} \left((z-\mu )(z-\mu )^{T}\right)}\right)\\&=\operatorname {tr} (AV).\end{aligned}}}$

Ожидание произведения двух разных квадратичных форм

Математическое ожидание произведения двух разных квадратичных форм в гауссовском случайном векторе с нулевым средним можно взять следующим образом: ^{[5] : стр. 162–176.} ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {E} \left[(\mathbf {X} ^{T}A\mathbf {X} )(\mathbf {X} ^{T}B\mathbf {X} )\right]=2\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} }BK_{\mathbf {X} \mathbf {X} })+\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} })\operatorname {tr} (BK_{\mathbf {X} \mathbf {X} })}$

где снова ковариационная матрица . Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, математическое ожидание их произведения также является скаляром. ${\displaystyle K_{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} }$

Приложения

Теория портфеля

В теории портфеля в финансах целью часто является выбор портфеля рискованных активов таким образом, чтобы распределение случайной доходности портфеля имело желаемые свойства. Например, можно выбрать доходность портфеля, имеющую наименьшую дисперсию для данного ожидаемого значения. Здесь случайный вектор — это вектор случайной доходности отдельных активов, а доходность портфеля p (случайный скаляр) — это внутреннее произведение вектора случайной доходности с вектором весов портфеля w — долями портфеля, помещенными в соответствующие активы. Поскольку p = w ^T , ожидаемое значение доходности портфеля равно w ^T E( ), а дисперсия доходности портфеля может быть показана как w ^T C w , где C – ковариационная матрица . ${\displaystyle \mathbf {r} }$ ${\displaystyle \mathbf {r} }$ ${\displaystyle \mathbf {r} }$ ${\displaystyle \mathbf {r} }$

Теория регрессии

В теории линейной регрессии у нас есть данные о n наблюдениях над зависимой переменной y и n наблюдениях за каждой из k независимых _{переменных} xj . Наблюдения над зависимой переменной складываются в вектор-столбец y ; наблюдения за каждой независимой переменной также складываются в векторы-столбцы, и эти последние векторы-столбцы объединяются в матрицу плана X (не обозначающую случайный вектор в этом контексте) наблюдений за независимыми переменными. Затем в качестве описания процесса, в результате которого были созданы данные, постулируется следующее уравнение регрессии:

${\displaystyle y=X\beta +e,}$

где β — постулируемый фиксированный, но неизвестный вектор k коэффициентов отклика, а e — неизвестный случайный вектор, отражающий случайные влияния на зависимую переменную. С помощью некоторого выбранного метода, такого как обычный метод наименьших квадратов , вектор выбирается в качестве оценки β, а оценка вектора e , обозначаемая , вычисляется как ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {e}}}$

${\displaystyle {\hat {e}}=y-X{\hat {\beta }}.}$

Затем статистик должен проанализировать свойства и , которые рассматриваются как случайные векторы, поскольку случайный выбор n случаев для наблюдения привел бы к разным значениям для них. ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {e}}}$

Векторные временные ряды

Эволюцию случайного вектора k × 1 во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом: ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {X} _{t}=c+A_{1}\mathbf {X} _{t-1}+A_{2}\mathbf {X} _{t-2}+\cdots +A_{p}\mathbf {X} _{t-p}+\mathbf {e} _{t},\,}$

где наблюдение вектора i -периодов назад называется i -м лагом , c —  вектор констант ( перехватчиков ) размера k × 1 , A _i — инвариантная во времени матрица размера k  ×  k и случайный вектор размера k  × 1 ошибок . _ ${\displaystyle \mathbf {X} _{t-i}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {e} _{t}}$

Рекомендации

1. Галлагер, Роберт Г. (2013). Теория случайных процессов для приложений . Издательство Кембриджского университета. ISBN 978-1-107-03975-9.
2. Лапидот, Амос (2009). Фонд цифровых коммуникаций . Издательство Кембриджского университета. ISBN 978-0-521-19395-5.
3. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и вычислительной техники . Издательство Кембриджского университета. ISBN 978-0-521-86470-1.
4. Папулис, Афанасий (1991). Вероятность, случайные величины и случайные процессы (Третье изд.). МакГроу-Хилл. ISBN 0-07-048477-5.
5. Кендрик, Дэвид (1981). Стохастическое управление для экономических моделей . МакГроу-Хилл. ISBN 0-07-033962-7.

дальнейшее чтение

• Старк, Генри; Вудс, Джон В. (2012). «Случайные векторы». Вероятность, статистика и случайные процессы для инженеров (Четвертое изд.). Пирсон. стр. 295–339. ISBN 978-0-13-231123-6.