Многомерная случайная величина

Случайная величина с несколькими компонентными измерениями

В вероятности и статистике многомерная случайная величина или случайный вектор — это список или вектор математических переменных, каждая из которых имеет неизвестное значение, либо потому, что значение еще не произошло, либо потому, что есть несовершенные знания о его значении. Отдельные переменные в случайном векторе группируются вместе, поскольку все они являются частью единой математической системы — часто они представляют различные свойства индивидуальной статистической единицы . Например, в то время как данный человек имеет определенный возраст, рост и вес, представление этих характеристик неопределенного человека из группы будет случайным вектором. Обычно каждый элемент случайного вектора является действительным числом .

Случайные векторы часто используются в качестве базовой реализации различных типов агрегированных случайных величин , например, случайной матрицы , случайного дерева , случайной последовательности , стохастического процесса и т. д.

Формально многомерная случайная величина представляет собой вектор-столбец (или его транспонированный вектор -строку ), компоненты которого являются случайными величинами на пространстве вероятностей , где — выборочное пространство , — сигма-алгебра (совокупность всех событий), а — вероятностная мера (функция, возвращающая вероятность каждого события ). ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle \Omega }$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle P}$

Распределение вероятностей

Каждый случайный вектор порождает вероятностную меру с алгеброй Бореля в качестве базовой сигма-алгебры. Эта мера также известна как совместное распределение вероятностей , совместное распределение или многомерное распределение случайного вектора. ${\displaystyle \mathbb {R} ^{n}}$

Распределения каждой из случайных величин-компонентов называются маргинальными распределениями . Условное распределение вероятностей заданных величин — это распределение вероятностей, когда известно, что это определенное значение. ${\displaystyle X_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{j}}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{j}}$

Кумулятивная функция распределения случайного вектора определяется как ^{[1] ​​: стр.15} ${\displaystyle F_{\mathbf {X} }:\mathbb {R} ^{n}\mapsto [0,1]}$ ${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})^{\mathsf {T}}}$

где . ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})^{\mathsf {T}}}$

Операции над случайными векторами

Случайные векторы могут быть подвергнуты тем же видам алгебраических операций , что и неслучайные векторы: сложению, вычитанию, умножению на скаляр и взятию скалярных произведений .

Аффинные преобразования

Аналогично новый случайный вектор можно определить, применив аффинное преобразование к случайному вектору : ${\displaystyle \mathbf {Y} }$ ${\displaystyle g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {Y} =\mathbf {A} \mathbf {X} +b}$, где — матрица, а — вектор-столбец. ${\displaystyle \mathbf {A} }$ ${\displaystyle n\times n}$ ${\displaystyle b}$ ${\displaystyle n\times 1}$

Если — обратимая матрица и имеет функцию плотности вероятности , то плотность вероятности равна ${\displaystyle \mathbf {A} }$ ${\displaystyle \textstyle \mathbf {X} }$ ${\displaystyle f_{\mathbf {X} }}$ ${\displaystyle \mathbf {Y} }$

${\displaystyle f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }(\mathbf {A} ^{-1}(y-b))}{|\det \mathbf {A} |}}}$.

Обратимые отображения

В более общем смысле мы можем изучать обратимые отображения случайных векторов. ^{[2] : стр.290–291}

Пусть будет отображением один к одному из открытого подмножества на подмножество , пусть имеет непрерывные частные производные в и пусть определитель Якоби не равен нулю ни в одной точке . Предположим, что действительный случайный вектор имеет функцию плотности вероятности и удовлетворяет . Тогда случайный вектор имеет плотность вероятности ${\displaystyle g}$ ${\displaystyle {\mathcal {D}}}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle {\mathcal {R}}}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle g}$ ${\displaystyle {\mathcal {D}}}$ ${\displaystyle g}$ ${\displaystyle {\mathcal {D}}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle f_{\mathbf {X} }(\mathbf {x} )}$ ${\displaystyle P(\mathbf {X} \in {\mathcal {D}})=1}$ ${\displaystyle \mathbf {Y} =g(\mathbf {X} )}$

${\displaystyle \left.f_{\mathbf {Y} }(\mathbf {y} )={\frac {f_{\mathbf {X} }(\mathbf {x} )}{\left|\det {\frac {\partial \mathbf {x} }{\partial \mathbf {y} }}\right|}}\right|_{\mathbf {x} =g^{-1}(\mathbf {y} )}\mathbf {1} (\mathbf {y} \in R_{\mathbf {Y} })}$

где обозначает индикаторную функцию , а набор обозначает поддержку . ${\displaystyle \mathbf {1} }$ ${\displaystyle R_{\mathbf {Y} }=\{\mathbf {y} =g(\mathbf {x} ):f_{\mathbf {X} }(\mathbf {x} )>0\}\subseteq {\mathcal {R}}}$ ${\displaystyle \mathbf {Y} }$

Ожидаемое значение

Ожидаемое значение или среднее значение случайного вектора — это фиксированный вектор , элементами которого являются ожидаемые значения соответствующих случайных величин. ^{[3] : стр.333} ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {E} [\mathbf {X} ]}$

Ковариация и кросс-ковариация

Определения

Ковариационная матрица (также называемая вторым центральным моментом или матрицей дисперсии-ковариации) случайного вектора — это матрица , чей ( i,j ) ^-й элемент является ковариацией между i ^-й и j ^-й случайными величинами. Ковариационная матрица — это ожидаемое значение, элемент за элементом, матрицы, вычисленной как , где верхний индекс T относится к транспонированию указанного вектора: ^{[2] : стр. 464  [3] : стр.335} ${\displaystyle n\times 1}$ ${\displaystyle n\times n}$ ${\displaystyle n\times n}$ ${\displaystyle [\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}}$

В более широком смысле, матрица взаимной ковариации между двумя случайными векторами и ( имеющими элементы и имеющими элементы) представляет собой матрицу ^{[3] : стр.336} ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle p}$ ${\displaystyle n\times p}$

где снова математическое ожидание матрицы берется поэлементно в матрице. Здесь ( i,j ) ^-й элемент является ковариацией между i ^-м элементом и j ^-м элементом . ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$

Характеристики

Ковариационная матрица является симметричной матрицей , т.е. ^{[2] : стр. 466}

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{T}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$.

Ковариационная матрица является положительно полуопределенной матрицей , т.е. ^{[2] : стр. 465}

${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$.

Матрица кросс-ковариации — это просто транспонированная матрица , т.е. ${\displaystyle \operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]}$ ${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]}$

${\displaystyle \operatorname {K} _{\mathbf {Y} \mathbf {X} }=\operatorname {K} _{\mathbf {X} \mathbf {Y} }^{T}}$.

Некоррелированность

Два случайных вектора и называются некоррелированными, если ${\displaystyle \mathbf {X} =(X_{1},...,X_{m})^{T}}$ ${\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}$

${\displaystyle \operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]=\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$.

Они некоррелированы тогда и только тогда, когда их матрица взаимной ковариации равна нулю. ^{[3] : стр.337} ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {Y} }}$

Корреляция и кросс-корреляция

Определения

Матрица корреляции (также называемая вторым моментом ) случайного вектора — это матрица, чей ( i,j ) ^-й элемент является корреляцией между i ^-й и j ^-й случайными величинами. Матрица корреляции — это ожидаемое значение, элемент за элементом, матрицы, вычисленной как , где верхний индекс T относится к транспонированию указанного вектора: ^{[4] : стр.190  [3] : стр.334} ${\displaystyle n\times 1}$ ${\displaystyle n\times n}$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {X} \mathbf {X} ^{T}}$

В более широком смысле, матрица взаимной корреляции между двумя случайными векторами и ( имеющими элементы и имеющими элементы) — это матрица ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle p}$ ${\displaystyle n\times p}$

Характеристики

Матрица корреляции связана с матрицей ковариации соотношением

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {K} _{\mathbf {X} \mathbf {X} }+\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{T}}$.

Аналогично для матрицы взаимной корреляции и матрицы взаимной ковариации:

${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {Y} }=\operatorname {K} _{\mathbf {X} \mathbf {Y} }+\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$

Ортогональность

Два случайных вектора одинакового размера называются ортогональными , если ${\displaystyle \mathbf {X} =(X_{1},...,X_{n})^{T}}$ ${\displaystyle \mathbf {Y} =(Y_{1},...,Y_{n})^{T}}$

${\displaystyle \operatorname {E} [\mathbf {X} ^{T}\mathbf {Y} ]=0}$.

Независимость

Два случайных вектора и называются независимыми, если для всех и ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {y} }$

${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )=F_{\mathbf {X} }(\mathbf {x} )\cdot F_{\mathbf {Y} }(\mathbf {y} )}$

где и обозначают кумулятивные функции распределения и и обозначает их совместную кумулятивную функцию распределения. Независимость и часто обозначается как . Записанные покомпонентно, и называются независимыми, если для всех ${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$ ${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}}$

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})}$.

Характерная функция

Характеристическая функция случайного вектора с компонентами — это функция , которая отображает каждый вектор в комплексное число. Она определяется ^{[2] : стр. 468} ${\displaystyle \mathbf {X} }$ ${\displaystyle n}$ ${\displaystyle \mathbb {R} ^{n}\to \mathbb {C} }$ ${\displaystyle \mathbf {\omega } =(\omega _{1},\ldots ,\omega _{n})^{T}}$

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {\omega } )=\operatorname {E} \left[e^{i(\mathbf {\omega } ^{T}\mathbf {X} )}\right]=\operatorname {E} \left[e^{i(\omega _{1}X_{1}+\ldots +\omega _{n}X_{n})}\right]}$.

Дополнительные свойства

Математическое ожидание квадратичной формы

Можно принять ожидание квадратичной формы в случайном векторе следующим образом: ^{[5] : стр.170–171} ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {E} [\mathbf {X} ^{T}A\mathbf {X} ]=\operatorname {E} [\mathbf {X} ]^{T}A\operatorname {E} [\mathbf {X} ]+\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} }),}$

где — ковариационная матрица и относится к следу матрицы — то есть к сумме элементов на ее главной диагонали (с верхнего левого угла в нижний правый). Поскольку квадратичная форма является скаляром, то и ее ожидание тоже. ${\displaystyle K_{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {tr} }$

Доказательство : Пусть — случайный вектор с и , а — нестохастическая матрица. ${\displaystyle \mathbf {z} }$ ${\displaystyle m\times 1}$ ${\displaystyle \operatorname {E} [\mathbf {z} ]=\mu }$ ${\displaystyle \operatorname {Cov} [\mathbf {z} ]=V}$ ${\displaystyle A}$ ${\displaystyle m\times m}$

Тогда на основе формулы для ковариации, если обозначить и , то увидим, что: ${\displaystyle \mathbf {z} ^{T}=\mathbf {X} }$ ${\displaystyle \mathbf {z} ^{T}A^{T}=\mathbf {Y} }$

${\displaystyle \operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ^{T}]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{T}}$

Следовательно

${\displaystyle {\begin{aligned}\operatorname {E} [XY^{T}]&=\operatorname {Cov} [X,Y]+\operatorname {E} [X]\operatorname {E} [Y]^{T}\\\operatorname {E} [z^{T}Az]&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\operatorname {E} [z^{T}]\operatorname {E} [z^{T}A^{T}]^{T}\\&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\mu ^{T}(\mu ^{T}A^{T})^{T}\\&=\operatorname {Cov} [z^{T},z^{T}A^{T}]+\mu ^{T}A\mu ,\end{aligned}}}$

что оставляет нам возможность показать, что

${\displaystyle \operatorname {Cov} [z^{T},z^{T}A^{T}]=\operatorname {tr} (AV).}$

Это справедливо, поскольку при выполнении трассировки можно циклически переставлять матрицы, не меняя конечный результат (например: ). ${\displaystyle \operatorname {tr} (AB)=\operatorname {tr} (BA)}$

Мы видим , что

${\displaystyle {\begin{aligned}\operatorname {Cov} [z^{T},z^{T}A^{T}]&=\operatorname {E} \left[\left(z^{T}-E(z^{T})\right)\left(z^{T}A^{T}-E\left(z^{T}A^{T}\right)\right)^{T}\right]\\&=\operatorname {E} \left[(z^{T}-\mu ^{T})(z^{T}A^{T}-\mu ^{T}A^{T})^{T}\right]\\&=\operatorname {E} \left[(z-\mu )^{T}(Az-A\mu )\right].\end{aligned}}}$

И так как

${\displaystyle \left({z-\mu }\right)^{T}\left({Az-A\mu }\right)}$

является скаляром , тогда

${\displaystyle (z-\mu )^{T}(Az-A\mu )=\operatorname {tr} \left({(z-\mu )^{T}(Az-A\mu )}\right)=\operatorname {tr} \left((z-\mu )^{T}A(z-\mu )\right)}$

тривиально. Используя перестановку, получаем:

${\displaystyle \operatorname {tr} \left({(z-\mu )^{T}A(z-\mu )}\right)=\operatorname {tr} \left({A(z-\mu )(z-\mu )^{T}}\right),}$

и подставив это в исходную формулу, получаем:

${\displaystyle {\begin{aligned}\operatorname {Cov} \left[{z^{T},z^{T}A^{T}}\right]&=E\left[{\left({z-\mu }\right)^{T}(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left(A(z-\mu )(z-\mu )^{T}\right)\right]\\&=\operatorname {tr} \left({A\cdot \operatorname {E} \left((z-\mu )(z-\mu )^{T}\right)}\right)\\&=\operatorname {tr} (AV).\end{aligned}}}$

Математическое ожидание произведения двух различных квадратичных форм

Можно взять ожидание произведения двух различных квадратичных форм в гауссовском случайном векторе с нулевым средним следующим образом: ^{[5] : стр. 162–176} ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {E} \left[(\mathbf {X} ^{T}A\mathbf {X} )(\mathbf {X} ^{T}B\mathbf {X} )\right]=2\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} }BK_{\mathbf {X} \mathbf {X} })+\operatorname {tr} (AK_{\mathbf {X} \mathbf {X} })\operatorname {tr} (BK_{\mathbf {X} \mathbf {X} })}$

где снова — ковариационная матрица . Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, ожидание их произведения также является скаляром. ${\displaystyle K_{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \mathbf {X} }$

Приложения

Теория портфеля

В теории портфеля в финансах часто ставится цель выбрать портфель рискованных активов таким образом, чтобы распределение случайной доходности портфеля имело желаемые свойства. Например, можно выбрать доходность портфеля, имеющую наименьшую дисперсию для заданного ожидаемого значения. Здесь случайный вектор — это вектор случайной доходности отдельных активов, а доходность портфеля p (случайный скаляр) — это внутреннее произведение вектора случайной доходности с вектором w весов портфеля — долей портфеля, размещенных в соответствующих активах. Поскольку p = w ^T , ожидаемое значение доходности портфеля равно w ^T E( ), а дисперсия доходности портфеля может быть показана как w ^T C w , где C — ковариационная матрица . ${\displaystyle \mathbf {r} }$ ${\displaystyle \mathbf {r} }$ ${\displaystyle \mathbf {r} }$ ${\displaystyle \mathbf {r} }$

Теория регрессии

В теории линейной регрессии у нас есть данные по n наблюдениям над зависимой переменной y и n наблюдениям над каждой из k независимых переменных x _j . Наблюдения над зависимой переменной укладываются в вектор-столбец y ; наблюдения над каждой независимой переменной также укладываются в вектор-столбцы, и эти последние вектор-столбцы объединяются в матрицу дизайна X (не обозначающую случайный вектор в этом контексте) наблюдений над независимыми переменными. Затем следующее уравнение регрессии постулируется как описание процесса, который сгенерировал данные:

${\displaystyle y=X\beta +e,}$

где β — постулированный фиксированный, но неизвестный вектор коэффициентов отклика k , а e — неизвестный случайный вектор, отражающий случайные влияния на зависимую переменную. С помощью некоторого выбранного метода, такого как метод наименьших квадратов , вектор выбирается в качестве оценки β, а оценка вектора e , обозначаемая , вычисляется как ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {e}}}$

${\displaystyle {\hat {e}}=y-X{\hat {\beta }}.}$

Затем статистик должен проанализировать свойства и , которые рассматриваются как случайные векторы, поскольку случайный выбор n случаев для наблюдения привел бы к разным их значениям. ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {e}}}$

Векторные временные ряды

Эволюцию случайного вектора k × 1 во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом: ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {X} _{t}=c+A_{1}\mathbf {X} _{t-1}+A_{2}\mathbf {X} _{t-2}+\cdots +A_{p}\mathbf {X} _{t-p}+\mathbf {e} _{t},\,}$

где векторное наблюдение, отстоящее на i периодов назад, называется i -м лагом , c —  вектор констант ( отсечек ) размером k × 1 , A _i — не зависящая от времени матрица размером k  ×  k , а — случайный вектор ошибок размером k  × 1 . ${\displaystyle \mathbf {X} _{t-i}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {e} _{t}}$

Ссылки

1. Галлагер, Роберт Г. (2013). Теория стохастических процессов для приложений . Cambridge University Press. ISBN 978-1-107-03975-9.
2. Лапидот, Амос (2009). Основы цифровой коммуникации . Cambridge University Press. ISBN 978-0-521-19395-5.
3. Губнер, Джон А. (2006). Вероятность и случайные процессы для инженеров-электриков и компьютерщиков . Cambridge University Press. ISBN 978-0-521-86470-1.
4. Папулис, Афанасиус (1991). Вероятность, случайные величины и стохастические процессы (третье изд.). McGraw-Hill. ISBN 0-07-048477-5.
5. Кендрик, Дэвид (1981). Стохастическое управление экономическими моделями . McGraw-Hill. ISBN 0-07-033962-7.

Дальнейшее чтение

• Старк, Генри; Вудс, Джон В. (2012). «Случайные векторы». Вероятность, статистика и случайные процессы для инженеров (четвертое издание). Пирсон. стр. 295–339. ISBN 978-0-13-231123-6.