Алгебра случайных величин

Математическая техника

Алгебра случайных величин в статистике , обеспечивает правила для символической манипуляции случайными величинами , избегая при этом слишком глубокого погружения в математически сложные идеи теории вероятностей . Ее символика позволяет обрабатывать суммы, произведения, отношения и общие функции случайных величин, а также иметь дело с такими операциями, как нахождение распределений вероятностей и ожиданий (или ожидаемых значений), дисперсий и ковариаций таких комбинаций.

В принципе, элементарная алгебра случайных величин эквивалентна алгебре обычных неслучайных (или детерминированных) величин. Однако изменения, происходящие в распределении вероятностей случайной величины, полученной после выполнения алгебраических операций, не являются простыми. Поэтому поведение различных операторов распределения вероятностей, таких как ожидаемые значения, дисперсии, ковариации и моменты , может отличаться от наблюдаемого для случайной величины с использованием символической алгебры. Можно определить некоторые ключевые правила для каждого из этих операторов, что приводит к различным типам алгебры для случайных величин, помимо элементарной символической алгебры: алгебра ожиданий, алгебра дисперсий, ковариационная алгебра, алгебра моментов и т. д.

Элементарная символьная алгебра случайных величин

Рассматривая две случайные величины и , возможны следующие алгебраические операции: ${\displaystyle X}$ ${\displaystyle Y}$

• Добавление : ${\displaystyle Z=X+Y=Y+X}$
• Вычитание : ${\displaystyle Z=X-Y=-Y+X}$
• Умножение : ${\displaystyle Z=XY=YX}$
• Разделение : ${\displaystyle Z=X/Y=X\cdot (1/Y)=(1/Y)\cdot X}$
• Возведение в степень : ${\displaystyle Z=X^{Y}=e^{Y\ln(X)}}$

Во всех случаях переменная, полученная в результате каждой операции, также является случайной величиной. Все коммутативные и ассоциативные свойства обычных алгебраических операций справедливы и для случайных величин. Если любая из случайных величин заменяется детерминированной переменной или постоянным значением, все предыдущие свойства остаются справедливыми. ${\displaystyle Z}$

Алгебра ожиданий для случайных величин

Ожидаемое значение случайной величины, полученной в результате алгебраической операции между двумя случайными величинами, можно рассчитать, используя следующий набор правил: ${\displaystyle E}$ ${\displaystyle Z}$

• Добавление : ${\displaystyle E[Z]=E[X+Y]=E[X]+E[Y]=E[Y]+E[X]}$
• Вычитание : ${\displaystyle E[Z]=E[X-Y]=E[X]-E[Y]=-E[Y]+E[X]}$
• Умножение : . В частности, если и независимы друг от друга, то: . ${\displaystyle E[Z]=E[XY]=E[YX]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle E[XY]=E[X]\cdot E[Y]=E[Y]\cdot E[X]}$
• Деление : . В частности, если и независимы друг от друга, то: . ${\displaystyle E[Z]=E[X/Y]=E[X\cdot (1/Y)]=E[(1/Y)\cdot X]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle E[X/Y]=E[X]\cdot E[1/Y]=E[1/Y]\cdot E[X]}$
• Возведение в степень : ${\displaystyle E[Z]=E[X^{Y}]=E[e^{Y\ln(X)}]}$

Если любая из случайных величин заменяется детерминированной величиной или постоянным значением ( ), то предыдущие свойства остаются в силе, учитывая, что и, следовательно, . ${\displaystyle k}$ ${\displaystyle P[X=k]=1}$ ${\displaystyle E[X]=k}$

Если определяется как общая нелинейная алгебраическая функция случайной величины , то: ${\displaystyle Z}$ ${\displaystyle f}$ ${\displaystyle X}$

${\displaystyle E[Z]=E[f(X)]\neq f(E[X])}$

Вот некоторые примеры этого имущества:

• ${\displaystyle E[X^{2}]\neq E[X]^{2}}$
• ${\displaystyle E[1/X]\neq 1/E[X]}$
• ${\displaystyle E[e^{X}]\neq e^{E[X]}}$
• ${\displaystyle E[\ln(X)]\neq \ln(E[X])}$

Точное значение ожидания нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины . ${\displaystyle X}$

Дисперсионная алгебра для случайных величин

Дисперсию случайной величины, полученную в результате алгебраической операции между случайными величинами, можно вычислить, используя следующий набор правил: ${\displaystyle \mathrm {Var} }$ ${\displaystyle Z}$

• Дополнение : . В частности, если и независимы друг от друга, то: . ${\displaystyle \mathrm {Var} [Z]=\mathrm {Var} [X+Y]=\mathrm {Var} [X]+2\mathrm {Cov} [X,Y]+\mathrm {Var} [Y]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Var} [X+Y]=\mathrm {Var} [X]+\mathrm {Var} [Y]}$
• Вычитание : . В частности, если и независимы друг от друга, то: . То есть, для независимых случайных величин дисперсия одинакова для сложений и вычитаний: ${\displaystyle \mathrm {Var} [Z]=\mathrm {Var} [X-Y]=\mathrm {Var} [X]-2\mathrm {Cov} [X,Y]+\mathrm {Var} [Y]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Var} [X-Y]=\mathrm {Var} [X]+\mathrm {Var} [Y]}$ ${\displaystyle \mathrm {Var} [X+Y]=\mathrm {Var} [X-Y]=\mathrm {Var} [Y-X]=\mathrm {Var} [-X-Y]}$
• Умножение : . В частности, если и независимы друг от друга, то: . ${\displaystyle \mathrm {Var} [Z]=\mathrm {Var} [XY]=\mathrm {Var} [YX]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Var} [XY]=E[X^{2}]\cdot E[Y^{2}]-(E[X]\cdot E[Y])^{2}=\mathrm {Var} [X]\cdot \mathrm {Var} [Y]+\mathrm {Var} [X]\cdot (E[Y])^{2}+\mathrm {Var} [Y]\cdot (E[X])^{2}}$
• Деление : . В частности, если и независимы друг от друга, то: . ${\displaystyle \mathrm {Var} [Z]=\mathrm {Var} [X/Y]=\mathrm {Var} [X\cdot (1/Y)]=\mathrm {Var} [(1/Y)\cdot X]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Var} [X/Y]=E[X^{2}]\cdot E[1/Y^{2}]-(E[X]\cdot E[1/Y])^{2}=\mathrm {Var} [X]\cdot \mathrm {Var} [1/Y]+\mathrm {Var} [X]\cdot (E[1/Y])^{2}+\mathrm {Var} [1/Y]\cdot (E[X])^{2}}$
• Возведение в степень : ${\displaystyle \mathrm {Var} [Z]=\mathrm {Var} [X^{Y}]=\mathrm {Var} [e^{Y\ln(X)}]}$

где представляет собой оператор ковариации между случайными величинами и . ${\displaystyle \mathrm {Cov} [X,Y]=\mathrm {Cov} [Y,X]}$ ${\displaystyle X}$ ${\displaystyle Y}$

Дисперсию случайной величины можно также выразить непосредственно через ковариацию или через ожидаемое значение:

${\displaystyle \mathrm {Var} [X]=\mathrm {Cov} (X,X)=E[X^{2}]-E[X]^{2}}$

Если любая из случайных величин заменяется детерминированной переменной или постоянным значением ( ), предыдущие свойства остаются в силе, учитывая, что и , и . Особыми случаями являются сложение и умножение случайной величины на детерминированную переменную или константу, где: ${\displaystyle k}$ ${\displaystyle P[X=k]=1}$ ${\displaystyle E[X]=k}$ ${\displaystyle \mathrm {Var} [X]=0}$ ${\displaystyle \mathrm {Cov} [Y,k]=0}$

• ${\displaystyle \mathrm {Var} [k+Y]=\mathrm {Var} [Y]}$
• ${\displaystyle \mathrm {Var} [kY]=k^{2}\mathrm {Var} [Y]}$

Если определяется как общая нелинейная алгебраическая функция случайной величины , то: ${\displaystyle Z}$ ${\displaystyle f}$ ${\displaystyle X}$

${\displaystyle \mathrm {Var} [Z]=\mathrm {Var} [f(X)]\neq f(\mathrm {Var} [X])}$

Точное значение дисперсии нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины . ${\displaystyle X}$

Ковариационная алгебра для случайных величин

Ковариация ( ) между случайной величиной, полученной в результате алгебраической операции, и случайной величиной может быть рассчитана с использованием следующего набора правил: ${\displaystyle \mathrm {Cov} }$ ${\displaystyle Z}$ ${\displaystyle X}$

• Дополнение : Если и независимы друг от друга, то: . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [X+Y,X]=\mathrm {Var} [X]+\mathrm {Cov} [X,Y]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Cov} [X+Y,X]=\mathrm {Var} [X]}$
• Вычитание : . Если и независимы друг от друга, то: . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [X-Y,X]=\mathrm {Var} [X]-\mathrm {Cov} [X,Y]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Cov} [X-Y,X]=\mathrm {Var} [X]}$
• Умножение : . Если и независимы друг от друга, то: . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [XY,X]=E[X^{2}Y]-E[XY]E[X]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Cov} [XY,X]=\mathrm {Var} [X]\cdot E[Y]}$
• Деление (ковариация относительно числителя): . Если и независимы друг от друга, то: . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [X/Y,X]=E[X^{2}/Y]-E[X/Y]E[X]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Cov} [X/Y,X]=\mathrm {Var} [X]\cdot E[1/Y]}$
• Деление (ковариация относительно знаменателя): . Если и независимы друг от друга, то: . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [Y/X,X]=E[Y]-E[Y/X]E[X]}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {Cov} [Y/X,X]=E[Y]\cdot (1-E[X]\cdot E[1/X])}$
• Возведение в степень (ковариация по основанию): . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [X^{Y},X]=E[X^{Y+1}]-E[X^{Y}]E[X]}$
• Возведение в степень (ковариация по отношению к мощности): . ${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [Y^{X},X]=E[XY^{X}]-E[Y^{X}]E[X]}$

Ковариацию случайной величины можно также выразить непосредственно через ожидаемое значение:

${\displaystyle \mathrm {Cov} (X,Y)=E[XY]-E[X]E[Y]}$

Если любая из случайных величин заменяется детерминированной величиной или постоянным значением ( ), предыдущие свойства остаются в силе, учитывая, что , и . ${\displaystyle k}$ ${\displaystyle E[k]=k}$ ${\displaystyle \mathrm {Var} [k]=0}$ ${\displaystyle \mathrm {Cov} [X,k]=0}$

Если определяется как общая нелинейная алгебраическая функция случайной величины , то: ${\displaystyle Z}$ ${\displaystyle f}$ ${\displaystyle X}$

${\displaystyle \mathrm {Cov} [Z,X]=\mathrm {Cov} [f(X),X]=E[Xf(X)]-E[f(X)]E[X]}$

Точное значение дисперсии нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины . ${\displaystyle X}$

Приближения с помощью разложения моментов в ряд Тейлора

Если моменты некоторой случайной величины известны (или могут быть определены путем интегрирования, если известна функция плотности вероятности ), то можно аппроксимировать ожидаемое значение любой общей нелинейной функции в виде разложения моментов в ряд Тейлора следующим образом: ${\displaystyle X}$ ${\displaystyle f(X)}$

${\displaystyle f(X)=\displaystyle \sum _{n=0}^{\infty }\displaystyle {\frac {1}{n!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }(X-\mu )^{n}}$, где — среднее значение . ${\displaystyle \mu =E[X]}$ ${\displaystyle X}$

${\displaystyle E[f(X)]=E{\biggl (}\textstyle \sum _{n=0}^{\infty }\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }(X-\mu )^{n}{\biggr )}=\displaystyle \sum _{n=0}^{\infty }\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }E[(X-\mu )^{n}]=\textstyle \sum _{n=0}^{\infty }\displaystyle {\frac {1}{n!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(X)}$, где - n -й момент относительно его среднего значения. Обратите внимание, что по их определению и . Член первого порядка всегда равен нулю, но был сохранен для получения замкнутого выражения. ${\displaystyle \mu _{n}(X)=E[(X-\mu )^{n}]}$ ${\displaystyle X}$ ${\displaystyle \mu _{0}(X)=1}$ ${\displaystyle \mu _{1}(X)=0}$

Затем,

${\displaystyle E[f(X)]\approx \textstyle \sum _{n=0}^{n_{max}}\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(X)}$, где разложение Тейлора усекается после -го момента. ${\displaystyle n_{max}}$

В частности, для функций нормальных случайных величин можно получить разложение Тейлора в терминах стандартного нормального распределения : ^[1]

${\displaystyle f(X)=\textstyle \sum _{n=0}^{\infty }\displaystyle {\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(Z)}$, где — нормальная случайная величина, а — стандартное нормальное распределение. Таким образом, ${\displaystyle X\sim N(\mu ,\sigma ^{2})}$ ${\displaystyle Z\sim N(0,1)}$

${\displaystyle E[f(X)]\approx \textstyle \sum _{n=0}^{n_{max}}\displaystyle {\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(Z)}$, где моменты стандартного нормального распределения определяются как:

${\displaystyle \mu _{n}(Z)={\begin{cases}\prod _{i=1}^{n/2}(2i-1),&{\text{if }}n{\text{ is even}}\\0,&{\text{if }}n{\text{ is odd}}\end{cases}}}$

Аналогично для нормальных случайных величин можно также аппроксимировать дисперсию нелинейной функции с помощью разложения в ряд Тейлора следующим образом:

${\displaystyle Var[f(X)]\approx \textstyle \sum _{n=1}^{n_{max}}\displaystyle {\biggl (}{\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }{\biggr )}^{2}Var[Z^{n}]+\textstyle \sum _{n=1}^{n_{max}}\displaystyle \textstyle \sum _{m\neq n}\displaystyle {\sigma ^{n+m} \over {n!m!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }{\biggl (}{d^{m}f \over dX^{m}}{\biggr )}_{X=\mu }Cov[Z^{n},Z^{m}]}$, где

${\displaystyle Var[Z^{n}]={\begin{cases}\prod _{i=1}^{n}(2i-1)-\prod _{i=1}^{n/2}(2i-1)^{2},&{\text{if }}n{\text{ is even}}\\\prod _{i=1}^{n}(2i-1),&{\text{if }}n{\text{ is odd}}\end{cases}}}$, и

${\displaystyle Cov[Z^{n},Z^{m}]={\begin{cases}\prod _{i=1}^{(n+m)/2}(2i-1)-\prod _{i=1}^{n/2}(2i-1)\prod _{j=1}^{m/2}(2j-1),&{\text{if }}n{\text{ and }}m{\text{ are even}}\\\prod _{i=1}^{(n+m)/2}(2i-1),&{\text{if }}n{\text{ and }}m{\text{ are odd}}\\0,&{\text{otherwise}}\end{cases}}}$

Алгебра комплексных случайных величин

В алгебраической аксиоматизации теории вероятностей основным понятием является не вероятность события, а случайная величина . Распределения вероятностей определяются путем присвоения математического ожидания каждой случайной величине. Измеримое пространство и мера вероятности возникают из случайных величин и ожиданий с помощью хорошо известных теорем анализа о представлении. Одной из важных особенностей алгебраического подхода является то, что, по-видимому, бесконечномерные распределения вероятностей формализовать не сложнее, чем конечномерные.

Предполагается, что случайные величины обладают следующими свойствами:

1. комплексные константы являются возможными реализациями случайной величины;
2. сумма двух случайных величин является случайной величиной;
3. произведение двух случайных величин является случайной величиной;
4. сложение и умножение случайных величин являются коммутативными ; и
5. существует понятие сопряжения случайных величин, удовлетворяющее соотношениям ( XY ) ^* = Y ^* X ^* и X ^** = X для всех случайных величин X , Y и совпадающее с комплексным сопряжением, если X — константа.

Это означает, что случайные величины образуют сложные коммутативные *-алгебры . Если X = X ^*, то случайная величина X называется «действительной».

Ожидание E на алгебре A случайных величин является нормализованным, положительным линейным функционалом . Это означает, что

1. E [ k ] = k , где k — константа;
2. E [ X ^* X ] ≥ 0 для всех случайных величин X ;
3. E [ X + Y ] = E [ X ] + E [ Y ] для всех случайных величин X и Y ; и
4. E [ kX ] = kE [ X ], если k — константа.

Можно обобщить эту установку, разрешив алгебре быть некоммутативной. Это приводит к другим областям некоммутативной вероятности, таким как квантовая вероятность , теория случайных матриц и свободная вероятность .

Смотрите также

• Взаимосвязи между распределениями вероятностей
• Распределение коэффициентов
  • Распределение Коши
  • Распределение косой черты
• Обратное распределение
• Распределение продукции
• Преобразование Меллина
• Сумма нормально распределенных случайных величин
• Список сверток распределений вероятностей – вероятностная мера суммы независимых случайных величин представляет собой свертку их вероятностных мер.
• Закон полного ожидания
• Закон полной дисперсии
• Закон полной ковариации
• Закон полной кумуляции
• Разложения Тейлора для моментов функций случайных величин
• Дельта-метод

Ссылки

1. Эрнандес, Хьюго (2016). «Моделирование эффекта флуктуации в нелинейных системах с использованием дисперсионной алгебры — применение к рассеянию света идеальными газами». ForsChem Research Reports . 2016–1. doi :10.13140/rg.2.2.36501.52969.

Дальнейшее чтение

• Уиттл, Питер (2000). Вероятность через ожидание (4-е изд.). Нью-Йорк, Нью-Йорк: Springer. ISBN 978-0-387-98955-6. Получено 24 сентября 2012 г.
• Springer, Melvin Dale (1979). Алгебра случайных величин. Wiley . ISBN 0-471-01406-0. Получено 24 сентября 2012 г.
• «Алгебра мер», Энциклопедия математики , EMS Press , 2001 [1994]