Сумма нормально распределенных случайных величин

Аспект теории вероятностей

В теории вероятностей вычисление суммы нормально распределенных случайных величин является примером арифметики случайных величин .

Это не следует путать с суммой нормальных распределений , которая образует смешанное распределение .

Независимые случайные величины

Пусть X и Y — независимые случайные величины , которые нормально распределены (а значит, и совместно), тогда их сумма также нормально распределена. то есть, если

${\displaystyle X\sim N(\mu _{X},\sigma _{X}^{2})}$

${\displaystyle Y\sim N(\mu _{Y},\sigma _{Y}^{2})}$

${\displaystyle Z=X+Y,}$

затем

${\displaystyle Z\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2}).}$

Это означает, что сумма двух независимых нормально распределенных случайных величин является нормальной, причем ее среднее значение представляет собой сумму двух средних значений, а ее дисперсия представляет собой сумму двух дисперсий (т. е. квадрат стандартного отклонения представляет собой сумму квадраты стандартных отклонений). ^[1]

Чтобы этот результат был верным, нельзя отказаться от предположения о том, что X и Y независимы, хотя его можно ослабить до предположения, что X и Y нормально распределены вместе , а не по отдельности. ^[2] ( Пример см. здесь .)

Результат о среднем значении справедлив во всех случаях, тогда как результат дисперсии требует некоррелированности, но не независимости.

Доказательства

Доказательство с использованием характеристических функций.

Характеристическая функция

${\displaystyle \varphi _{X+Y}(t)=\operatorname {E} \left(e^{it(X+Y)}\right)}$

суммы двух независимых случайных величин X и Y является просто произведением двух отдельных характеристических функций:

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{itX}\right),\qquad \varphi _{Y}(t)=\operatorname {E} \left(e^{itY}\right)}$

X и Y. _ _

Характеристическая функция нормального распределения с ожидаемым значением ц и дисперсией σ ² равна

${\displaystyle \varphi (t)=\exp \left(it\mu -{\sigma ^{2}t^{2} \over 2}\right).}$

Так

${\displaystyle {\begin{aligned}\varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)&=\exp \left(it\mu _{X}-{\sigma _{X}^{2}t^{2} \over 2}\right)\exp \left(it\mu _{Y}-{\sigma _{Y}^{2}t^{2} \over 2}\right)\\[6pt]&=\exp \left(it(\mu _{X}+\mu _{Y})-{(\sigma _{X}^{2}+\sigma _{Y}^{2})t^{2} \over 2}\right).\end{aligned}}}$

Это характеристическая функция нормального распределения с ожидаемым значением и дисперсией. ${\displaystyle \mu _{X}+\mu _{Y}}$ ${\displaystyle \sigma _{X}^{2}+\sigma _{Y}^{2}}$

Наконец, вспомните, что никакие два различных распределения не могут иметь одну и ту же характеристическую функцию, поэтому распределение X  +  Y должно быть именно этим нормальным распределением.

Доказательство с использованием сверток

Для независимых случайных величин X и Y распределение f _Z от Z = X  +  Y равно свертке f _X и f _Y :

${\displaystyle f_{Z}(z)=\int _{-\infty }^{\infty }f_{Y}(z-x)f_{X}(x)\,dx}$

Учитывая, что f _X и f _Y — нормальные плотности,

${\displaystyle {\begin{aligned}f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}e^{-(x-\mu _{X})^{2}/(2\sigma _{X}^{2})}\\[5pt]f_{Y}(y)={\mathcal {N}}(y;\mu _{Y},\sigma _{Y}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}e^{-(y-\mu _{Y})^{2}/(2\sigma _{Y}^{2})}\end{aligned}}}$

Подставляя в свертку:

${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}\exp \left[-{(z-x-\mu _{Y})^{2} \over 2\sigma _{Y}^{2}}\right]{\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}\exp \left[-{(x-\mu _{X})^{2} \over 2\sigma _{X}^{2}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z-x-\mu _{Y})^{2}+\sigma _{Y}^{2}(x-\mu _{X})^{2}}{2\sigma _{X}^{2}\sigma _{Y}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z^{2}+x^{2}+\mu _{Y}^{2}-2xz-2z\mu _{Y}+2x\mu _{Y})+\sigma _{Y}^{2}(x^{2}+\mu _{X}^{2}-2x\mu _{X})}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {x^{2}(\sigma _{X}^{2}+\sigma _{Y}^{2})-2x(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X})+\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]\end{aligned}}}$

Определение и завершение квадрата : ${\displaystyle \sigma _{Z}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}}}}$

${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {x^{2}-2x{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}+{\frac {\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}-\left({\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}+{\frac {\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{\frac {\sigma _{Z}^{2}\left(\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}\right)-\left(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}\right)^{2}}{2\sigma _{Z}^{2}\left(\sigma _{X}\sigma _{Y}\right)^{2}}}\right]{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\end{aligned}}}$

Выражение в интеграле представляет собой нормальное распределение плотности по x , поэтому интеграл равен 1. Желаемый результат следующий:

${\displaystyle f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]}$

Используя теорему о свертке

Можно показать, что преобразование Фурье гауссовой функции есть ^[3] ${\displaystyle f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})}$

${\displaystyle {\mathcal {F}}\{f_{X}\}=F_{X}(\omega )=\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]}$

По теореме о свертке :

${\displaystyle {\begin{aligned}f_{Z}(z)&=(f_{X}*f_{Y})(z)\\[5pt]&={\mathcal {F}}^{-1}{\big \{}{\mathcal {F}}\{f_{X}\}\cdot {\mathcal {F}}\{f_{Y}\}{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]\exp \left[-j\omega \mu _{Y}\right]\exp \left[-{\tfrac {\sigma _{Y}^{2}\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega (\mu _{X}+\mu _{Y})\right]\exp \left[-{\tfrac {(\sigma _{X}^{2}\ +\sigma _{Y}^{2})\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {N}}(z;\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})\end{aligned}}}$

Геометрическое доказательство

Сначала рассмотрим нормализованный случай, когда X , Y ~ N (0, 1), так что их PDF-файлы равны

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$

и

${\displaystyle g(y)={\frac {1}{\sqrt {2\pi \,}}}e^{-y^{2}/2}.}$

Пусть Z = X  +  Y. _ Тогда CDF для Z будет

${\displaystyle z\mapsto \int _{x+y\leq z}f(x)g(y)\,dx\,dy.}$

Этот интеграл находится по полуплоскости, лежащей под прямой x + y = z .

Ключевое наблюдение состоит в том, что функция

${\displaystyle f(x)g(y)={\frac {1}{2\pi }}e^{-(x^{2}+y^{2})/2}\,}$

является радиально симметричным. Итак, мы вращаем координатную плоскость вокруг начала координат, выбирая новые координаты такие, чтобы линия x + y = z описывалась уравнением где определяется геометрически. Из-за радиальной симметрии имеем , а CDF для Z равен ${\displaystyle x',y'}$ ${\displaystyle x'=c}$ ${\displaystyle c=c(z)}$ ${\displaystyle f(x)g(y)=f(x')g(y')}$

${\displaystyle \int _{x'\leq c,y'\in \mathbb {R} }f(x')g(y')\,dx'\,dy'.}$

Это легко интегрировать; мы находим, что CDF для Z равен

${\displaystyle \int _{-\infty }^{c(z)}f(x')\,dx'=\Phi (c(z)).}$

Чтобы определить значение , обратите внимание, что мы повернули плоскость так, что линия x + y = z теперь проходит вертикально с точкой пересечения x , равной c . Таким образом , c — это просто расстояние от начала координат до линии x + y = z вдоль серединного перпендикуляра, который пересекает линию в ближайшей к началу координат точке, в данном случае . Таким образом, расстояние равно , а CDF для Z равно , т.е. ${\displaystyle c(z)}$ ${\displaystyle (z/2,z/2)\,}$ ${\displaystyle c={\sqrt {(z/2)^{2}+(z/2)^{2}}}=z/{\sqrt {2}}\,}$ ${\displaystyle \Phi (z/{\sqrt {2}})}$ ${\displaystyle Z=X+Y\sim N(0,2).}$

Теперь, если a , b — любые действительные константы (не обе равны нулю), то вероятность находится с помощью того же интеграла, что и выше, но с ограничивающей линией . Работает тот же метод вращения, и в этом более общем случае мы обнаруживаем, что ближайшая точка линии к началу координат находится на расстоянии (со знаком) ${\displaystyle aX+bY\leq z}$ ${\displaystyle ax+by=z}$

${\displaystyle {\frac {z}{\sqrt {a^{2}+b^{2}}}}}$

прочь, так что

${\displaystyle aX+bY\sim N(0,a^{2}+b^{2}).}$

Тот же аргумент в более высоких измерениях показывает, что если

${\displaystyle X_{i}\sim N(0,\sigma _{i}^{2}),\qquad i=1,\dots ,n,}$

затем

${\displaystyle X_{1}+\cdots +X_{n}\sim N(0,\sigma _{1}^{2}+\cdots +\sigma _{n}^{2}).}$

Теперь мы, по сути, закончили, потому что

${\displaystyle X\sim N(\mu ,\sigma ^{2})\Leftrightarrow {\frac {1}{\sigma }}(X-\mu )\sim N(0,1).}$

В общем, если

${\displaystyle X_{i}\sim N(\mu _{i},\sigma _{i}^{2}),\qquad i=1,\dots ,n,}$

затем

${\displaystyle \sum _{i=1}^{n}a_{i}X_{i}\sim N\left(\sum _{i=1}^{n}a_{i}\mu _{i},\sum _{i=1}^{n}(a_{i}\sigma _{i})^{2}\right).}$

Коррелированные случайные величины

В случае, если переменные X и Y совместно являются нормально распределенными случайными величинами, то X  +  Y по-прежнему имеет нормальное распределение (см. Многомерное нормальное распределение ), а среднее значение представляет собой сумму средних значений. Однако дисперсии не являются аддитивными из-за корреляции. Действительно,

${\displaystyle \sigma _{X+Y}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}+2\rho \sigma _{X}\sigma _{Y}}},}$

где ρ – корреляция . В частности, всякий раз , когда ρ <0, дисперсия меньше суммы дисперсий X и Y.

Распространение этого результата может быть сделано для более чем двух случайных величин, используя ковариационную матрицу .

Доказательство

В этом случае (когда X и Y имеют нулевые средние значения) необходимо рассмотреть

${\displaystyle {\frac {1}{2\pi \sigma _{x}\sigma _{y}{\sqrt {1-\rho ^{2}}}}}\iint _{x\,y}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {x^{2}}{\sigma _{x}^{2}}}+{\frac {y^{2}}{\sigma _{y}^{2}}}-{\frac {2\rho xy}{\sigma _{x}\sigma _{y}}}\right)\right]\delta (z-(x+y))\,\mathrm {d} x\,\mathrm {d} y.}$

Как и выше, делается замена ${\displaystyle y\rightarrow z-x}$

Этот интеграл сложнее упростить аналитически, но его можно легко выполнить с помощью программы символьной математики. Распределение вероятностей f _Z ( z ) в этом случае определяется выражением

${\displaystyle f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{+}}}\exp \left(-{\frac {z^{2}}{2\sigma _{+}^{2}}}\right)}$

где

${\displaystyle \sigma _{+}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}+2\rho \sigma _{x}\sigma _{y}}}.}$

Если вместо этого рассмотреть Z = X  −  Y , то получим

${\displaystyle f_{Z}(z)={\frac {1}{\sqrt {2\pi (\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}}\exp \left(-{\frac {z^{2}}{2(\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}\right)}$

который также можно переписать с помощью

${\displaystyle \sigma _{X-Y}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y}}}.}$

Стандартные отклонения каждого распределения очевидны при сравнении со стандартным нормальным распределением.

Рекомендации

1. Лемонс, Дон С. (2002), Введение в случайные процессы в физике , Издательство Университета Джона Хопкинса, стр. 34, ISBN 0-8018-6866-1
2. Лимоны (2002), стр. 35–36.
3. Дерпанис, Константинос Г. (20 октября 2005 г.). «Преобразование Фурье гауссианы» (PDF) .

Смотрите также

• Распространение неопределенности
• Алгебра случайных величин
• Стабильное распространение
• Стандартная ошибка (статистика)
• Распределение соотношения
• Распространение продукции
• Слэш-распределение
• Список сверток вероятностных распределений