Сумма нормально распределенных случайных величин

Аспект теории вероятностей

В теории вероятностей вычисление суммы нормально распределенных случайных величин является примером арифметики случайных величин .

Это не следует путать с суммой нормальных распределений , которая образует смешанное распределение .

Независимые случайные величины

Пусть X и Y — независимые случайные величины , которые распределены нормально (и, следовательно, также совместно), тогда их сумма также распределена нормально. т.е. если

${\displaystyle X\sim N(\mu _{X},\sigma _{X}^{2})}$

${\displaystyle Y\sim N(\mu _{Y},\sigma _{Y}^{2})}$

${\displaystyle Z=X+Y,}$

затем

${\displaystyle Z\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2}).}$

Это означает, что сумма двух независимых нормально распределенных случайных величин является нормальной, причем ее среднее значение равно сумме двух средних значений, а ее дисперсия равна сумме двух дисперсий (т. е. квадрат стандартного отклонения равен сумме квадратов стандартных отклонений). ^[1]

Для того чтобы этот результат имел место, предположение о независимости X и Y не может быть отброшено, хотя его можно ослабить до предположения о том, что X и Y совместно , а не по отдельности, нормально распределены. [ ^2] (См . пример здесь .)

Результат относительно среднего значения справедлив во всех случаях, тогда как результат относительно дисперсии требует некоррелированности, но не независимости.

Доказательства

Доказательство с использованием характеристических функций

Характеристическая функция

${\displaystyle \varphi _{X+Y}(t)=\operatorname {E} \left(e^{it(X+Y)}\right)}$

суммы двух независимых случайных величин X и Y есть просто произведение двух отдельных характеристических функций:

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{itX}\right),\qquad \varphi _{Y}(t)=\operatorname {E} \left(e^{itY}\right)}$

из X и Y.​

Характеристическая функция нормального распределения с ожидаемым значением μ и дисперсией σ ² имеет вид

${\displaystyle \varphi (t)=\exp \left(it\mu -{\sigma ^{2}t^{2} \over 2}\right).}$

Так

${\displaystyle {\begin{aligned}\varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)&=\exp \left(it\mu _{X}-{\sigma _{X}^{2}t^{2} \over 2}\right)\exp \left(it\mu _{Y}-{\sigma _{Y}^{2}t^{2} \over 2}\right)\\[6pt]&=\exp \left(it(\mu _{X}+\mu _{Y})-{(\sigma _{X}^{2}+\sigma _{Y}^{2})t^{2} \over 2}\right).\end{aligned}}}$

Это характеристическая функция нормального распределения с ожидаемым значением и дисперсией. ${\displaystyle \mu _{X}+\mu _{Y}}$ ${\displaystyle \sigma _{X}^{2}+\sigma _{Y}^{2}}$

Наконец, напомним, что никакие два различных распределения не могут иметь одну и ту же характеристическую функцию, поэтому распределение X  +  Y должно быть именно этим нормальным распределением.

Доказательство с использованием сверток

_{Для независимых} случайных величин X и Y распределение f _Z Z = X  +  Y равно свертке f X и f _Y :

${\displaystyle f_{Z}(z)=\int _{-\infty }^{\infty }f_{Y}(z-x)f_{X}(x)\,dx}$

Учитывая, что f _X и f _Y — нормальные плотности,

${\displaystyle {\begin{aligned}f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}e^{-(x-\mu _{X})^{2}/(2\sigma _{X}^{2})}\\[5pt]f_{Y}(y)={\mathcal {N}}(y;\mu _{Y},\sigma _{Y}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}e^{-(y-\mu _{Y})^{2}/(2\sigma _{Y}^{2})}\end{aligned}}}$

Подставим в свертку:

${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}\exp \left[-{(z-x-\mu _{Y})^{2} \over 2\sigma _{Y}^{2}}\right]{\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}\exp \left[-{(x-\mu _{X})^{2} \over 2\sigma _{X}^{2}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z-x-\mu _{Y})^{2}+\sigma _{Y}^{2}(x-\mu _{X})^{2}}{2\sigma _{X}^{2}\sigma _{Y}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z^{2}+x^{2}+\mu _{Y}^{2}-2xz-2z\mu _{Y}+2x\mu _{Y})+\sigma _{Y}^{2}(x^{2}+\mu _{X}^{2}-2x\mu _{X})}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {x^{2}(\sigma _{X}^{2}+\sigma _{Y}^{2})-2x(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X})+\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]\end{aligned}}}$

Определение и завершение квадрата : ${\displaystyle \sigma _{Z}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}}}}$

${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {x^{2}-2x{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}+{\frac {\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}-\left({\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}+{\frac {\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{\frac {\sigma _{Z}^{2}\left(\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}\right)-\left(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}\right)^{2}}{2\sigma _{Z}^{2}\left(\sigma _{X}\sigma _{Y}\right)^{2}}}\right]{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\end{aligned}}}$

Выражение в интеграле представляет собой нормальное распределение плотности по x , поэтому интеграл равен 1. Требуемый результат следующий:

${\displaystyle f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]}$

Используятеорема о свертке

Можно показать, что преобразование Фурье гауссовой функции равно ^[3] ${\displaystyle f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})}$

${\displaystyle {\mathcal {F}}\{f_{X}\}=F_{X}(\omega )=\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]}$

По теореме о свертке :

${\displaystyle {\begin{aligned}f_{Z}(z)&=(f_{X}*f_{Y})(z)\\[5pt]&={\mathcal {F}}^{-1}{\big \{}{\mathcal {F}}\{f_{X}\}\cdot {\mathcal {F}}\{f_{Y}\}{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]\exp \left[-j\omega \mu _{Y}\right]\exp \left[-{\tfrac {\sigma _{Y}^{2}\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega (\mu _{X}+\mu _{Y})\right]\exp \left[-{\tfrac {(\sigma _{X}^{2}\ +\sigma _{Y}^{2})\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {N}}(z;\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})\end{aligned}}}$

Геометрическое доказательство

Сначала рассмотрим нормализованный случай, когда X , Y ~ N (0, 1), так что их плотности вероятности равны

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$

и

${\displaystyle g(y)={\frac {1}{\sqrt {2\pi \,}}}e^{-y^{2}/2}.}$

Пусть Z = X  +  Y. Тогда CDF для Z будет

${\displaystyle z\mapsto \int _{x+y\leq z}f(x)g(y)\,dx\,dy.}$

Этот интеграл берется по полуплоскости, лежащей под прямой x + y = z .

Ключевое наблюдение заключается в том, что функция

${\displaystyle f(x)g(y)={\frac {1}{2\pi }}e^{-(x^{2}+y^{2})/2}\,}$

является радиально симметричной. Поэтому мы вращаем координатную плоскость вокруг начала координат, выбирая новые координаты так, чтобы линия x + y = z описывалась уравнением , где определяется геометрически. Из-за радиальной симметрии мы имеем , а CDF для Z равна ${\displaystyle x',y'}$ ${\displaystyle x'=c}$ ${\displaystyle c=c(z)}$ ${\displaystyle f(x)g(y)=f(x')g(y')}$

${\displaystyle \int _{x'\leq c,y'\in \mathbb {R} }f(x')g(y')\,dx'\,dy'.}$

Это легко интегрировать; мы обнаруживаем, что CDF для Z равен

${\displaystyle \int _{-\infty }^{c(z)}f(x')\,dx'=\Phi (c(z)).}$

Чтобы определить значение , обратите внимание, что мы повернули плоскость так, что линия x + y = z теперь проходит вертикально с точкой пересечения с осью x, равной c . Таким образом, c — это просто расстояние от начала координат до линии x + y = z вдоль перпендикуляра к середине, который пересекает линию в ее ближайшей к началу координат точке, в данном случае . Таким образом, расстояние равно , а CDF для Z равна , т. е. ${\displaystyle c(z)}$ ${\displaystyle (z/2,z/2)\,}$ ${\displaystyle c={\sqrt {(z/2)^{2}+(z/2)^{2}}}=z/{\sqrt {2}}\,}$ ${\displaystyle \Phi (z/{\sqrt {2}})}$ ${\displaystyle Z=X+Y\sim N(0,2).}$

Теперь, если a , b являются любыми действительными константами (не обе равны нулю), то вероятность того, что находится тем же интегралом, что и выше, но с ограничивающей линией . Тот же метод вращения работает, и в этом более общем случае мы обнаруживаем, что ближайшая точка на линии к началу координат расположена на (знаковом) расстоянии ${\displaystyle aX+bY\leq z}$ ${\displaystyle ax+by=z}$

${\displaystyle {\frac {z}{\sqrt {a^{2}+b^{2}}}}}$

прочь, так что

${\displaystyle aX+bY\sim N(0,a^{2}+b^{2}).}$

Тот же аргумент в более высоких измерениях показывает, что если

${\displaystyle X_{i}\sim N(0,\sigma _{i}^{2}),\qquad i=1,\dots ,n,}$

затем

${\displaystyle X_{1}+\cdots +X_{n}\sim N(0,\sigma _{1}^{2}+\cdots +\sigma _{n}^{2}).}$

Теперь мы, по сути, закончили, потому что

${\displaystyle X\sim N(\mu ,\sigma ^{2})\Leftrightarrow {\frac {1}{\sigma }}(X-\mu )\sim N(0,1).}$

Итак, в общем, если

${\displaystyle X_{i}\sim N(\mu _{i},\sigma _{i}^{2}),\qquad i=1,\dots ,n,}$

затем

${\displaystyle \sum _{i=1}^{n}a_{i}X_{i}\sim N\left(\sum _{i=1}^{n}a_{i}\mu _{i},\sum _{i=1}^{n}(a_{i}\sigma _{i})^{2}\right).}$

Коррелированные случайные величины

В случае, если переменные X и Y являются совместно нормально распределенными случайными величинами, то X  +  Y по-прежнему распределены нормально (см. Многомерное нормальное распределение ), а среднее значение является суммой средних значений. Однако дисперсии не являются аддитивными из-за корреляции. Действительно,

${\displaystyle \sigma _{X+Y}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}+2\rho \sigma _{X}\sigma _{Y}}},}$

где ρ — корреляция . В частности, всякий раз, когда ρ < 0, дисперсия меньше суммы дисперсий X и Y.

Расширения этого результата можно сделать для более чем двух случайных величин, используя ковариационную матрицу .

Доказательство

В этом случае (когда X и Y имеют нулевые средние значения) необходимо рассмотреть

${\displaystyle {\frac {1}{2\pi \sigma _{x}\sigma _{y}{\sqrt {1-\rho ^{2}}}}}\iint _{x\,y}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {x^{2}}{\sigma _{x}^{2}}}+{\frac {y^{2}}{\sigma _{y}^{2}}}-{\frac {2\rho xy}{\sigma _{x}\sigma _{y}}}\right)\right]\delta (z-(x+y))\,\mathrm {d} x\,\mathrm {d} y.}$

Как и выше, делаем замену ${\displaystyle y\rightarrow z-x}$

Этот интеграл сложнее упростить аналитически, но его можно легко сделать с помощью программы символической математики. Распределение вероятностей f _Z ( z ) в этом случае задается как

${\displaystyle f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{+}}}\exp \left(-{\frac {z^{2}}{2\sigma _{+}^{2}}}\right)}$

где

${\displaystyle \sigma _{+}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}+2\rho \sigma _{x}\sigma _{y}}}.}$

Если вместо этого рассмотреть Z = X  −  Y , то получим

${\displaystyle f_{Z}(z)={\frac {1}{\sqrt {2\pi (\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}}\exp \left(-{\frac {z^{2}}{2(\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}\right)}$

который также может быть переписан с помощью

${\displaystyle \sigma _{X-Y}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y}}}.}$

Стандартные отклонения каждого распределения очевидны при сравнении со стандартным нормальным распределением.

Ссылки

1. Лемонс, Дон С. (2002), Введение в стохастические процессы в физике , Издательство Университета Джонса Хопкинса, стр. 34, ISBN 0-8018-6866-1
2. Лимоны (2002) стр. 35–36
3. Дерпанис, Константинос Г. (20 октября 2005 г.). «Преобразование Фурье гауссовой функции» (PDF) .

Смотрите также

• Распространение неопределенности
• Алгебра случайных величин
• Стабильное распределение
• Стандартная ошибка (статистика)
• Распределение коэффициентов
• Распределение продукции
• Распределение косой черты
• Список сверток распределений вероятностей