Нормальное распределение

В статистике нормальное распределение или распределение Гаусса — это тип непрерывного распределения вероятностей для вещественной случайной величины . Общий вид его функции плотности вероятности :

f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}

Параметр — это среднее или ожидание распределения (а также его медиана и мода ), а параметр — его стандартное отклонение . Дисперсия распределения равна . Случайная величина с распределением Гаусса называется нормально распределенной и называется нормальным отклонением . $\mu$ $\sigma$ $\sigma ^{2}$

Нормальные распределения важны в статистике и часто используются в естественных и социальных науках для представления действительных случайных величин , распределение которых неизвестно. ^[2]^[3] Их важность частично обусловлена центральной предельной теоремой . Он утверждает, что при некоторых условиях среднее значение многих выборок (наблюдений) случайной величины с конечным средним значением и дисперсией само по себе является случайной величиной, распределение которой сходится к нормальному распределению по мере увеличения количества выборок. Следовательно, физические величины, которые, как ожидается, будут суммой многих независимых процессов, таких как ошибки измерения , часто имеют распределение, близкое к нормальному. ^[4]

Более того, гауссовы распределения обладают некоторыми уникальными свойствами, которые ценны в аналитических исследованиях. Например, любая линейная комбинация фиксированного набора независимых нормальных отклонений является нормальным отклонением. Многие результаты и методы, такие как распространение неопределенности и подбор параметров методом наименьших квадратов ^[5] , могут быть получены аналитически в явной форме, когда соответствующие переменные имеют нормальное распределение.

Нормальное распределение иногда неофициально называют колоколообразной кривой . ^[6] Однако многие другие распределения имеют колоколообразную форму (например , распределение Коши , распределение Стьюдента и логистическое распределение). Другие имена см. в разделе «Именование» .

Одномерное распределение вероятностей обобщено для векторов многомерного нормального распределения и для матриц матричного нормального распределения .

Определения

Стандартное нормальное распределение

Простейший случай нормального распределения известен как стандартное нормальное распределение или единичное нормальное распределение . Это частный случай, когда и , и он описывается этой функцией плотности вероятности (или плотностью): $\mu =0$ $\sigma =1$

\varphi (z)={\frac {e^{-z^{2}/2}}{\sqrt {2\pi }}}.

Переменная имеет среднее значение 0, а дисперсию и стандартное отклонение 1. Плотность имеет пик и точки перегиба при и . $z$ $\varphi (z)$ $1/{\sqrt {2\pi }}$ $z=0$ $z=+1$ $z=-1$

Хотя приведенная выше плотность чаще всего известна как стандартное нормальное распределение, некоторые авторы использовали этот термин для описания других версий нормального распределения. Карл Фридрих Гаусс , например, однажды определил стандартную норму как

\varphi (z)={\frac {e^{-z^{2}}}{\sqrt {\pi }}},

который имеет дисперсию 1/2, а Стивен Стиглер ^[7] однажды определил стандартную норму как

\varphi (z)=e^{-\pi z^{2}},

который имеет простую функциональную форму и дисперсию $\sigma ^{2}=1/(2\pi ).$

Общее нормальное распределение

Каждое нормальное распределение является версией стандартного нормального распределения, область определения которого была растянута на коэффициент (стандартное отклонение), а затем преобразована на (среднее значение): $\sigma$ $\mu$

f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sigma }}\varphi \left({\frac {x-\mu }{\sigma }}\right)

Плотность вероятности должна быть масштабирована так , чтобы интеграл по-прежнему был равен 1. $1/\sigma$

Если это стандартное нормальное отклонение , то оно будет иметь нормальное распределение с ожидаемым значением и стандартным отклонением . Это эквивалентно утверждению, что стандартное нормальное распределение можно масштабировать/растягивать в раз и сдвигать, чтобы получить другое нормальное распределение, называемое . И наоборот, если это нормальное отклонение с параметрами и , то это распределение можно масштабировать и сдвигать с помощью формулы , чтобы преобразовать его в стандартное нормальное распределение. Эту вариацию также называют стандартизированной формой . $Z$ $X=\sigma Z+\mu$ $\mu$ $\sigma$ $Z$ $\sigma$ $\mu$ $X$ $X$ $\mu$ $\sigma ^{2}$ $X$ $Z=(X-\mu )/\sigma$ $X$

Обозначения

Плотность вероятности стандартного распределения Гаусса (стандартное нормальное распределение с нулевым средним и единичной дисперсией) часто обозначается греческой буквой ( фи ). ^[8] Альтернативная форма греческой буквы «фи» также используется довольно часто. $\varphi$ $\varphi$

Нормальное распределение часто называют или . ^[9] Таким образом, когда случайная величина нормально распределяется со средним и стандартным отклонением , можно написать $N(\mu ,\sigma ^{2})$ ${\mathcal {N}}(\mu ,\sigma ^{2})$ $X$ $\mu$ $\sigma$

X\sim {\mathcal {N}}(\mu ,\sigma ^{2}).

Альтернативные параметризации

Некоторые авторы выступают за использование точности в качестве параметра, определяющего ширину распределения, вместо отклонения или дисперсии . Точность обычно определяется как величина, обратная дисперсии . ^[10] Тогда формула распределения принимает вид $\tau$ $\sigma$ $\sigma ^{2}$ $1/\sigma ^{2}$

f(x)={\sqrt {\frac {\tau }{2\pi }}}e^{-\tau (x-\mu )^{2}/2}.

Утверждается, что этот выбор имеет преимущества в числовых вычислениях, когда значение очень близко к нулю, и упрощает формулы в некоторых контекстах, например, при байесовском выводе переменных с многомерным нормальным распределением . $\sigma$

Альтернативно, обратная величина стандартного отклонения может быть определена как точность , и в этом случае выражение нормального распределения принимает вид $\tau '=1/\sigma$

f(x)={\frac {\tau '}{\sqrt {2\pi }}}e^{-(\tau ')^{2}(x-\mu )^{2}/2}.

По мнению Стиглера, эта формулировка выгодна тем, что она гораздо проще и легче запоминается, а также имеет простые приближенные формулы для квантилей распределения .

Нормальные распределения образуют экспоненциальное семейство с натуральными параметрами и и естественной статистикой x и x ² . Параметрами двойного ожидания для нормального распределения являются η ₁ = µ и η ₂ = µ ² + σ ² . $\textstyle \theta _{1}={\frac {\mu }{\sigma ^{2}}}$ $\textstyle \theta _{2}={\frac {-1}{2\sigma ^{2}}}$

Кумулятивная функция распределения

Кумулятивная функция распределения (CDF) стандартного нормального распределения, обычно обозначаемая заглавной греческой буквой ( фи ), представляет собой интеграл $\Phi$

\Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-t^{2}/2}\,dt

Функция ошибки

Соответствующая функция ошибок дает вероятность случайной величины с нормальным распределением среднего значения 0 и дисперсией 1/2, попадающими в диапазон . То есть: $\operatorname {erf} (x)$ $[-x,x]$

\operatorname {erf} (x)={\frac {1}{\sqrt {\pi }}}\int _{-x}^{x}e^{-t^{2}}\,dt={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt

Эти интегралы не могут быть выражены через элементарные функции, и их часто называют специальными функциями . Однако известно множество численных приближений; подробнее см. ниже.

Эти две функции тесно связаны, а именно

\Phi (x)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x}{\sqrt {2}}}\right)\right]

Для общего нормального распределения с плотностью , средним значением и отклонением кумулятивная функция распределения равна $f$ $\mu$ $\sigma$

F(x)=\Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]

Дополнение стандартной нормальной функции кумулятивного распределения часто называют Q-функцией , особенно в инженерных текстах. ^[11]^[12] Он дает вероятность того, что значение стандартной нормальной случайной величины превысит : . Другие определения -функции , все из которых являются простыми преобразованиями , также иногда используются. ^[13] $Q(x)=1-\Phi (x)$ $X$ $x$ $P(X>x)$ $Q$ $\Phi$

График стандартной нормальной кумулятивной функции распределения имеет 2-кратную вращательную симметрию вокруг точки (0,1/2); то есть, . Его первообразную (неопределенный интеграл) можно выразить следующим образом: $\Phi$ $\Phi (-x)=1-\Phi (x)$

\int \Phi (x)\,dx=x\Phi (x)+\varphi (x)+C.

Кумулятивную функцию распределения стандартного нормального распределения можно расширить путем интегрирования по частям в ряд:

\Phi (x)={\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\cdot e^{-x^{2}/2}\left[x+{\frac {x^{3}}{3}}+{\frac {x^{5}}{3\cdot 5}}+\cdots +{\frac {x^{2n+1}}{(2n+1)!!}}+\cdots \right]

где обозначает двойной факториал . $!!$

Асимптотическое разложение кумулятивной функции распределения при больших x также можно получить с помощью интегрирования по частям. Дополнительную информацию см. в разделе Функция ошибки#Асимптотическое расширение . ^[14]

Быстрое приближение к кумулятивной функции распределения стандартного нормального распределения можно найти с помощью аппроксимации рядом Тейлора:

\Phi (x)\approx {\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\sum _{k=0}^{n}{\frac {(-1)^{k}x^{(2k+1)}}{2^{k}k!(2k+1)}}

Рекурсивные вычисления с разложением в ряд Тейлора

Рекурсивная природа семейства производных может использоваться для легкого построения быстро сходящегося разложения в ряд Тейлора с использованием рекурсивных записей о любой точке известного значения распределения : $e^{ax^{2}}$ $\Phi (x_{0})$

\Phi (x)=\sum _{n=0}^{\infty }{\frac {\Phi ^{(n)}(x_{0})}{n!}}(x-x_{0})^{n}

где:

{\begin{aligned}\Phi ^{(0)}(x_{0})&={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x_{0}}e^{-t^{2}/2}\,dt\\\Phi ^{(1)}(x_{0})&={\frac {1}{\sqrt {2\pi }}}e^{-x_{0}^{2}/2}\\\Phi ^{(n)}(x_{0})&=-\left(x_{0}\Phi ^{(n-1)}(x_{0})+(n-2)\Phi ^{(n-2)}(x_{0})\right),&n\geq 2\end{aligned}}

Использование ряда Тейлора и метода Ньютона для обратной функции

Применение вышеприведенного разложения в ряд Тейлора состоит в использовании метода Ньютона для обратного вычисления. То есть, если у нас есть значение кумулятивной функции распределения , , но мы не знаем x, необходимый для получения , мы можем использовать метод Ньютона, чтобы найти x, и использовать приведенное выше разложение в ряд Тейлора, чтобы минимизировать количество вычислений. Метод Ньютона идеально подходит для решения этой проблемы, поскольку первая производная от , которая является интегралом нормального стандартного распределения, является нормальным стандартным распределением и легко доступна для использования в решении метода Ньютона. $\Phi (x)$ $\Phi (x)$ $\Phi (x)$

Для решения выберите известное приближенное решение, , к искомому . может быть значением из таблицы распределения или интеллектуальной оценкой, за которой следует вычисление с использованием любых желаемых средств вычисления. Используйте это значение и приведенное выше разложение в ряд Тейлора, чтобы минимизировать вычисления. $x_{0}$ $\Phi (x)$ $x_{0}$ $\Phi (x_{0})$ $x_{0}$

Повторяйте следующий процесс до тех пор, пока разница между вычисленным и желаемым значением , которую мы назовем , не станет ниже выбранной приемлемо небольшой ошибки, такой как 10 ^-5 , 10 ^-15 и т. д.: $\Phi (x_{n})$ $\Phi$ $\Phi ({\text{desired}})$

x_{n+1}=x_{n}-{\frac {\Phi (x_{n},x_{0},\Phi (x_{0}))-\Phi ({\text{desired}})}{\Phi '(x_{n})}}

где

\Phi (x,x_{0},\Phi (x_{0}))

является решением ряда Тейлора с использованием и

\Phi (x)

x_{0}

\Phi (x_{0})

\Phi '(x)={\frac {1}{\sqrt {2\pi }}}e^{-x^{2}/2}

Когда повторные вычисления сходятся к ошибке ниже выбранного приемлемо малого значения, x будет значением, необходимым для получения желаемого значения . $\Phi (x)$ $\Phi ({\text{desired}})$

Стандартное отклонение и охват

Около 68% значений, полученных из нормального распределения, находятся в пределах одного стандартного отклонения σ от среднего значения; около 95% значений лежат в пределах двух стандартных отклонений; и около 99,7% находятся в пределах трех стандартных отклонений. ^[6] Этот факт известен как правило 68-95-99,7 (эмпирическое) или правило 3-х сигм .

Точнее, вероятность того, что нормальное отклонение находится в диапазоне между и определяется выражением $\mu -n\sigma$ $\mu +n\sigma$

F(\mu +n\sigma )-F(\mu -n\sigma )=\Phi (n)-\Phi (-n)=\operatorname {erf} \left({\frac {n}{\sqrt {2}}}\right).

^{До 12}^{значащих} цифр ^{значения} : $n=1,2,\ldots ,6$

Для больших можно использовать приближение . $n$ $1-p\approx {\frac {e^{-n^{2}/2}}{n{\sqrt {\pi /2}}}}$

Квантильная функция

Квантильная функция распределения является обратной кумулятивной функции распределения. Квантильная функция стандартного нормального распределения называется пробит-функцией и может быть выражена через обратную функцию ошибок :

\Phi ^{-1}(p)={\sqrt {2}}\operatorname {erf} ^{-1}(2p-1),\quad p\in (0,1).

Для нормальной случайной величины со средним значением и дисперсией функция квантиля равна $\mu$ $\sigma ^{2}$

F^{-1}(p)=\mu +\sigma \Phi ^{-1}(p)=\mu +\sigma {\sqrt {2}}\operatorname {erf} ^{-1}(2p-1),\quad p\in (0,1).

Квантиль стандартного нормального распределения обычно обозначается как . Эти значения используются при проверке гипотез , построении доверительных интервалов и графиков Q–Q . Обычная случайная величина с вероятностью превысит интервал и с вероятностью окажется вне интервала . В частности, квантиль равен 1,96 ; поэтому нормальная случайная величина будет лежать вне интервала только в 5% случаев. $\Phi ^{-1}(p)$ $z_{p}$ $X$ $\mu +z_{p}\sigma$ $1-p$ $\mu \pm z_{p}\sigma$ $2(1-p)$ $z_{0.975}$ $\mu \pm 1.96\sigma$

В следующей таблице приведены квантиль , который будет лежать в диапазоне с указанной вероятностью . Эти значения полезны для определения интервала допуска для выборочных средних и других статистических оценок с нормальным (или асимптотически нормальным) распределением. ^[15] В следующей таблице показаны значения, отличные от указанных выше. $z_{p}$ $X$ $\mu \pm z_{p}\sigma$ $p$ ${\sqrt {2}}\operatorname {erf} ^{-1}(p)=\Phi ^{-1}\left({\frac {p+1}{2}}\right)$ $\Phi ^{-1}(p)$

Для малых функция квантиля имеет ^{полезное}асимптотическое ^{разложение}^. $p$ $\Phi ^{-1}(p)=-{\sqrt {\ln {\frac {1}{p^{2}}}-\ln \ln {\frac {1}{p^{2}}}-\ln(2\pi )}}+{\mathcal {o}}(1).$

Характеристики

Нормальное распределение — единственное распределение, кумулянты которого помимо первых двух (т. е. кроме среднего и дисперсии ) равны нулю. Это также непрерывное распределение с максимальной энтропией для заданного среднего значения и дисперсии. ^[16]^[17] Гири показал, предполагая, что среднее значение и дисперсия конечны, что нормальное распределение является единственным распределением, в котором среднее значение и дисперсия, рассчитанные на основе набора независимых розыгрышей, независимы друг от друга. ^[18]^[19]

Нормальное распределение является подклассом эллиптических распределений . Нормальное распределение симметрично относительно своего среднего значения и не равно нулю на всей реальной линии. По существу, она может оказаться не подходящей моделью для переменных, которые по своей сути являются положительными или сильно искаженными, например, вес человека или цена акции . Такие переменные могут быть лучше описаны другими распределениями, такими как логарифмически нормальное распределение или распределение Парето .

Значение нормального распределения практически равно нулю, если оно находится более чем на несколько стандартных отклонений от среднего значения (например, разброс в три стандартных отклонения покрывает все, кроме 0,27% общего распределения). Следовательно, это может быть неподходящая модель, когда ожидается значительная доля выбросов (значений, которые отклоняются на много стандартных отклонений от среднего значения), а методы наименьших квадратов и другие методы статистического вывода , которые оптимальны для нормально распределенных переменных, часто становятся крайне ненадежными при их применении. к таким данным. В таких случаях следует предположить более тяжелое распределение и применить соответствующие надежные статистические методы вывода. $x$

Распределение Гаусса принадлежит к семейству стабильных распределений , которые являются аттракторами сумм независимых, одинаково распределенных распределений, независимо от того, конечны ли среднее значение или дисперсия. За исключением гауссова распределения, которое является предельным случаем, все стабильные распределения имеют тяжелые хвосты и бесконечную дисперсию. Это одно из немногих распределений, которые стабильны и имеют функции плотности вероятности, которые могут быть выражены аналитически (остальные распределения — это распределение Коши и распределение Леви ).

Симметрии и производные

Нормальное распределение с плотностью (среднее и стандартное отклонение ) имеет следующие свойства: $f(x)$ $\mu$ $\sigma >0$

Оно симметрично относительно точки, которая одновременно является модой , медианой и средним значением распределения. ^[20] $x=\mu ,$
Он унимодальный : его первая производная положительна при отрицательных значениях и равна нулю только при $x<\mu ,$ $x>\mu ,$ $x=\mu .$
Площадь, ограниченная кривой и осью -, равна единице (т.е. равна единице). $x$
Его первая производная $f'(x)=-{\frac {x-\mu }{\sigma ^{2}}}f(x).$
Его вторая производная $f''(x)={\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{4}}}f(x).$
Его плотность имеет две точки перегиба (где вторая производная равна нулю и меняет знак), расположенные на одно стандартное отклонение от среднего значения, а именно при и ^[20] $f$ $x=\mu -\sigma$ $x=\mu +\sigma .$
Его плотность логарифмически вогнутая . ^[20]
Его плотность бесконечно дифференцируема и даже сверхгладкая второго порядка. ^[21]

Кроме того, плотность стандартного нормального распределения (т.е. и ) также обладает следующими свойствами: $\varphi$ $\mu =0$ $\sigma =1$

Его первая производная $\varphi '(x)=-x\varphi (x).$
Его вторая производная $\varphi ''(x)=(x^{2}-1)\varphi (x)$
В более общем смысле, его $n$ -я производная равна где n $-$ й (вероятностный) полином Эрмита . ^[22] $\varphi ^{(n)}(x)=(-1)^{n}\operatorname {He} _{n}(x)\varphi (x),$ $\operatorname {He} _{n}(x)$
Вероятность того, что нормально распределенная переменная известна и находится в определенном наборе, можно вычислить, используя тот факт, что дробь имеет стандартное нормальное распределение. $X$ $\mu$ $\sigma$ $Z=(X-\mu )/\sigma$

Моменты

Простой и абсолютный моменты переменной — это ожидаемые значения и соответственно. Если ожидаемое значение равно нулю, эти параметры называются центральными моментами; в противном случае эти параметры называются нецентральными моментами. Обычно нас интересуют только моменты целого порядка . $X$ $X^{p}$ $|X|^{p}$ $\mu$ $X$ $\ p$

Если распределение нормальное, нецентральные моменты существуют и конечны для любого , чья действительная часть больше -1. Для любого неотрицательного целого числа простыми центральными моментами являются: ^[23] $X$ $p$ $p$

\operatorname {E} \left[(X-\mu )^{p}\right]={\begin{cases}0&{\text{if }}p{\text{ is odd,}}\\\sigma ^{p}(p-1)!!&{\text{if }}p{\text{ is even.}}\end{cases}}

Здесь обозначается двойной факториал , то есть произведение всех чисел от до 1, имеющих ту же четность, что и $n!!$ $n$ $n.$

Центральные абсолютные моменты совпадают с простыми моментами для всех четных порядков, но отличны от нуля для нечетных порядков. Для любого неотрицательного целого числа $p,$

{\begin{aligned}\operatorname {E} \left[|X-\mu |^{p}\right]&=\sigma ^{p}(p-1)!!\cdot {\begin{cases}{\sqrt {\frac {2}{\pi }}}&{\text{if }}p{\text{ is odd}}\\1&{\text{if }}p{\text{ is even}}\end{cases}}\\&=\sigma ^{p}\cdot {\frac {2^{p/2}\Gamma \left({\frac {p+1}{2}}\right)}{\sqrt {\pi }}}.\end{aligned}}

Последняя формула справедлива также для любых нецелых чисел. Когда среднее значение простого и абсолютного моментов может быть выражено через вырожденные гипергеометрические функции и ^[24] $p>-1.$ $\mu \neq 0,$ ${}_{1}F_{1}$ $U.$

{\begin{aligned}\operatorname {E} \left[X^{p}\right]&=\sigma ^{p}\cdot (-i{\sqrt {2}})^{p}U\left(-{\frac {p}{2}},{\frac {1}{2}},-{\frac {1}{2}}\left({\frac {\mu }{\sigma }}\right)^{2}\right),\\\operatorname {E} \left[|X|^{p}\right]&=\sigma ^{p}\cdot 2^{p/2}{\frac {\Gamma \left({\frac {1+p}{2}}\right)}{\sqrt {\pi }}}{}_{1}F_{1}\left(-{\frac {p}{2}},{\frac {1}{2}},-{\frac {1}{2}}\left({\frac {\mu }{\sigma }}\right)^{2}\right).\end{aligned}}

Эти выражения остаются действительными, даже если число не является целым числом. См. также обобщенные полиномы Эрмита . $p$

Ожидание обусловленного событием, находящимся в интервале, определяется выражением $X$ $X$ $[a,b]$

\operatorname {E} \left[X\mid a<X<b\right]=\mu -\sigma ^{2}{\frac {f(b)-f(a)}{F(b)-F(a)}}

где и соответственно – плотность и кумулятивная функция распределения . Это известно как обратное соотношение Миллса . Обратите внимание, что выше плотность используется вместо стандартной нормальной плотности, как в обратном соотношении Миллса, поэтому здесь вместо . $f$ $F$ $X$ $b=\infty$ $f$ $X$ $\sigma ^{2}$ $\sigma$

Преобразование Фурье и характеристическая функция

Преобразование Фурье нормальной плотности со средним и стандартным отклонением имеет вид ^[25] $f$ $\mu$ $\sigma$

{\hat {f}}(t)=\int _{-\infty }^{\infty }f(x)e^{-itx}\,dx=e^{-i\mu t}e^{-{\frac {1}{2}}(\sigma t)^{2}}

где мнимая единица . Если среднее значение первый коэффициент равен 1, а преобразование Фурье, помимо постоянного коэффициента, представляет собой нормальную плотность в частотной области со средним значением 0 и стандартным отклонением . В частности, стандартное нормальное распределение является собственной функцией преобразования Фурье. $i$ $\mu =0$ $1/\sigma$ $\varphi$

В теории вероятностей преобразование Фурье распределения вероятностей вещественной случайной величины тесно связано с характеристической функцией этой переменной, которая определяется как ожидаемое значение , как функция действительной переменной ( частотный параметр преобразование Фурье). Это определение можно аналитически распространить на переменную с комплексным значением . ^[26] Связь между ними такова: $X$ $\varphi _{X}(t)$ $e^{itX}$ $t$ $t$

\varphi _{X}(t)={\hat {f}}(-t)

Функции, генерирующие момент и кумулянт

Момент производящей функцией реальной случайной величины является ожидаемое значение как функция реального параметра . Для нормального распределения с плотностью , средним значением и отклонением производящая функция момента существует и равна $X$ $e^{tX}$ $t$ $f$ $\mu$ $\sigma$

M(t)=\operatorname {E} \left[e^{tX}\right]={\hat {f}}(it)=e^{\mu t}e^{\sigma ^{2}t^{2}/2}

Кумулянтная производящая функция представляет собой логарифм производящей функции момента, а именно

g(t)=\ln M(t)=\mu t+{\tfrac {1}{2}}\sigma ^{2}t^{2}

Поскольку это квадратичный полином от , только первые два кумулянта ненулевые, а именно среднее значение и дисперсия . $t$ $\mu$ $\sigma ^{2}$

Некоторые авторы предпочитают вместо этого работать с $E[e itX] = e iμt - σ 2 t 2 /2$ и $ln E[ e itX ] = iμt −.mw-parser-output .sfrac{white-space:nowrap}.mw-parser-output .sfrac.tion,.mw-parser-output .sfrac .tion{display:inline-block;vertical-align:-0.5em;font-size:85%;text-align:center}.mw-parser-output .sfrac .num,.mw-parser-output .sfrac .den{display:block;line-height:1em;margin:0 0.1em}.mw-parser-output .sfrac .den{border-top:1px solid}.mw-parser-output .sr-only{border:0;clip:rect(0,0,0,0);height:1px;margin:-1px;overflow:hidden;padding:0;position:absolute;width:1px}1/2σ 2 т 2$ .

Оператор и класс Штейна

В рамках метода Штейна оператором Штейна и классом случайной величины являются класс всех абсолютно непрерывных функций . $X\sim {\mathcal {N}}(\mu ,\sigma ^{2})$ ${\mathcal {A}}f(x)=\sigma ^{2}f'(x)-(x-\mu )f(x)$ ${\mathcal {F}}$ $f:\mathbb {R} \to \mathbb {R} {\mbox{ such that }}\mathbb {E} [|f'(X)|]<\infty$

Предел нулевой дисперсии

В пределе , когда стремится к нулю, плотность вероятности со временем стремится к нулю при любом , но неограниченно растет, если , а ее интеграл остается равным 1. Поэтому нормальное распределение не может быть определено как обычная функция при . $\sigma$ $f(x)$ $x\neq \mu$ $x=\mu$ $\sigma =0$

Однако можно определить нормальное распределение с нулевой дисперсией как обобщенную функцию ; в частности, как дельта-функция Дирака, переведенная средним значением , то есть ее кумулятивная функция распределения тогда представляет собой ступенчатую функцию Хевисайда, переведенную средним значением , а именно $\delta$ $\mu$ $f(x)=\delta (x-\mu ).$ $\mu$

F(x)={\begin{cases}0&{\text{if }}x<\mu \\1&{\text{if }}x\geq \mu \end{cases}}

Максимальная энтропия

Из всех вероятностных распределений по действительным числам с заданным конечным средним значением и конечной дисперсией нормальное распределение имеет максимальную энтропию . ^[27] Чтобы убедиться в этом, пусть – непрерывная случайная величина с плотностью вероятности . Энтропия определяется как ^[28]^[29]^[30] $\mu$ $\sigma ^{2}$ $N(\mu ,\sigma ^{2})$ $X$ $f(x)$ $X$

H(X)=-\int _{-\infty }^{\infty }f(x)\ln f(x)\,dx

где понимается как ноль всякий раз, когда . Этот функционал можно максимизировать при условии, что распределение правильно нормализовано и имеет заданное среднее значение и дисперсию, с помощью вариационного исчисления . Определена функция с тремя множителями Лагранжа : $f(x)\log f(x)$ $f(x)=0$

L=-\int _{-\infty }^{\infty }f(x)\ln f(x)\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }f(x)\,dx\right)-\lambda _{1}\left(\mu -\int _{-\infty }^{\infty }f(x)x\,dx\right)-\lambda _{2}\left(\sigma ^{2}-\int _{-\infty }^{\infty }f(x)(x-\mu )^{2}\,dx\right)\,.

При максимальной энтропии небольшое изменение около приведет к изменению , равному 0: $\delta f(x)$ $f(x)$ $\delta L$ $L$

0=\delta L=\int _{-\infty }^{\infty }\delta f(x)\left(-\ln f(x)-1+\lambda _{0}+\lambda _{1}x+\lambda _{2}(x-\mu )^{2}\right)\,dx

Поскольку это должно выполняться для любого малого , коэффициент умножения должен быть равен нулю, а решение дает выход: $\delta f(x)$ $\delta f(x)$ $f(x)$

f(x)=\exp \left(-1+\lambda _{0}+\lambda _{1}x+\lambda _{2}(x-\mu )^{2}\right)\,.

Ограничения Лагранжа, которые правильно нормализованы и имеют заданное среднее значение и дисперсию, удовлетворяются тогда и только тогда, когда , и выбраны так, что $f(x)$ $\lambda _{0}$ $\lambda _{1}$ $\lambda _{2}$

f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\,.

Энтропия нормального распределения равна $X\sim N(\mu ,\sigma ^{2})$

H(X)={\tfrac {1}{2}}(1+\ln 2\sigma ^{2}\pi )\,,

который не зависит от среднего . $\mu$

Другие объекты недвижимости

Если характеристическая функция некоторой случайной величины имеет вид , где – многочлен , то теорема Марцинкевича (названная в честь Юзефа Марцинкевича ) утверждает, что она может быть не более чем квадратичным многочленом и, следовательно, является нормальной случайной величиной. ^[31] Следствием этого результата является то, что нормальное распределение является единственным распределением с конечным числом (двумя) ненулевых кумулянтов . $\phi _{X}$ $X$ $\phi _{X}(t)=\exp Q(t)$ $Q(t)$ $Q$ $X$
Если и совместно нормальны и некоррелированы , то они независимы . Требование о том, что и должно быть в целом нормальным, имеет важное значение; без этого имущество не сохраняется. ^[32]^[33]^{[доказательство]} Для ненормальных случайных величин некоррелированность не означает независимости. $X$ $Y$ $X$ $Y$
Отличие Кульбака – Лейблера одного нормального распределения от другого определяется формулой: ^[34] $X_{1}\sim N(\mu _{1},\sigma _{1}^{2})$ $X_{2}\sim N(\mu _{2},\sigma _{2}^{2})$ $D_{\mathrm {KL} }(X_{1}\parallel X_{2})={\frac {(\mu _{1}-\mu _{2})^{2}}{2\sigma _{2}^{2}}}+{\frac {1}{2}}\left({\frac {\sigma _{1}^{2}}{\sigma _{2}^{2}}}-1-\ln {\frac {\sigma _{1}^{2}}{\sigma _{2}^{2}}}\right)$ Расстояние Хеллингера между одинаковыми распределениями равно $H^{2}(X_{1},X_{2})=1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\exp \left(-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}\right)$
Информационная матрица Фишера для нормального распределения относительно и является диагональной и принимает вид $\mu$ $\sigma ^{2}$ ${\mathcal {I}}(\mu ,\sigma ^{2})={\begin{pmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2\sigma ^{4}}}\end{pmatrix}}$
Сопряженное априорное значение нормального распределения является еще одним нормальным распределением. ^[35] В частности, если iid и априорное значение равно , то апостериорное распределение для средства оценки будет равно $x_{1},\ldots ,x_{n}$ $\sim N(\mu ,\sigma ^{2})$ $\mu \sim N(\mu _{0},\sigma _{0}^{2})$ $\mu$ $\mu \mid x_{1},\ldots ,x_{n}\sim {\mathcal {N}}\left({\frac {{\frac {\sigma ^{2}}{n}}\mu _{0}+\sigma _{0}^{2}{\bar {x}}}{{\frac {\sigma ^{2}}{n}}+\sigma _{0}^{2}}},\left({\frac {n}{\sigma ^{2}}}+{\frac {1}{\sigma _{0}^{2}}}\right)^{-1}\right)$
Семейство нормальных распределений не только образует экспоненциальное семейство (EF), но фактически образует естественное экспоненциальное семейство (NEF) с квадратичной функцией дисперсии ( NEF-QVF ). Многие свойства нормальных распределений обобщаются на свойства распределений NEF-QVF, распределений NEF или распределений EF в целом. Распределения NEF-QVF включают 6 семейств, включая распределения Пуассона, гамма, биномиальные и отрицательные биномиальные, в то время как многие из распространенных семейств, изучаемых в области вероятности и статистики, представляют собой NEF или EF.
В информационной геометрии семейство нормальных распределений образует статистическое многообразие постоянной кривизны . Это же семейство плоско относительно (±1)-связностей и . ^[36] $-1$ $\nabla ^{(e)}$ $\nabla ^{(m)}$

Связанные дистрибутивы

Центральная предельная теорема

По мере увеличения количества дискретных событий функция начинает напоминать нормальное распределение.

Центральная предельная теорема утверждает, что при определенных (довольно распространенных) условиях сумма многих случайных величин будет иметь приблизительно нормальное распределение. Более конкретно, где находятся независимые и одинаково распределенные случайные величины с одинаковым произвольным распределением, нулевым средним значением и дисперсией , и является ли их среднее масштабированием по формуле $X_{1},\ldots ,X_{n}$ $\sigma ^{2}$ $Z$ ${\sqrt {n}}$

Z={\sqrt {n}}\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)

Затем по мере увеличения распределение вероятностей будет стремиться к нормальному распределению с нулевым средним и дисперсией . $n$ $Z$ $\sigma ^{2}$

Теорему можно распространить на переменные , которые не являются независимыми и/или неодинаково распределенными, если наложены определенные ограничения на степень зависимости и моменты распределений. $(X_{i})$

Многие тестовые статистики , баллы и оценки, встречающиеся на практике, содержат в себе суммы определенных случайных величин, и еще больше оценок можно представить в виде сумм случайных величин за счет использования функций влияния . Центральная предельная теорема подразумевает, что эти статистические параметры будут иметь асимптотически нормальное распределение.

Центральная предельная теорема также подразумевает, что некоторые распределения могут быть аппроксимированы нормальным распределением, например:

Биномиальное распределение примерно нормальное со средним значением и дисперсией для больших и не слишком близких к 0 или 1. $B(n,p)$ $np$ $np(1-p)$ $n$ $p$
Распределение Пуассона с параметром приблизительно нормально со средним значением и дисперсией для больших значений . ^[37] $\lambda$ $\lambda$ $\lambda$ $\lambda$
Распределение хи-квадрат примерно нормальное со средним значением и дисперсией для больших . $\chi ^{2}(k)$ $k$ $2k$ $k$
Распределение Стьюдента примерно нормальное со средним значением 0 и дисперсией 1, когда оно велико. $t(\nu )$ $\nu$

Достаточно ли точны эти приближения, зависит от цели, для которой они необходимы, и скорости сходимости к нормальному распределению. Обычно такие аппроксимации менее точны в хвостах распределения.

Общая верхняя оценка погрешности аппроксимации в центральной предельной теореме дается теоремой Берри–Эссеена , улучшения аппроксимации даются разложениями Эджворта .

Эту теорему можно также использовать для обоснования моделирования суммы многих источников однородного шума как гауссова шума . См. AWGN .

Операции и функции обычных переменных

Плотность вероятности , кумулятивное распределение и обратное кумулятивное распределение любой функции одной или нескольких независимых или коррелированных нормальных переменных можно вычислить с помощью численного метода трассировки лучей ^[38] (код Matlab). В следующих разделах мы рассмотрим некоторые особые случаи.

Операции с одной нормальной переменной

Если распределяется нормально со средним значением и дисперсией , то $X$ $\mu$ $\sigma ^{2}$

$aX+b$ , для любых действительных чисел и , также имеет нормальное распределение со средним и стандартным отклонением . То есть семейство нормальных распределений замкнуто относительно линейных преобразований . $a$ $b$ $a\mu +b$ $|a|\sigma$
Экспонента распределена логарифмически нормально : . $X$ $e^{X}\sim \ln(N(\mu ,\sigma ^{2}))$
Абсолютное значение имеет нормальное распределение : . Если это известно как полунормальное распределение . $X$ ${\left|X\right|\sim N_{f}(\mu ,\sigma ^{2})}$ $\mu =0$
Абсолютное значение нормированных остатков , имеет распределение хи с одной степенью свободы: . $|X-\mu |/\sigma$ $|X-\mu |/\sigma \sim \chi _{1}$
Квадрат имеет нецентральное распределение хи-квадрат с одной степенью свободы: . Если , то распределение называется просто хи-квадрат . $X/\sigma$ ${\textstyle X^{2}/\sigma ^{2}\sim \chi _{1}^{2}(\mu ^{2}/\sigma ^{2})}$ $\mu =0$
Логарифмическое правдоподобие нормальной переменной — это просто лог ее функции плотности вероятности : $x$ $\ln p(x)=-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}-\ln \left(\sigma {\sqrt {2\pi }}\right).$ Поскольку это масштабированный и сдвинутый квадрат стандартной нормальной переменной, он распределяется как масштабированная и сдвинутая переменная хи-квадрат .
Распределение переменной, ограниченное интервалом, называется усеченным нормальным распределением . $X$ $[a,b]$
$(X-\mu )^{-2}$ имеет распределение Леви с местоположением 0 и масштабом . $\sigma ^{-2}$

Операции над двумя независимыми нормальными переменными

Если и являются двумя независимыми нормальными случайными величинами со средними значениями и стандартными отклонениями , то их сумма также будет нормально распределена, ^{[доказательство]} со средним значением и дисперсией . $X_{1}$ $X_{2}$ $\mu _{1}$ $\mu _{2}$ $\sigma _{1}$ $\sigma _{2}$ $X_{1}+X_{2}$ $\mu _{1}+\mu _{2}$ $\sigma _{1}^{2}+\sigma _{2}^{2}$
В частности, если и являются независимыми нормальными отклонениями с нулевым средним значением и дисперсией , то и также являются независимыми и нормально распределенными с нулевым средним значением и дисперсией . Это частный случай поляризационного тождества . ^[39] $X$ $Y$ $\sigma ^{2}$ $X+Y$ $X-Y$ $2\sigma ^{2}$
Если , — два независимых нормальных отклонения со средним значением и отклонением , и , — произвольные действительные числа, то переменная $X_{1}$ $X_{2}$ $\mu$ $\sigma$ $a$ $b$ $X_{3}={\frac {aX_{1}+bX_{2}-(a+b)\mu }{\sqrt {a^{2}+b^{2}}}}+\mu$ также нормально распределяется со средним значением и отклонением . Отсюда следует, что нормальное распределение устойчиво (с показателем ). $\mu$ $\sigma$ $\alpha =2$
Если , являются нормальными распределениями, то их нормализованное среднее геометрическое является нормальным распределением с и (см. здесь визуализацию). $X_{k}\sim {\mathcal {N}}(m_{k},\sigma _{k}^{2})$ $k\in \{0,1\}$ ${\frac {1}{\int _{\mathbb {R} ^{n}}X_{0}^{\alpha }(x)X_{1}^{1-\alpha }(x)\,{\text{d}}x}}X_{0}^{\alpha }X_{1}^{1-\alpha }$ ${\mathcal {N}}(m_{\alpha },\sigma _{\alpha }^{2})$ $m_{\alpha }={\frac {\alpha m_{0}\sigma _{1}^{2}+(1-\alpha )m_{1}\sigma _{0}^{2}}{\alpha \sigma _{1}^{2}+(1-\alpha )\sigma _{0}^{2}}}$ $\sigma _{\alpha }^{2}={\frac {\sigma _{0}^{2}\sigma _{1}^{2}}{\alpha \sigma _{1}^{2}+(1-\alpha )\sigma _{0}^{2}}}$

Операции над двумя независимыми стандартными нормальными переменными

Если и являются двумя независимыми стандартными нормальными случайными величинами со средним значением 0 и дисперсией 1, то $X_{1}$ $X_{2}$

Их сумма и разность распределяются нормально со средним нулевым значением и дисперсией два: . $X_{1}\pm X_{2}\sim {\mathcal {N}}(0,2)$
Их продукт соответствует распределению продуктов ^[40] с функцией плотности где – модифицированная функция Бесселя второго рода . Это распределение симметрично относительно нуля, неограничено при и имеет характеристическую функцию . $Z=X_{1}X_{2}$ $f_{Z}(z)=\pi ^{-1}K_{0}(|z|)$ $K_{0}$ $z=0$ $\phi _{Z}(t)=(1+t^{2})^{-1/2}$
Их соотношение соответствует стандартному распределению Коши : . $X_{1}/X_{2}\sim \operatorname {Cauchy} (0,1)$
Их евклидова норма имеет распределение Рэлея . ${\sqrt {X_{1}^{2}+X_{2}^{2}}}$

Операции с несколькими независимыми нормальными переменными

Любая линейная комбинация независимых нормальных отклонений является нормальным отклонением.
Если являются независимыми стандартными нормальными случайными величинами, то сумма их квадратов имеет распределение хи-квадрат со степенями свободы. $X_{1},X_{2},\ldots ,X_{n}$ $n$ $X_{1}^{2}+\cdots +X_{n}^{2}\sim \chi _{n}^{2}.$
Если это независимые нормально распределенные случайные величины со средними значениями и дисперсиями , то их выборочное среднее не зависит от выборочного стандартного отклонения ^[41] , что можно продемонстрировать с помощью теоремы Басу или теоремы Кокрана . ^[42] Отношение этих двух величин будет иметь t-распределение Стьюдента со степенями свободы: $X_{1},X_{2},\ldots ,X_{n}$ $\mu$ $\sigma ^{2}$ $n-1$ $t={\frac {{\overline {X}}-\mu }{S/{\sqrt {n}}}}={\frac {{\frac {1}{n}}(X_{1}+\cdots +X_{n})-\mu }{\sqrt {{\frac {1}{n(n-1)}}\left[(X_{1}-{\overline {X}})^{2}+\cdots +(X_{n}-{\overline {X}})^{2}\right]}}}\sim t_{n-1}.$
Если , являются независимыми стандартными нормальными случайными величинами, то отношение их нормированных сумм квадратов будет иметь F-распределение с $($ $n$ $,$ $m$ $)$ степенями свободы: ^[43] $X_{1},X_{2},\ldots ,X_{n}$ $Y_{1},Y_{2},\ldots ,Y_{m}$ $F={\frac {\left(X_{1}^{2}+X_{2}^{2}+\cdots +X_{n}^{2}\right)/n}{\left(Y_{1}^{2}+Y_{2}^{2}+\cdots +Y_{m}^{2}\right)/m}}\sim F_{n,m}.$

Операции с несколькими коррелирующими нормальными переменными

Квадратичная форма нормального вектора, то есть квадратичная функция нескольких независимых или коррелированных нормальных переменных, является обобщенной переменной хи-квадрат . ${\textstyle q=\sum x_{i}^{2}+\sum x_{j}+c}$

Действия над функцией плотности

Расщепленное нормальное распределение наиболее четко определяется с точки зрения объединения масштабированных участков функций плотности различных нормальных распределений и изменения масштаба плотности для интегрирования в одну. Усеченное нормальное распределение получается в результате изменения масштаба части одной функции плотности.

Бесконечная делимость и теорема Крамера

Для любого положительного целого числа любое нормальное распределение со средним значением и дисперсией представляет собой распределение суммы независимых нормальных отклонений, каждое из которых имеет среднее значение и дисперсию . Это свойство называется бесконечной делимостью . ^[44] ${\text{n}}$ $\mu$ $\sigma ^{2}$ ${\text{n}}$ ${\frac {\mu }{n}}$ ${\frac {\sigma ^{2}}{n}}$

И наоборот, если и являются независимыми случайными величинами и их сумма имеет нормальное распределение, то обе и должны быть нормальными отклонениями. ^[45] $X_{1}$ $X_{2}$ $X_{1}+X_{2}$ $X_{1}$ $X_{2}$

Этот результат известен как теорема Крамера о разложении и эквивалентен утверждению, что свертка двух распределений является нормальной тогда и только тогда, когда оба распределения нормальны. Теорема Крамера подразумевает, что линейная комбинация независимых негауссовских переменных никогда не будет иметь точно нормальное распределение, хотя она может приближаться к нему сколь угодно близко. ^[31]

Теорема Бернштейна

Теорема Бернштейна утверждает, что если и независимы и и также независимы, то и X , и Y обязательно должны иметь нормальное распределение. ^[46]^[47] $X$ $Y$ $X+Y$ $X-Y$

В более общем смысле, если являются независимыми случайными величинами, то две различные линейные комбинации и будут независимыми тогда и только тогда, когда все они нормальны и , где обозначает дисперсию . ^[46] $X_{1},\ldots ,X_{n}$ ${\textstyle \sum {a_{k}X_{k}}}$ ${\textstyle \sum {b_{k}X_{k}}}$ $X_{k}$ ${\textstyle \sum {a_{k}b_{k}\sigma _{k}^{2}=0}}$ $\sigma _{k}^{2}$ $X_{k}$

Расширения

Понятие нормального распределения, являющегося одним из наиболее важных распределений в теории вероятностей, вышло далеко за рамки стандартных рамок одномерного (то есть одномерного) случая (случай 1). Все эти расширения также называются нормальными или гауссовскими законами, поэтому существует определенная двусмысленность в названиях.

Многомерное нормальное распределение описывает закон Гаусса в k -мерном евклидовом пространстве . Вектор X ∈ R ^k называется многомерно нормально распределенным, если любая линейная комбинация его компонент Σ^к
_{j =1}a _j X _j имеет (одномерное) нормальное распределение. Дисперсия X представляет собой k×k симметричнуюположительно определенную матрицу V. Многомерное нормальное распределение является частным случаем эллиптических распределений . Таким образом, его локусы изоплотности в случае k = 2 представляют собой эллипсы , а в случае произвольного k — эллипсоиды .
Выпрямленное распределение Гаусса - исправленная версия нормального распределения, в которой все отрицательные элементы сброшены до 0.
Комплексное нормальное распределение имеет дело с комплексными нормальными векторами. Комплексный вектор X ∈ Ck называется нормальным, если его действительная и мнимая компоненты совместно обладают 2k ^- мерным многомерным нормальным распределением. Ковариационно-дисперсионная структура X описывается двумя матрицами: матрицей дисперсии Γ и матрицей отношений C .
Нормальное распределение матриц описывает случай нормально распределенных матриц.
Гауссовы процессы — это нормально распределенные случайные процессы . Их можно рассматривать как элементы некоторого бесконечномерного гильбертова пространства H и, таким образом, они являются аналогами многомерных нормальных векторов для случая k = ∞ . Случайный элемент h ∈ H называется нормальным, если для любой константы a ∈ H скалярное произведение ( a , h ) имеет (одномерное) нормальное распределение. Дисперсионную структуру такого гауссовского случайного элемента можно описать с помощью линейного ковариационного оператора K: H → H. Некоторые гауссовские процессы стали достаточно популярными, чтобы иметь собственные названия:
Гауссово q-распределение — это абстрактная математическая конструкция, представляющая собой q-аналог нормального распределения.
q -гауссиан является аналогом распределения Тсаллиса в том смысле, что он максимизирует энтропию Тсаллиса , и является одним из типов распределения Тсаллиса . Это распределение отличается от приведенного выше гауссова q-распределения .
Распределение Каниадакиса κ-Гаусса является обобщением распределения Гаусса, которое возникает из статистики Каниадакиса , являющейся одним из распределений Каниадакиса .

Случайная величина X имеет нормальное распределение, состоящее из двух частей, если она имеет распределение

f_{X}(x)=N(\mu ,\sigma _{1}^{2}){\text{ if }}x\leq \mu

f_{X}(x)=N(\mu ,\sigma _{2}^{2}){\text{ if }}x\geq \mu

где μ — среднее значение, а σ ₁ и σ ₂ — стандартные отклонения распределения слева и справа от среднего значения соответственно.

Среднее значение, дисперсия и третий центральный момент этого распределения были определены ^[48]

\operatorname {E} (X)=\mu +{\sqrt {\frac {2}{\pi }}}(\sigma _{2}-\sigma _{1})

\operatorname {V} (X)=\left(1-{\frac {2}{\pi }}\right)(\sigma _{2}-\sigma _{1})^{2}+\sigma _{1}\sigma _{2}

\operatorname {T} (X)={\sqrt {\frac {2}{\pi }}}(\sigma _{2}-\sigma _{1})\left[\left({\frac {4}{\pi }}-1\right)(\sigma _{2}-\sigma _{1})^{2}+\sigma _{1}\sigma _{2}\right]

где E( X ), V( X ) и T( X ) — среднее значение, дисперсия и третий центральный момент соответственно.

Одним из основных практических применений закона Гаусса является моделирование эмпирических распределений множества различных случайных величин, встречающихся на практике. В таком случае возможным расширением будет более богатое семейство распределений, имеющее более двух параметров и, следовательно, способное более точно соответствовать эмпирическому распределению. Примеры таких расширений:

Распределение Пирсона — семейство вероятностных распределений с четырьмя параметрами, которые расширяют нормальный закон, включив в него различные значения асимметрии и эксцесса.
Обобщенное нормальное распределение , также известное как экспоненциальное степенное распределение, допускает хвосты распределения с более толстыми или более тонкими асимптотическим поведением.

Статистические выводы

Оценка параметров

Часто мы не знаем параметров нормального распределения, но вместо этого хотим их оценить . То есть, имея выборку из нормальной популяции, мы хотели бы узнать примерные значения параметров и . Стандартным подходом к этой проблеме является метод максимального правдоподобия , который требует максимизации логарифмической функции правдоподобия : $(x_{1},\ldots ,x_{n})$ ${\mathcal {N}}(\mu ,\sigma ^{2})$ $\mu$ $\sigma ^{2}$

\ln {\mathcal {L}}(\mu ,\sigma ^{2})=\sum _{i=1}^{n}\ln f(x_{i}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi )-{\frac {n}{2}}\ln \sigma ^{2}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.

Взятие производных по и решение полученной системы условий первого порядка дает оценки максимального правдоподобия : $\mu$ $\sigma ^{2}$

{\hat {\mu }}={\overline {x}}\equiv {\frac {1}{n}}\sum _{i=1}^{n}x_{i},\qquad {\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}.

Дальше дело обстоит следующим образом: $\ln {\mathcal {L}}({\hat {\mu }},{\hat {\sigma }}^{2})$

\ln {\mathcal {L}}({\hat {\mu }},{\hat {\sigma }}^{2})=(-n/2)[log(2\pi {\hat {\sigma }}^{2})+1]

Выборочное среднее

Оценщик называется выборочным средним , поскольку он представляет собой среднее арифметическое всех наблюдений. Статистика является полной и достаточной для и, следовательно , по теореме Лемана-Шеффе является несмещенной оценкой с равномерно минимальной дисперсией (UMVU). ^[49] В конечных выборках он распределяется нормально: $\textstyle {\hat {\mu }}$ $\textstyle {\overline {x}}$ $\mu$ $\textstyle {\hat {\mu }}$

{\hat {\mu }}\sim {\mathcal {N}}(\mu ,\sigma ^{2}/n).

Дисперсия этой оценки равна µμ -элементу обратной информационной матрицы Фишера . Это означает, что оценка эффективна для конечной выборки . Практическое значение имеет тот факт, что стандартная ошибка пропорциональна , т. е. для уменьшения стандартной ошибки в 10 раз необходимо увеличить количество точек в выборке в 100 раз. Этот факт имеет практическое значение. широко используется при определении размера выборки для опросов общественного мнения и количества испытаний в симуляциях Монте-Карло . $\textstyle {\mathcal {I}}^{-1}$ $\textstyle {\hat {\mu }}$ $\textstyle 1/{\sqrt {n}}$

С точки зрения асимптотической теории , является состоятельным , то есть сходится по вероятности к as . Оценка также асимптотически нормальна , что является простым следствием того факта, что она нормальна в конечных выборках: $\textstyle {\hat {\mu }}$ $\mu$ $n\rightarrow \infty$

{\sqrt {n}}({\hat {\mu }}-\mu )\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\sigma ^{2}).

Выборочная дисперсия

Оценщик называется выборочной дисперсией , поскольку это дисперсия выборки ( ). На практике вместо оценщика часто используется другой оценщик . Эта другая оценка обозначается и также называется выборочной дисперсией , что представляет собой определенную двусмысленность в терминологии; его квадратный корень называется выборочным стандартным отклонением . Оценка отличается наличием ( n − 1) вместо n в знаменателе (так называемая поправка Бесселя ): $\textstyle {\hat {\sigma }}^{2}$ $(x_{1},\ldots ,x_{n})$ $\textstyle {\hat {\sigma }}^{2}$ $s^{2}$ $s$ $s^{2}$ $\textstyle {\hat {\sigma }}^{2}$

s^{2}={\frac {n}{n-1}}{\hat {\sigma }}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}.

Разница между и становится пренебрежимо малой для больших n . Однако в конечных выборках мотивация использования заключается в том, что это несмещенная оценка основного параметра , тогда как она является смещенной. Кроме того, по теореме Лемана-Шеффе оценка является равномерно несмещенной с минимальной дисперсией ( UMVU ), ^[49] , что делает ее «лучшей» оценкой среди всех несмещенных. Однако можно показать, что смещенная оценка лучше, чем оценка с точки зрения критерия среднеквадратической ошибки (MSE). В конечных выборках оба и имеют масштабированное распределение хи-квадрат с ( n - 1) степенями свободы: $s^{2}$ $\textstyle {\hat {\sigma }}^{2}$ $s^{2}$ $\sigma ^{2}$ $\textstyle {\hat {\sigma }}^{2}$ $s^{2}$ $\textstyle {\hat {\sigma }}^{2}$ $s^{2}$ $s^{2}$ $\textstyle {\hat {\sigma }}^{2}$

s^{2}\sim {\frac {\sigma ^{2}}{n-1}}\cdot \chi _{n-1}^{2},\qquad {\hat {\sigma }}^{2}\sim {\frac {\sigma ^{2}}{n}}\cdot \chi _{n-1}^{2}.

Первое из этих выражений показывает, что дисперсия равна , что несколько больше σσ -элемента обратной информационной матрицы Фишера . Таким образом, не является эффективной оценкой для и более того, поскольку является UMVU, мы можем заключить, что эффективная оценка для конечной выборки не существует. $s^{2}$ $2\sigma ^{4}/(n-1)$ $\textstyle {\mathcal {I}}^{-1}$ $s^{2}$ $\sigma ^{2}$ $s^{2}$ $\sigma ^{2}$

Применяя асимптотическую теорию, обе оценки и являются согласованными, то есть сходятся по вероятности к размеру выборки . Обе оценки также асимптотически нормальны: $s^{2}$ $\textstyle {\hat {\sigma }}^{2}$ $\sigma ^{2}$ $n\rightarrow \infty$

{\sqrt {n}}({\hat {\sigma }}^{2}-\sigma ^{2})\simeq {\sqrt {n}}(s^{2}-\sigma ^{2})\,{\xrightarrow {d}}\,{\mathcal {N}}(0,2\sigma ^{4}).

В частности, обе оценки асимптотически эффективны для . $\sigma ^{2}$

Доверительные интервалы

По теореме Кохрана для нормальных распределений выборочное среднее и выборочная дисперсия s2 независимы , а это означает ^,что не может быть никакой выгоды от рассмотрения их совместного распределения . Существует также обратная теорема: если в выборке выборочное среднее и выборочная дисперсия независимы, то выборка должна иметь нормальное распределение. Независимость между и s можно использовать для построения так называемой t-статистики : $\textstyle {\hat {\mu }}$ $\textstyle {\hat {\mu }}$

t={\frac {{\hat {\mu }}-\mu }{s/{\sqrt {n}}}}={\frac {{\overline {x}}-\mu }{\sqrt {{\frac {1}{n(n-1)}}\sum (x_{i}-{\overline {x}})^{2}}}}\sim t_{n-1}

Эта величина t имеет t-распределение Стьюдента с ( n − 1) степенями свободы и является вспомогательной статистикой (независимой от значения параметров). Инвертирование распределения этой t -статистики позволит нам построить доверительный интервал для μ ; ^[50] аналогично, инвертирование распределения χ ² статистики s ² даст нам доверительный интервал для σ ² : ^[51]

\mu \in \left[{\hat {\mu }}-t_{n-1,1-\alpha /2}{\frac {1}{\sqrt {n}}}s,{\hat {\mu }}+t_{n-1,1-\alpha /2}{\frac {1}{\sqrt {n}}}s\right],

\sigma ^{2}\in \left[{\frac {(n-1)s^{2}}{\chi _{n-1,1-\alpha /2}^{2}}},{\frac {(n-1)s^{2}}{\chi _{n-1,\alpha /2}^{2}}}\right],

где t _k,p и χ 2
к,п являются p ^- ми квантилями t- и χ2 - распределений соответственно. Эти доверительные интервалы имеют уровень доверия 1 - α , что означает, что истинные значения µ и σ ² выходят за пределы этих интервалов с вероятностью (или уровнем значимости ) α . На практике люди обычно принимают α = 5% , что приводит к доверительным интервалам 95%.

Приближенные формулы можно вывести из асимптотических распределений и s ² : $\textstyle {\hat {\mu }}$

\mu \in \left[{\hat {\mu }}-|z_{\alpha /2}|{\frac {1}{\sqrt {n}}}s,{\hat {\mu }}+|z_{\alpha /2}|{\frac {1}{\sqrt {n}}}s\right],

\sigma ^{2}\in \left[s^{2}-|z_{\alpha /2}|{\frac {\sqrt {2}}{\sqrt {n}}}s^{2},s^{2}+|z_{\alpha /2}|{\frac {\sqrt {2}}{\sqrt {n}}}s^{2}\right],

Приближенные формулы становятся справедливыми при больших значениях n и более удобны для ручного расчета, поскольку стандартные нормальные квантили _zα / ₂ не зависят от n . В частности, наиболее популярное значение α = 5% приводит к | г _0,025 | = 1,96 .

Тесты на нормальность

Критерии нормальности оценивают вероятность того, что данный набор данных { x ₁ , ..., x _n } имеет нормальное распределение. Обычно нулевая гипотеза H ₀ заключается в том, что наблюдения распределяются нормально с неопределенным средним значением µ и дисперсией σ ² , в отличие от альтернативы H _a , согласно которой распределение является произвольным. Для решения этой проблемы было разработано множество тестов (более 40). Наиболее известные из них представлены ниже:

Диагностические графики более интуитивно привлекательны, но в то же время субъективны, поскольку они полагаются на неформальное человеческое суждение при принятии или отклонении нулевой гипотезы.

График Q–Q , также известный как график нормальной вероятности или график ранкита , представляет собой график отсортированных значений из набора данных в сравнении с ожидаемыми значениями соответствующих квантилей из стандартного нормального распределения. То есть это график точек вида (Φ ⁻¹ ( p _k ), x _{( k )} ), где точки построения p _k равны p _k = ( k − α )/( n + 1 − 2 α ) и α — константа корректировки, которая может принимать любое значение от 0 до 1. Если нулевая гипотеза верна, нанесенные точки должны примерно лежать на прямой линии.
График P-P - аналогичен графику Q-Q, но используется гораздо реже. Этот метод заключается в нанесении точек (Φ( z _{( k )} ), p _k ), где . Для нормально распределенных данных этот график должен лежать на линии под углом 45° между (0, 0) и (1, 1). $\textstyle z_{(k)}=(x_{(k)}-{\hat {\mu }})/{\hat {\sigma }}$

Тесты на соответствие :

Моментные тесты :

Критерий Д'Агостино К-квадрат
Тест Жарка-Бера
Критерий Шапиро-Уилка : основан на том факте, что линия на графике Q-Q имеет наклон σ . Тест сравнивает оценку этого наклона методом наименьших квадратов со значением выборочной дисперсии и отклоняет нулевую гипотезу, если эти две величины значительно различаются.

Тесты, основанные на эмпирической функции распределения :

Тест Андерсона-Дарлинга
Тест Лиллифорса (адаптация теста Колмогорова-Смирнова )

Байесовский анализ нормального распределения

Байесовский анализ нормально распределенных данных осложняется множеством различных возможностей, которые можно учитывать:

Фиксированной величиной можно считать либо среднее значение, либо дисперсию, либо ни то, ни другое.
Когда дисперсия неизвестна, анализ можно проводить непосредственно с точки зрения дисперсии или с точки зрения точности , обратной дисперсии. Причина выражения формул с точки зрения точности состоит в том, что анализ большинства случаев упрощается.
Необходимо учитывать как одномерные, так и многомерные случаи.
Неизвестным переменным могут быть присвоены как сопряженные , так и неправильные априорные распределения .
Дополнительный набор случаев возникает в байесовской линейной регрессии , где в базовой модели предполагается, что данные нормально распределены, а к коэффициентам регрессии ставятся нормальные априорные значения . Итоговый анализ аналогичен базовым случаям независимых одинаково распределенных данных.

Формулы для случаев нелинейной регрессии обобщены в сопряженной предыдущей статье.

Сумма двух квадратичных дробей

Скалярная форма

Следующая вспомогательная формула полезна для упрощения уравнений апостериорного обновления, которые в противном случае становятся довольно утомительными.

a(x-y)^{2}+b(x-z)^{2}=(a+b)\left(x-{\frac {ay+bz}{a+b}}\right)^{2}+{\frac {ab}{a+b}}(y-z)^{2}

Это уравнение переписывает сумму двух квадратичных дробей по x , расширяя квадраты, группируя члены по x и дополняя квадрат . Обратите внимание на следующие сложные постоянные коэффициенты, связанные с некоторыми терминами:

Фактор имеет форму средневзвешенного значения y и z . ${\frac {ay+bz}{a+b}}$
${\frac {ab}{a+b}}={\frac {1}{{\frac {1}{a}}+{\frac {1}{b}}}}=(a^{-1}+b^{-1})^{-1}.$ Это показывает, что этот фактор можно рассматривать как результат ситуации, когда обратные величины a и b складываются напрямую, поэтому, чтобы объединить сами a и b , необходимо совершать возвратно-поступательные движения, складывать и снова возвращать результат, чтобы вернуться в оригинальные агрегаты. Именно такую операцию выполняет среднее гармоническое , поэтому неудивительно, что оно составляет половину среднего гармонического a и b . ${\frac {ab}{a+b}}$

Векторная форма

Аналогичную формулу можно записать для суммы двух векторных квадратиков: Если x , y , z — векторы длины k , а A и B — симметричные обратимые матрицы размера , то $k\times k$

{\begin{aligned}&(\mathbf {y} -\mathbf {x} )'\mathbf {A} (\mathbf {y} -\mathbf {x} )+(\mathbf {x} -\mathbf {z} )'\mathbf {B} (\mathbf {x} -\mathbf {z} )\\={}&(\mathbf {x} -\mathbf {c} )'(\mathbf {A} +\mathbf {B} )(\mathbf {x} -\mathbf {c} )+(\mathbf {y} -\mathbf {z} )'(\mathbf {A} ^{-1}+\mathbf {B} ^{-1})^{-1}(\mathbf {y} -\mathbf {z} )\end{aligned}}

где

\mathbf {c} =(\mathbf {A} +\mathbf {B} )^{-1}(\mathbf {A} \mathbf {y} +\mathbf {B} \mathbf {z} )

Форма x ′ A x называется квадратичной формой и является скаляром :

\mathbf {x} '\mathbf {A} \mathbf {x} =\sum _{i,j}a_{ij}x_{i}x_{j}

Другими словами, он суммирует все возможные комбинации произведений пар элементов из x с отдельным коэффициентом для каждой. Кроме того, поскольку для любых недиагональных элементов A имеет значение только сумма , и нет потери общности, если предположить, что A симметричен . Более того, если A симметричен, то форма $x_{i}x_{j}=x_{j}x_{i}$ $a_{ij}+a_{ji}$ $\mathbf {x} '\mathbf {A} \mathbf {y} =\mathbf {y} '\mathbf {A} \mathbf {x} .$

Сумма отличий от среднего

Еще одна полезная формула выглядит следующим образом:

\sum _{i=1}^{n}(x_{i}-\mu )^{2}=\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}

{\textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}.}

С известной дисперсией

Для набора iid нормально распределенных точек данных X размера n , где каждая отдельная точка x следует с известной дисперсией σ ² , сопряженное априорное распределение также является нормально распределенным. $x\sim {\mathcal {N}}(\mu ,\sigma ^{2})$

Это можно показать проще, переписав дисперсию как точность , т.е. используя τ = 1/σ ² . Тогда если и поступим следующим образом. $x\sim {\mathcal {N}}(\mu ,1/\tau )$ $\mu \sim {\mathcal {N}}(\mu _{0},1/\tau _{0}),$

Во-первых, функция правдоподобия (используя приведенную выше формулу для суммы отличий от среднего):

{\begin{aligned}p(\mathbf {X} \mid \mu ,\tau )&=\prod _{i=1}^{n}{\sqrt {\frac {\tau }{2\pi }}}\exp \left(-{\frac {1}{2}}\tau (x_{i}-\mu )^{2}\right)\\&=\left({\frac {\tau }{2\pi }}\right)^{n/2}\exp \left(-{\frac {1}{2}}\tau \sum _{i=1}^{n}(x_{i}-\mu )^{2}\right)\\&=\left({\frac {\tau }{2\pi }}\right)^{n/2}\exp \left[-{\frac {1}{2}}\tau \left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)\right].\end{aligned}}

Далее действуем следующим образом:

{\begin{aligned}p(\mu \mid \mathbf {X} )&\propto p(\mathbf {X} \mid \mu )p(\mu )\\&=\left({\frac {\tau }{2\pi }}\right)^{n/2}\exp \left[-{\frac {1}{2}}\tau \left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]{\sqrt {\frac {\tau _{0}}{2\pi }}}\exp \left(-{\frac {1}{2}}\tau _{0}(\mu -\mu _{0})^{2}\right)\\&\propto \exp \left(-{\frac {1}{2}}\left(\tau \left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)+\tau _{0}(\mu -\mu _{0})^{2}\right)\right)\\&\propto \exp \left(-{\frac {1}{2}}\left(n\tau ({\bar {x}}-\mu )^{2}+\tau _{0}(\mu -\mu _{0})^{2}\right)\right)\\&=\exp \left(-{\frac {1}{2}}(n\tau +\tau _{0})\left(\mu -{\dfrac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}\right)^{2}+{\frac {n\tau \tau _{0}}{n\tau +\tau _{0}}}({\bar {x}}-\mu _{0})^{2}\right)\\&\propto \exp \left(-{\frac {1}{2}}(n\tau +\tau _{0})\left(\mu -{\dfrac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}\right)^{2}\right)\end{aligned}}

В приведенном выше выводе мы использовали приведенную выше формулу для суммы двух квадратичных дробей и исключили все постоянные факторы, не включающие µ . Результатом является ядро нормального распределения со средним значением и точностью , т.е. ${\frac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}$ $n\tau +\tau _{0}$

p(\mu \mid \mathbf {X} )\sim {\mathcal {N}}\left({\frac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}},{\frac {1}{n\tau +\tau _{0}}}\right)

Это можно записать как набор байесовских уравнений обновления апостериорных параметров с точки зрения априорных параметров:

{\begin{aligned}\tau _{0}'&=\tau _{0}+n\tau \\[5pt]\mu _{0}'&={\frac {n\tau {\bar {x}}+\tau _{0}\mu _{0}}{n\tau +\tau _{0}}}\\[5pt]{\bar {x}}&={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\end{aligned}}

То есть, чтобы объединить n точек ^данных с общей точностью nτ (или, что эквивалентно, общей дисперсией n / σ2 ) и средним значением значений , получите новую общую точность, просто добавив общую точность данных к предыдущей общей точности, и сформировать новое среднее через средневзвешенное по точности , т.е. средневзвешенное среднее значение данных и предшествующее среднее значение, каждое из которых взвешено по соответствующей общей точности. Это имеет логический смысл, если рассматривать точность как показатель достоверности наблюдений: в распределении апостериорного среднего каждый из входных компонентов взвешивается по его достоверности, а достоверность этого распределения представляет собой сумму отдельных достоверностей. . (Для интуитивного понимания этого сравните выражение «целое больше суммы своих частей». Кроме того, учтите, что знание апостериорного происходит из комбинации знаний априорного и правдоподобия. , поэтому вполне логично, что мы более уверены в нем, чем в любом из его компонентов.) ${\bar {x}}$

Приведенная выше формула показывает, почему с точки зрения точности удобнее проводить байесовский анализ сопряженных априорных значений для нормального распределения. Апостериорная точность представляет собой просто сумму априорной точности и точности правдоподобия, а апостериорное среднее вычисляется посредством взвешенного по точности среднего значения, как описано выше. Те же самые формулы можно записать в терминах дисперсии, выполняя возвратно-поступательные движения со всеми точностью, что приводит к более уродливым формулам.

{\begin{aligned}{\sigma _{0}^{2}}'&={\frac {1}{{\frac {n}{\sigma ^{2}}}+{\frac {1}{\sigma _{0}^{2}}}}}\\[5pt]\mu _{0}'&={\frac {{\frac {n{\bar {x}}}{\sigma ^{2}}}+{\frac {\mu _{0}}{\sigma _{0}^{2}}}}{{\frac {n}{\sigma ^{2}}}+{\frac {1}{\sigma _{0}^{2}}}}}\\[5pt]{\bar {x}}&={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\end{aligned}}

С известным средним значением

Для набора iid нормально распределенных точек данных X размера n , где каждая отдельная точка x следует с известным средним значением μ, сопряженное априорное значение дисперсии имеет обратное гамма-распределение или масштабированное обратное распределение хи-квадрат . Они эквивалентны, за исключением того, что имеют разные параметризации . Хотя обратная гамма используется чаще, для удобства мы используем масштабированный обратный хи-квадрат. Априорное положение для σ ² следующее: $x\sim {\mathcal {N}}(\mu ,\sigma ^{2})$

p(\sigma ^{2}\mid \nu _{0},\sigma _{0}^{2})={\frac {(\sigma _{0}^{2}{\frac {\nu _{0}}{2}})^{\nu _{0}/2}}{\Gamma \left({\frac {\nu _{0}}{2}}\right)}}~{\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}\propto {\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}

Функция правдоподобия , приведенная выше, записанная через дисперсию, равна:

{\begin{aligned}p(\mathbf {X} \mid \mu ,\sigma ^{2})&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {S}{2\sigma ^{2}}}\right]\end{aligned}}

где

S=\sum _{i=1}^{n}(x_{i}-\mu )^{2}.

Затем:

{\begin{aligned}p(\sigma ^{2}\mid \mathbf {X} )&\propto p(\mathbf {X} \mid \sigma ^{2})p(\sigma ^{2})\\&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {S}{2\sigma ^{2}}}\right]{\frac {(\sigma _{0}^{2}{\frac {\nu _{0}}{2}})^{\frac {\nu _{0}}{2}}}{\Gamma \left({\frac {\nu _{0}}{2}}\right)}}~{\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}\\&\propto \left({\frac {1}{\sigma ^{2}}}\right)^{n/2}{\frac {1}{(\sigma ^{2})^{1+{\frac {\nu _{0}}{2}}}}}\exp \left[-{\frac {S}{2\sigma ^{2}}}+{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]\\&={\frac {1}{(\sigma ^{2})^{1+{\frac {\nu _{0}+n}{2}}}}}\exp \left[-{\frac {\nu _{0}\sigma _{0}^{2}+S}{2\sigma ^{2}}}\right]\end{aligned}}

Вышеупомянутое также представляет собой масштабированное обратное распределение хи-квадрат, где

{\begin{aligned}\nu _{0}'&=\nu _{0}+n\\\nu _{0}'{\sigma _{0}^{2}}'&=\nu _{0}\sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}\end{aligned}}

или эквивалентно

{\begin{aligned}\nu _{0}'&=\nu _{0}+n\\{\sigma _{0}^{2}}'&={\frac {\nu _{0}\sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu _{0}+n}}\end{aligned}}

Если провести повторную параметризацию с точки зрения обратного гамма-распределения , результат будет следующим:

{\begin{aligned}\alpha '&=\alpha +{\frac {n}{2}}\\\beta '&=\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\end{aligned}}

С неизвестным средним значением и неизвестной дисперсией

Для набора iid нормально распределенных точек данных X размера n , где каждая отдельная точка x следует с неизвестным средним значением µ и неизвестной дисперсией σ ² , комбинированное (многомерное) сопряженное априорное значение помещается над средним значением и дисперсией, состоящее из нормально-обратного значения. -гамма-распределение . Логически это происходит следующим образом: $x\sim {\mathcal {N}}(\mu ,\sigma ^{2})$

Из анализа случая с неизвестным средним значением, но известной дисперсией, мы видим, что уравнения обновления включают достаточную статистику , рассчитанную на основе данных, состоящих из среднего значения точек данных и общей дисперсии точек данных, вычисленных, в свою очередь, на основе известной дисперсии. разделить на количество точек данных.
Из анализа случая с неизвестной дисперсией, но известным средним значением, мы видим, что уравнения обновления включают достаточную статистику по данным, состоящую из количества точек данных и суммы квадратичных отклонений .
Имейте в виду, что значения апостериорного обновления служат априорным распределением при обработке дальнейших данных. Таким образом, мы должны логически думать о наших априорных значениях с точки зрения только что описанной достаточной статистики, сохраняя при этом в максимально возможной степени одну и ту же семантику.
Чтобы справиться со случаем, когда и среднее значение, и дисперсия неизвестны, мы могли бы разместить независимые априорные значения над средним значением и дисперсией с фиксированными оценками среднего среднего значения, общей дисперсии, количества точек данных, используемых для вычисления априорной дисперсии, и суммы квадратичных отклонений. . Однако обратите внимание, что на самом деле общая дисперсия среднего значения зависит от неизвестной дисперсии, а сумма квадратов отклонений, которая входит в априорную дисперсию (кажется), зависит от неизвестного среднего значения. На практике последняя зависимость относительно не важна: сдвиг фактического среднего значения смещает сгенерированные точки на равную величину, и в среднем квадраты отклонений останутся прежними. Однако это не относится к общей дисперсии среднего значения: по мере увеличения неизвестной дисперсии общая дисперсия среднего будет пропорционально увеличиваться, и мы хотели бы уловить эту зависимость.
Это предполагает, что мы создаем условное априорное значение среднего значения для неизвестной дисперсии с гиперпараметром, указывающим среднее значение псевдонаблюдений , связанных с априорным значением, и другим параметром, указывающим количество псевдонаблюдений. Это число служит параметром масштабирования дисперсии, позволяя контролировать общую дисперсию среднего значения относительно фактического параметра дисперсии. Априорное значение дисперсии также имеет два гиперпараметра: один определяет сумму квадратов отклонений псевдонаблюдений, связанных с априорным, а другой еще раз указывает количество псевдонаблюдений. Каждый из априорных значений имеет гиперпараметр, определяющий количество псевдонаблюдений, и в каждом случае он контролирует относительную дисперсию этого априорного значения. Они задаются как два отдельных гиперпараметра, так что дисперсию (т. е. достоверность) двух априорных значений можно контролировать отдельно.
Это немедленно приводит к нормальному обратному гамма-распределению , которое является продуктом двух только что определенных распределений с использованием сопряженных априорных значений ( обратное гамма-распределение по дисперсии и нормальное распределение по среднему значению, зависящее от дисперсии) и с теми же четырьмя только что определенными параметрами.

Априоры обычно определяются следующим образом:

{\begin{aligned}p(\mu \mid \sigma ^{2};\mu _{0},n_{0})&\sim {\mathcal {N}}(\mu _{0},\sigma ^{2}/n_{0})\\p(\sigma ^{2};\nu _{0},\sigma _{0}^{2})&\sim I\chi ^{2}(\nu _{0},\sigma _{0}^{2})=IG(\nu _{0}/2,\nu _{0}\sigma _{0}^{2}/2)\end{aligned}}

Уравнения обновления могут быть выведены и выглядят следующим образом:

{\begin{aligned}{\bar {x}}&={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\\\mu _{0}'&={\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}}\\n_{0}'&=n_{0}+n\\\nu _{0}'&=\nu _{0}+n\\\nu _{0}'{\sigma _{0}^{2}}'&=\nu _{0}\sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}\end{aligned}}

К соответствующему количеству псевдонаблюдений добавляется количество реальных наблюдений. Новый средний гиперпараметр снова представляет собой средневзвешенное значение, на этот раз взвешенное по относительному количеству наблюдений. Наконец, обновление аналогично случаю с известным средним значением, но в этом случае сумма квадратов отклонений берется относительно среднего значения наблюдаемых данных, а не истинного среднего значения, и в результате необходимо добавить новый член взаимодействия. чтобы позаботиться о дополнительном источнике ошибок, возникающем из-за отклонения между априорным и средним значением данных. $\nu _{0}'{\sigma _{0}^{2}}'$

Доказательство

Предыдущие распределения

{\begin{aligned}p(\mu \mid \sigma ^{2};\mu _{0},n_{0})&\sim {\mathcal {N}}(\mu _{0},\sigma ^{2}/n_{0})={\frac {1}{\sqrt {2\pi {\frac {\sigma ^{2}}{n_{0}}}}}}\exp \left(-{\frac {n_{0}}{2\sigma ^{2}}}(\mu -\mu _{0})^{2}\right)\\&\propto (\sigma ^{2})^{-1/2}\exp \left(-{\frac {n_{0}}{2\sigma ^{2}}}(\mu -\mu _{0})^{2}\right)\\p(\sigma ^{2};\nu _{0},\sigma _{0}^{2})&\sim I\chi ^{2}(\nu _{0},\sigma _{0}^{2})=IG(\nu _{0}/2,\nu _{0}\sigma _{0}^{2}/2)\\&={\frac {(\sigma _{0}^{2}\nu _{0}/2)^{\nu _{0}/2}}{\Gamma (\nu _{0}/2)}}~{\frac {\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right]}{(\sigma ^{2})^{1+\nu _{0}/2}}}\\&\propto {(\sigma ^{2})^{-(1+\nu _{0}/2)}}\exp \left[{\frac {-\nu _{0}\sigma _{0}^{2}}{2\sigma ^{2}}}\right].\end{aligned}}

Таким образом, совместным приором является

{\begin{aligned}p(\mu ,\sigma ^{2};\mu _{0},n_{0},\nu _{0},\sigma _{0}^{2})&=p(\mu \mid \sigma ^{2};\mu _{0},n_{0})\,p(\sigma ^{2};\nu _{0},\sigma _{0}^{2})\\&\propto (\sigma ^{2})^{-(\nu _{0}+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+n_{0}(\mu -\mu _{0})^{2}\right)\right].\end{aligned}}

Функция правдоподобия из приведенного выше раздела с известной дисперсией:

{\begin{aligned}p(\mathbf {X} \mid \mu ,\sigma ^{2})&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right)\right]\end{aligned}}

Записав это в терминах дисперсии, а не точности, мы получаем:

{\begin{aligned}p(\mathbf {X} \mid \mu ,\sigma ^{2})&=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\\&\propto {\sigma ^{2}}^{-n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(S+n({\bar {x}}-\mu )^{2}\right)\right]\end{aligned}}

где ${\textstyle S=\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}.}$

Следовательно, апостериорное (опуская гиперпараметры как обуславливающие факторы):

{\begin{aligned}p(\mu ,\sigma ^{2}\mid \mathbf {X} )&\propto p(\mu ,\sigma ^{2})\,p(\mathbf {X} \mid \mu ,\sigma ^{2})\\&\propto (\sigma ^{2})^{-(\nu _{0}+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+n_{0}(\mu -\mu _{0})^{2}\right)\right]{\sigma ^{2}}^{-n/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(S+n({\bar {x}}-\mu )^{2}\right)\right]\\&=(\sigma ^{2})^{-(\nu _{0}+n+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+S+n_{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\\&=(\sigma ^{2})^{-(\nu _{0}+n+3)/2}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+S+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}+(n_{0}+n)\left(\mu -{\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}}\right)^{2}\right)\right]\\&\propto (\sigma ^{2})^{-1/2}\exp \left[-{\frac {n_{0}+n}{2\sigma ^{2}}}\left(\mu -{\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}}\right)^{2}\right]\\&\quad \times (\sigma ^{2})^{-(\nu _{0}/2+n/2+1)}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(\nu _{0}\sigma _{0}^{2}+S+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}\right)\right]\\&={\mathcal {N}}_{\mu \mid \sigma ^{2}}\left({\frac {n_{0}\mu _{0}+n{\bar {x}}}{n_{0}+n}},{\frac {\sigma ^{2}}{n_{0}+n}}\right)\cdot {\rm {IG}}_{\sigma ^{2}}\left({\frac {1}{2}}(\nu _{0}+n),{\frac {1}{2}}\left(\nu _{0}\sigma _{0}^{2}+S+{\frac {n_{0}n}{n_{0}+n}}(\mu _{0}-{\bar {x}})^{2}\right)\right).\end{aligned}}

Другими словами, апостериорное распределение имеет форму произведения нормального распределения на обратное гамма-распределение по времени с параметрами, которые совпадают с приведенными выше уравнениями обновления. ${\textstyle p(\mu |\sigma ^{2})}$ ${\textstyle p(\sigma ^{2})}$

Возникновение и применение

Возникновение нормального распределения в практических задачах можно условно разделить на четыре категории:

Точно нормальные распределения;
Приблизительно нормальные законы, например, когда такое приближение оправдано центральной предельной теоремой ; и
Распределения моделируются как нормальные: нормальное распределение представляет собой распределение с максимальной энтропией для заданного среднего значения и дисперсии.
Проблемы регрессии – нормальное распределение обнаруживается после того, как систематические эффекты были достаточно хорошо смоделированы.

Точная нормальность

Основное состояние квантового гармонического осциллятора имеет распределение Гаусса .

Некоторые величины в физике распределяются нормально, как это впервые продемонстрировал Джеймс Клерк Максвелл . Примеры таких величин:

Функция плотности вероятности основного состояния квантового гармонического осциллятора .
Положение частицы, испытывающей диффузию . Если изначально частица находится в конкретной точке (то есть ее распределение вероятностей — дельта-функция Дирака ), то по истечении времени t ее местоположение описывается нормальным распределением с дисперсией t , которое удовлетворяет уравнению диффузии . Если начальное местоположение задано определенной функцией плотности , то плотность в момент времени t представляет собой свертку g и нормальной функции плотности вероятности. ${\frac {\partial }{\partial t}}f(x,t)={\frac {1}{2}}{\frac {\partial ^{2}}{\partial x^{2}}}f(x,t)$ $g(x)$

Приблизительная нормальность

Приблизительно нормальное распределение встречается во многих ситуациях, как это объясняется центральной предельной теоремой . Когда результат создается множеством небольших эффектов, действующих аддитивно и независимо , его распределение будет близко к нормальному. Нормальное приближение не будет действительным, если эффекты действуют мультипликативно (а не аддитивно) или если существует одно внешнее влияние, которое имеет значительно большую величину, чем остальные эффекты.

В задачах счета, где центральная предельная теорема включает приближение от дискретного к континуальному и где задействованы бесконечно делимые и разложимые распределения, такие как
- Биномиальные случайные величины , связанные с бинарными переменными отклика;
- Случайные величины Пуассона , связанные с редкими событиями;
Тепловое излучение имеет распределение Бозе-Эйнштейна на очень коротких временных масштабах и нормальное распределение на более длительных временных масштабах из-за центральной предельной теоремы.

Предполагаемая нормальность

Я могу лишь признать появление нормальной кривой – лапласовой кривой ошибок – весьма ненормальным явлением. В некоторых дистрибутивах он примерно приближается к ; по этой причине, а также ввиду его прекрасной простоты, мы, возможно, можем использовать его в качестве первого приближения, особенно в теоретических исследованиях.
- Пирсон (1901)

Существуют статистические методы эмпирической проверки этого предположения; см. выше раздел «Тестирование нормальности».

В биологии логарифмы различных переменных имеют тенденцию иметь нормальное распределение, то есть они имеют тенденцию иметь логарифмически нормальное распределение (после разделения на мужские и женские субпопуляции), примеры включают:
- Меры размера живой ткани (длина, высота, площадь кожи, вес); ^[52]
- Длина инертных придатков (волос, когтей, ногтей, зубов) биологических особей в направлении роста ; предположительно, под эту категорию подпадает и толщина древесной коры;
- Определенные физиологические измерения, такие как артериальное давление взрослых людей.
В финансах, в частности в модели Блэка-Шоулза , изменения логарифма обменных курсов, индексов цен и индексов фондового рынка считаются нормальными (эти переменные ведут себя как сложные проценты , а не как простые проценты, и поэтому являются мультипликативными). Некоторые математики, такие как Бенуа Мандельброт, утверждали, что лог-распределения Леви с тяжелыми хвостами были бы более подходящей моделью, в частности, для анализа обвалов фондового рынка . Использование предположения о нормальном распределении в финансовых моделях также подвергалось критике со стороны Нассима Николаса Талеба в его работах.
Ошибки измерений в физических экспериментах часто моделируются нормальным распределением. Такое использование нормального распределения не означает, что предполагается, что ошибки измерения имеют нормальное распределение, скорее, использование нормального распределения дает наиболее консервативные прогнозы, возможные, если известны только знания о среднем значении и дисперсии ошибок. ^[53]
При стандартизированном тестировании результаты могут иметь нормальное распределение, либо выбирая количество и сложность вопросов (как в тесте IQ ), либо преобразуя необработанные результаты теста в выходные баллы, подгоняя их к нормальному распределению. Например, традиционный диапазон SAT 200–800 основан на нормальном распределении со средним значением 500 и стандартным отклонением 100.

Подобрано кумулятивное нормальное распределение октябрьских осадков, см. подгонку распределения.

Многие баллы получены на основе нормального распределения, включая процентильные ранги (процентили или квантили), эквиваленты нормальной кривой , станины , z-показатели и T-показатели. Кроме того, некоторые поведенческие статистические процедуры предполагают, что баллы распределяются нормально; например, t-тесты и ANOVA . Оценивание по кривой колокола присваивает относительные оценки на основе нормального распределения баллов.
В гидрологии распределение долговременного речного стока или осадков, например, месячных и годовых сумм, часто считается практически нормальным в соответствии с центральной предельной теоремой . ^[54] Синее изображение, сделанное с помощью CumFreq , иллюстрирует пример подбора нормального распределения к ранжированным октябрьским осадкам, демонстрируя 90% доверительный интервал на основе биномиального распределения . Данные об осадках представлены в виде координат на графике в рамках кумулятивного частотного анализа .

Методологические проблемы и экспертная оценка

Джон Иоаннидис утверждал , что использование нормально распределенных стандартных отклонений в качестве стандартов для проверки результатов исследований оставляет непроверенными фальсифицируемые предсказания о явлениях, которые обычно не распределяются. Сюда относятся, например, явления, которые возникают только при наличии всех необходимых условий и одно не может быть заменой другого в виде сложения, и явления, которые не распределены случайным образом. Иоаннидис утверждает, что проверка, ориентированная на стандартное отклонение, создает ложную видимость достоверности гипотез и теорий, в которых некоторые, но не все фальсифицируемые прогнозы нормально распределены, поскольку часть фальсифицируемых прогнозов, против которых имеются доказательства, может, а в некоторых случаях, находится в ненормально распределенные части диапазона фальсифицируемых предсказаний, а также безосновательное отвержение гипотез, для которых ни одно из фальсифицируемых предсказаний обычно не распределяется так, как если бы они были нефальсифицируемы, тогда как на самом деле они делают фальсифицируемые предсказания. Иоаннидис утверждает, что многие случаи принятия взаимоисключающих теорий как подтвержденные исследовательскими журналами вызваны неспособностью журналов принять эмпирические фальсификации предсказаний с ненормально распределенным распределением, а не потому, что взаимоисключающие теории верны, чего они не могут сделать. быть, хотя две взаимоисключающие теории могут быть как неправильными, так и третья правильной. ^[55]

Вычислительные методы

Генерация значений из нормального распределения

В компьютерном моделировании, особенно в приложениях метода Монте-Карло , часто желательно генерировать значения, которые имеют нормальное распределение. Все перечисленные ниже алгоритмы генерируют стандартные нормальные отклонения, поскольку $N (μ, σ2)$ может быть сгенерировано как $X = μ + σZ$ , где Z — стандартное нормальное значение $.$ Все эти алгоритмы полагаются на наличие генератора случайных чисел U , способного генерировать однородные случайные величины.

Самый простой метод основан на свойстве преобразования интеграла вероятности : если U распределено равномерно на (0,1), то Φ ⁻¹ ( U ) будет иметь стандартное нормальное распределение. Недостатком этого метода является то, что он основан на вычислении пробит-функции Φ ⁻¹ , что невозможно выполнить аналитически. Некоторые приближенные методы описаны у Харта (1968) и в статье erf . Вичура предлагает быстрый алгоритм вычисления этой функции с точностью до 16 десятичных знаков ^[56] , который используется R для вычисления случайных величин нормального распределения.
Простой в программировании приближенный подход , основанный на центральной предельной теореме, заключается в следующем: сгенерируйте 12 равномерных отклонений U (0,1), сложите их все и вычтите 6 – полученная случайная величина будет иметь примерно стандартное нормальное распределение. По правде говоря, распределение будет Ирвина-Холла , которое представляет собой 12-секционное полиномиальное приближение одиннадцатого порядка к нормальному распределению. Это случайное отклонение будет иметь ограниченный диапазон (-6, 6). ^[57] Обратите внимание, что при истинно нормальном распределении только 0,00034% всех выборок выходят за пределы ±6σ.
Метод Бокса – Мюллера использует два независимых случайных числа U и V , равномерно распределенных по (0,1). Тогда две случайные величины X и Y $X={\sqrt {-2\ln U}}\,\cos(2\pi V),\qquad Y={\sqrt {-2\ln U}}\,\sin(2\pi V).$ оба будут иметь стандартное нормальное распределение и будут независимыми . Эта формулировка возникает потому, что для двумерного нормального случайного вектора ( X , Y ) квадрат нормы $X 2 + Y 2$ будет иметь распределение хи-квадрат с двумя степенями свободы, которое представляет собой легко генерируемую экспоненциальную случайную величину , соответствующую величине −2. ln( U ) в этих уравнениях; и угол равномерно распределен по кругу, выбранному случайной величиной V .
Полярный метод Марсальи представляет собой модификацию метода Бокса – Мюллера, которая не требует вычисления функций синуса и косинуса. В этом методе U и V извлекаются из равномерного (-1,1) распределения, а затем вычисляется $S = U 2 + V 2$ . Если S больше или равно 1, метод начинается заново, в противном случае две величины $X=U{\sqrt {\frac {-2\ln S}{S}}},\qquad Y=V{\sqrt {\frac {-2\ln S}{S}}}$ возвращаются. Опять же, X и Y — независимые стандартные нормальные случайные величины.
Метод отношений ^[58] является методом отбраковки. Алгоритм действует следующим образом:
- Сгенерируйте два независимых равномерных отклонения U и V ;
- Вычислить X = √ 8/ e ( V - 0,5)/ U ;
- Необязательно: если X ² ≤ 5 − 4 e ^1/4U , то принять X и завершить алгоритм;
- Необязательно: если X ² ≥ 4 e ^−1,35 / U + 1,4, то отклоните X и начните заново с шага 1;
- Если X ² ≤ −4 ln U , тогда примите X , в противном случае начните алгоритм заново.
Два дополнительных шага позволяют в большинстве случаев избежать вычисления логарифма на последнем шаге. Эти шаги можно значительно улучшить ^[59] , чтобы логарифм вычислялся редко.
Алгоритм зиккурата ^[60] быстрее, чем преобразование Бокса-Мюллера, но при этом точен. Примерно в 97% всех случаев он использует только два случайных числа: одно случайное целое и одно случайное равномерное, одно умножение и проверку if. Лишь в 3% случаев, когда комбинация этих двух факторов выходит за рамки «ядра зиккурата» (своего рода отбраковочная выборка с использованием логарифмов), приходится использовать экспоненту и более однородные случайные числа.
Целочисленную арифметику можно использовать для выборки из стандартного нормального распределения. ^[61] Этот метод точен в том смысле, что он удовлетворяет условиям идеального приближения ; ^[62] , т. е. это эквивалентно выборке действительного числа из стандартного нормального распределения и округлению его до ближайшего представимого числа с плавающей запятой.
Существует также исследование ^[63] связи между быстрым преобразованием Адамара и нормальным распределением, поскольку преобразование использует только сложение и вычитание, а по центральной предельной теореме случайные числа практически из любого распределения преобразуются в нормальное распределение. В этом отношении серию преобразований Адамара можно комбинировать со случайными перестановками, чтобы превратить произвольные наборы данных в нормально распределенные данные.

Численные аппроксимации нормальной кумулятивной функции распределения и нормальной функции квантиля

Стандартная функция нормального кумулятивного распределения широко используется в научных и статистических вычислениях.

Значения Φ( x ) могут быть очень точно аппроксимированы различными методами, такими как численное интегрирование , ряд Тейлора , асимптотический ряд и цепные дроби . В зависимости от желаемого уровня точности используются различные приближения.

Зелен и Северо (1964) дают аппроксимацию Φ( x ) для x > 0 с абсолютной ошибкой $| ε (Икс) | < 7,5\cdot10 -8$ (алгоритм 26.2.17): $\Phi (x)=1-\varphi (x)\left(b_{1}t+b_{2}t^{2}+b_{3}t^{3}+b_{4}t^{4}+b_{5}t^{5}\right)+\varepsilon (x),\qquad t={\frac {1}{1+b_{0}x}},$ где φ ( x ) — стандартная нормальная функция плотности вероятности, а b ₀ = 0,2316419, b ₁ = 0,319381530, b ₂ = -0,356563782, b ₃ = 1,781477937, b ₄ = -1,821255978, b ₅ = 1,330274429.
Харт (1968) перечисляет несколько десятков аппроксимаций – с помощью рациональных функций, с экспонентами или без них – для функции erfc() . Его алгоритмы различаются по степени сложности и получаемой точности, максимальная абсолютная точность составляет 24 цифры. Алгоритм Уэста (2009) сочетает в себе алгоритм Харта 5666 с аппроксимацией непрерывной дроби в хвосте, чтобы обеспечить быстрый алгоритм вычислений с точностью до 16 цифр.
Коди (1969), вспомнив, что решение Hart68 не подходит для erf, дает решение как для erf, так и для erfc с максимальной границей относительной ошибки с помощью рационального приближения Чебышева .
Марсалья (2004) предложил простой алгоритм ^{[примечание 1]} , основанный на разложении в ряд Тейлора. $\Phi (x)={\frac {1}{2}}+\varphi (x)\left(x+{\frac {x^{3}}{3}}+{\frac {x^{5}}{3\cdot 5}}+{\frac {x^{7}}{3\cdot 5\cdot 7}}+{\frac {x^{9}}{3\cdot 5\cdot 7\cdot 9}}+\cdots \right)$ для вычисления $Φ(x)$ с произвольной точностью. Недостатком этого алгоритма является сравнительно медленное время расчета (например, для вычисления функции с точностью до 16 знаков при $x = 10$ требуется более 300 итераций ).
Научная библиотека GNU вычисляет значения стандартной нормальной кумулятивной функции распределения, используя алгоритмы Харта и аппроксимации с помощью полиномов Чебышева .
Диа (2023) предлагает следующую аппроксимацию с максимальной относительной ошибкой меньше, чем по абсолютной величине: для и для , $1-\Phi$ $2^{-53}$ $\left(\approx 1.1\times 10^{-16}\right)$ $x\geq 0$ ${\begin{aligned}1-\Phi \left(x\right)&=\left({\frac {0.39894228040143268}{x+2.92678600515804815}}\right)\left({\frac {x^{2}+8.42742300458043240x+18.38871225773938487}{x^{2}+5.81582518933527391x+8.97280659046817350}}\right)\\&\left({\frac {x^{2}+7.30756258553673541x+18.25323235347346525}{x^{2}+5.70347935898051437x+10.27157061171363079}}\right)\left({\frac {x^{2}+5.66479518878470765x+18.61193318971775795}{x^{2}+5.51862483025707963x+12.72323261907760928}}\right)\\&\left({\frac {x^{2}+4.91396098895240075x+24.14804072812762821}{x^{2}+5.26184239579604207x+16.88639562007936908}}\right)\left({\frac {x^{2}+3.83362947800146179x+11.61511226260603247}{x^{2}+4.92081346632882033x+24.12333774572479110}}\right)e^{-{\frac {x^{2}}{2}}}\end{aligned}}$ $x<0$

1-\Phi \left(x\right)=1-\left(1-\Phi \left(-x\right)\right)

Шор (1982) представил простые аппроксимации, которые могут быть включены в модели стохастической оптимизации инженерных и эксплуатационных исследований, такие как проектирование надежности и анализ запасов. Обозначая $p = Φ(z)$ , простейшим приближением для функции квантиля является:

z=\Phi ^{-1}(p)=5.5556\left[1-\left({\frac {1-p}{p}}\right)^{0.1186}\right],\qquad p\geq 1/2

Это приближение дает для z максимальную абсолютную ошибку 0,026 (для $0,5 \leq p \leq 0,9999$ , что соответствует $0 \leq z \leq 3,719$ ). Для $p < 1/2$ замените p на $1 - p$ и поменяйте знак. Другое приближение, несколько менее точное, — это однопараметрическое приближение:

z=-0.4115\left\{{\frac {1-p}{p}}+\log \left[{\frac {1-p}{p}}\right]-1\right\},\qquad p\geq 1/2

Последнее послужило для получения простой аппроксимации интеграла потерь нормального распределения, определяемого формулой

{\begin{aligned}L(z)&=\int _{z}^{\infty }(u-z)\varphi (u)\,du=\int _{z}^{\infty }[1-\Phi (u)]\,du\\[5pt]L(z)&\approx {\begin{cases}0.4115\left({\dfrac {p}{1-p}}\right)-z,&p<1/2,\\\\0.4115\left({\dfrac {1-p}{p}}\right),&p\geq 1/2.\end{cases}}\\[5pt]{\text{or, equivalently,}}\\L(z)&\approx {\begin{cases}0.4115\left\{1-\log \left[{\frac {p}{1-p}}\right]\right\},&p<1/2,\\\\0.4115{\dfrac {1-p}{p}},&p\geq 1/2.\end{cases}}\end{aligned}}

Это приближение особенно точно для правого дальнего хвоста (максимальная ошибка 10 ^-3 для z≥1,4). Высокоточные аппроксимации кумулятивной функции распределения, основанные на методологии моделирования отклика (RMM, Shore, 2011, 2012), показаны в Shore (2005).

Еще несколько приближений можно найти по адресу: Функция ошибки#Приближение элементарными функциями . В частности, небольшая относительная погрешность во всей области для кумулятивной функции распределения, а также функции квантиля достигается с помощью явно обратимой формулы Сергея Виницкого в 2008 году. $\Phi$ $\Phi ^{-1}$

История

Разработка

Некоторые авторы ^[64]^[65] приписывают заслугу открытия нормального распределения де Муавра , который в 1738 году ^{[примечание 2]} опубликовал во втором издании своей «Доктрины шансов» исследование коэффициентов биномиального разложения $(а + б) п$ . Де Муавр доказал, что средний член в этом разложении имеет приблизительную величину , и что «Если m или ${\textstyle 2^{n}/{\sqrt {2\pi n}}}$ 1/2n — бесконечно большая Величина, то логарифм отношения, которое Терм, отстоящий от середины на Интервал ℓ , имеет к среднему Терму, равен .» ^[66] Хотя эту теорему можно интерпретировать как первое неясное выражение для нормальный закон вероятности, Стиглер указывает, что сам де Муавр не интерпретировал свои результаты как нечто большее, чем приближенное правило для биномиальных коэффициентов, и, в частности, у Муавра отсутствовало понятие функции плотности вероятности ^{[67] .} ${\textstyle -{\frac {2\ell \ell }{n}}}$

В 1823 году Гаусс опубликовал свою монографию « Theoria Combinis Observeum erroribus minimis obnoxiae » , где, среди прочего, он вводит несколько важных статистических понятий, таких как метод наименьших квадратов , метод максимального правдоподобия и нормальное распределение . Гаусс использовал M , M ′ , M ", ... для обозначения измерений некоторой неизвестной величины V и искал наиболее вероятную оценку этой величины: ту, которая максимизирует вероятность $φ (M - V) \cdot φ (M ' - V) \cdot φ (M » - V) \cdot ...$ получения наблюдаемых экспериментальных результатов. В его обозначениях φΔ — функция плотности вероятности ошибок измерения величины Δ. Не зная, что такое функция φ , Гаусс требует, чтобы его метод сводился к известному ответу: среднему арифметическому измеренных величин. ^{[примечание 3]} Исходя из этих принципов, Гаусс демонстрирует, что единственным законом, который рационализирует выбор среднего арифметического в качестве оценки параметра местоположения, является нормальный закон ошибок: ^[68]

\varphi {\mathit {\Delta }}={\frac {h}{\surd \pi }}\,e^{-\mathrm {hh} \Delta \Delta },

hнелинейный взвешенный метод наименьших квадратов^[69]

Хотя Гаусс был первым, кто предложил закон нормального распределения, Лаплас внес значительный вклад. ^{[примечание 4]} Именно Лаплас впервые поставил проблему агрегирования нескольких наблюдений в 1774 году, ^[70] хотя его собственное решение привело к лапласовскому распределению . Именно Лаплас впервые вычислил значение интеграла ∫ e − ^{t 2 ^dt} = √ π $в$ 1782 году, предоставив константу нормировки для нормального распределения. ^[71] Наконец, именно Лаплас в 1810 году доказал и представил академии фундаментальную центральную предельную теорему , в которой подчеркивалась теоретическая важность нормального распределения. ^[72]

Интересно отметить, что в 1809 году американский математик ирландского происхождения Роберт Адрейн опубликовал два проницательных, но ошибочных вывода нормального закона вероятности одновременно и независимо от Гаусса. ^[73] Его работы оставались в значительной степени незамеченными научным сообществом, пока в 1871 году они не были эксгумированы Аббе . ^[74]

В середине XIX века Максвелл продемонстрировал, что нормальное распределение является не только удобным математическим инструментом, но также может встречаться в природных явлениях: ^[75] Число частиц, скорость которых, разрешенная в определенном направлении, лежит между x и x . + dx это

\operatorname {N} {\frac {1}{\alpha \;{\sqrt {\pi }}}}\;e^{-{\frac {x^{2}}{\alpha ^{2}}}}\,dx

Именование

Сегодня эта концепция обычно известна на английском языке как нормальное распределение или распределение Гаусса . Другие менее распространенные названия включают распределение Гаусса, распределение Лапласа-Гаусса, закон ошибок, закон возможности ошибок, второй закон Лапласа и закон Гаусса.

Сам Гаусс, по-видимому, придумал этот термин в отношении «нормальных уравнений», используемых в его приложениях, при этом «нормальный» имеет техническое значение «ортогональный», а не «обычный». ^[76] Однако к концу XIX века некоторые авторы ^{[примечание 5]} начали использовать название « нормальное распределение », где слово «нормальное» использовалось как прилагательное – этот термин теперь рассматривается как отражение того факта, что такое распределение считалось типичным, распространенным и, следовательно, нормальным. Пирс (один из этих авторов) однажды определил понятие «нормально» следующим образом: «...«норма» — это не среднее (или какое-либо другое среднее значение) того, что происходит на самом деле, а то, что произойдет в долгосрочной перспективе. при определенных обстоятельствах». ^[77] Примерно на рубеже 20-го века Пирсон популяризировал термин «нормальный» как обозначение этого распределения. ^[78]

Много лет назад я назвал кривую Лапласа-Гаусса нормальной кривой, это название, хотя оно и избегает международного вопроса о приоритете, имеет тот недостаток, что заставляет людей поверить, что все другие распределения частот в том или ином смысле являются «ненормальными».
- Пирсон (1920)

Кроме того, именно Пирсон первым записал распределение в терминах стандартного отклонения σ в современных обозначениях. Вскоре после этого, в 1915 году, Фишер добавил в формулу нормального распределения параметр местоположения, выразив его так, как оно пишется сейчас:

df={\frac {1}{\sqrt {2\sigma ^{2}\pi }}}e^{-(x-m)^{2}/(2\sigma ^{2})}\,dx.

Термин «стандартное нормальное», обозначающий нормальное распределение с нулевым средним значением и единичной дисперсией, стал широко использоваться примерно в 1950-х годах, появившись в популярных учебниках П.Г. Хоэля (1947) « Введение в математическую статистику» и А.М. Муд (1950) « Введение в математическую статистику». Теория статистики . ^[79]

Смотрите также

Распределение Бейтса - аналогично распределению Ирвина – Холла, но масштабировано обратно в диапазон от 0 до 1.
Проблема Беренса-Фишера - давняя проблема проверки того, имеют ли две нормальные выборки с разными дисперсиями одинаковые средние значения;
Расстояние Бхаттачарьи - метод, используемый для разделения смесей нормальных распределений.
Теорема Эрдеша – Каца - о возникновении нормального распределения в теории чисел.
Полная ширина на половине максимума
Размытие по Гауссу — свертка , использующая в качестве ядра нормальное распределение.
Модифицированное полунормальное распределение ^[80] с PDF-файлом задается как , где обозначает пси-функцию Фокса–Райта . $(0,\infty )$ $f(x)={\frac {2\beta ^{\frac {\alpha }{2}}x^{\alpha -1}\exp(-\beta x^{2}+\gamma x)}{\Psi {\left({\frac {\alpha }{2}},{\frac {\gamma }{\sqrt {\beta }}}\right)}}}$ $\Psi (\alpha ,z)={}_{1}\Psi _{1}\left({\begin{matrix}\left(\alpha ,{\frac {1}{2}}\right)\\(1,0)\end{matrix}};z\right)$
Нормально распределенные и некоррелированные не подразумевают независимость.
Отношение нормального распределения
Взаимное нормальное распределение
Стандартный обычный стол
Лемма Штейна
Субгауссово распределение
Сумма нормально распределенных случайных величин
Распределение Твиди . Нормальное распределение является членом семейства моделей экспоненциальной дисперсии Твиди .
Обернутое нормальное распределение - нормальное распределение, примененное к круговой области.
Z-тест – использование нормального распределения

Примечания

^ Например, этот алгоритм приведен в статье Язык программирования Bc .
^ Де Муавр впервые опубликовал свои выводы в 1733 году в брошюре Approximatio ad Summam Terminorum Binomii $($ a + b ).нв Seriem Expansi , предназначенном только для частного обращения. Но только в 1738 году он обнародовал свои результаты. Оригинальная брошюра переиздавалась несколько раз, см., например, Walker (1985).
^ «Было принято считать аксиомой гипотезу о том, что если какая-либо величина была определена путем нескольких прямых наблюдений, выполненных при одинаковых обстоятельствах и с одинаковой тщательностью, то среднее арифметическое наблюдаемых значений дает наиболее вероятное значение, если не строго, но, по крайней мере, почти так, чтобы всегда было безопаснее придерживаться его». - Гаусс (1809, раздел 177)
^ «Мой обычай называть кривую кривой Гаусса-Лапласа или нормальной кривой спасает нас от пропорционального распределения заслуг открытия между двумя великими астрономами-математиками». цитата Пирсона (1905, стр. 189)
^ Помимо тех, которые специально упомянуты здесь, такое использование встречается в работах Пирса , Гальтона (Galton (1889, глава V)) и Lexis (Lexis (1878), Rohrbasser & Véron (2003)) c. 1875 г. ^{[ нужна ссылка ]}

Внешние ссылки

Викискладе есть медиафайлы, связанные с нормальным распределением .

«Нормальное распределение», Математическая энциклопедия , EMS Press , 2001 [1994]
Калькулятор нормального распределения