Теорема Де Муавра – Лапласа

Сходимость распределения биномиального к нормальному распределению

В системе, ячейки которой заполняются в соответствии с биномиальным распределением (такой как « машина для зерен » Гальтона , показанная здесь), при достаточном количестве испытаний (здесь ряды булавок, каждая из которых заставляет упавший «бобин» падать в сторону слева или справа), форма, представляющая распределение вероятностей k успехов в n испытаниях (см. нижнюю часть рис. 7), примерно соответствует распределению Гаусса со средним значением np и дисперсией np (1− p ), предполагая, что испытания независимы и успехи происходят с вероятностью p .

Представьте себе, что вы подбрасываете набор из n монет очень большое количество раз и подсчитываете количество выпадающих «орлов» каждый раз. Возможное количество решек при каждом броске k колеблется от 0 до n вдоль горизонтальной оси, а вертикальная ось представляет относительную частоту появления результата k голов. Таким образом, высота каждой точки — это вероятность наблюдения k решек при подбрасывании n монет ( биномиальное распределение, основанное на n испытаниях). Согласно теореме Муавра-Лапласа, с увеличением n форма дискретного распределения сходится к непрерывной кривой Гаусса нормального распределения .

В теории вероятностей теорема Муавра-Лапласа , которая является частным случаем центральной предельной теоремы , утверждает, что нормальное распределение может использоваться как приближение к биномиальному распределению при определенных условиях. В частности, теорема показывает, что функция массы вероятности случайного числа «успехов», наблюдаемых в серии независимых испытаний Бернулли , каждое из которых имеет вероятность успеха (биномиальное распределение с испытаниями), сходится к функции плотности вероятности нормального распределение со средним и стандартным отклонением при увеличении, предполагая, что это не или . ${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle n}$ ${\displaystyle np}$ ${\textstyle {\sqrt {np(1-p)}}}$ ${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle 0}$ ${\displaystyle 1}$

Теорема появилась во втором издании « Доктрины шансов » Абрахама де Муавра , опубликованном в 1738 году. Хотя де Муавр не использовал термин «испытания Бернулли», он писал о вероятностном распределении количества выпадений «орла», когда монету подбрасывают 3600 раз. ^[1]

Это один из выводов конкретной функции Гаусса , используемой в нормальном распределении.

Это частный случай центральной предельной теоремы, поскольку процесс Бернулли можно рассматривать как выделение независимых случайных величин из бимодального дискретного распределения с ненулевой вероятностью только для значений 0 и 1. В этом случае модели биномиального распределения количество успехов (т. е. количество единиц), тогда как центральная предельная теорема утверждает, что при достаточно большом n распределение выборочных средних будет приблизительно нормальным. Однако, поскольку в этом случае доля успехов (т. е. количество единиц, разделенное на количество попыток n ) равна выборочному среднему , распределение долей успехов (описываемое биномиальным распределением, разделенным на константу n ) и распределение выборочных средних (приблизительно нормальное при больших n из-за центральной предельной теоремы) эквивалентны.

Теорема

По мере увеличения n для k в окрестности np мы можем аппроксимировать ^[2] [ ^3]

${\displaystyle {n \choose k}\,p^{k}q^{n-k}\simeq {\frac {1}{\sqrt {2\pi npq}}}\,e^{-{\frac {(k-np)^{2}}{2npq}}},\qquad p+q=1,\ p,q>0}$

в том смысле, что отношение левой части к правой стремится к 1 при n → ∞.

Доказательство

Более строго теорему можно сформулировать следующим образом: при биномиально распределенной случайной величине приближается к стандартной нормали как , при этом отношение вероятностной массы к предельной нормальной плотности равно 1. Это можно показать для произвольного ненулевого и конечного числа точка . На немасштабированной кривой для это будет точка, заданная формулой ${\displaystyle \left(X\!\,-\!\,np\right)\!/\!{\sqrt {npq}}}$ ${\displaystyle \textstyle X}$ ${\displaystyle n\!\to \!\infty }$ ${\displaystyle X}$ ${\displaystyle c}$ ${\displaystyle X}$ ${\displaystyle k}$

${\displaystyle k=np+c{\sqrt {npq}}}$

Например, при значении 3 остается 3 стандартных отклонения от среднего значения немасштабированной кривой. ${\displaystyle c}$ ${\displaystyle k}$

Нормальное распределение со средним и стандартным отклонением определяется дифференциальным уравнением (DE). ${\displaystyle \mu }$ ${\displaystyle \sigma }$

${\displaystyle f'\!(x)\!=\!-\!\,{\frac {x-\mu }{\sigma ^{2}}}f(x)}$с начальным условием, заданным аксиомой вероятности . ${\displaystyle \int _{-\infty }^{\infty }\!f(x)\,dx\!=\!1}$

Предел биномиального распределения приближается к нормальному, если бином удовлетворяет этому DE. Поскольку бином дискретен, уравнение начинается как разностное уравнение , предел которого превращается в DE. В разностных уравнениях используется дискретная производная , изменение размера шага 1. При дискретная производная становится непрерывной производной . Следовательно, доказательство должно показать только то, что для немасштабированного биномиального распределения ${\displaystyle \textstyle p(k\!+\!1)\!-\!p(k)}$ ${\displaystyle \textstyle n\!\to \!\infty }$

${\displaystyle {\frac {f'\!(x)}{f\!(x)}}\!\cdot \!\left(-{\frac {\sigma ^{2}}{x-\mu }}\right)\!\to \!1}$как . ${\displaystyle n\!\to \!\infty }$

Требуемый результат можно показать непосредственно:

${\displaystyle {\begin{aligned}{\frac {f'\!(x)}{f\!(x)}}{\frac {npq}{np\!\,-\!\,k}}\!&={\frac {p\left(n,k+1\right)-p\left(n,k\right)}{p\left(n,k\right)}}{\frac {\sqrt {npq}}{-c}}\\&={\frac {np-k-q}{kq+q}}{\frac {\sqrt {npq}}{-c}}\\&={\frac {-c{\sqrt {npq}}-q}{npq+cq{\sqrt {npq}}+q}}{\frac {\sqrt {npq}}{-c}}\\&\to 1\end{aligned}}}$

Последнее справедливо, поскольку член доминирует как в знаменателе, так и в числителе, поскольку . ${\displaystyle -cnpq}$ ${\displaystyle n\!\to \!\infty }$

Поскольку константа принимает только целые значения, константа подвержена ошибке округления. Однако максимум этой ошибки , является исчезающей величиной. ^[4] ${\displaystyle \textstyle k}$ ${\displaystyle \textstyle c}$ ${\displaystyle \textstyle {0.5}/\!{\sqrt {npq}}}$

Альтернативное доказательство

Доказательство состоит в преобразовании левой части (в формулировке теоремы) в правую тремя приближениями.

Во-первых, согласно формуле Стирлинга факториал большого числа n можно заменить приближением

${\displaystyle n!\simeq n^{n}e^{-n}{\sqrt {2\pi n}}\qquad {\text{as }}n\to \infty .}$

Таким образом

${\displaystyle {\begin{aligned}{n \choose k}p^{k}q^{n-k}&={\frac {n!}{k!(n-k)!}}p^{k}q^{n-k}\\&\simeq {\frac {n^{n}e^{-n}{\sqrt {2\pi n}}}{k^{k}e^{-k}{\sqrt {2\pi k}}(n-k)^{n-k}e^{-(n-k)}{\sqrt {2\pi (n-k)}}}}p^{k}q^{n-k}\\&={\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}{\frac {n^{n}}{k^{k}\left(n-k\right)^{n-k}}}p^{k}q^{n-k}\\&={\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {nq}{n-k}}\right)^{n-k}\end{aligned}}}$

Затем аппроксимация используется для сопоставления приведенного выше корня с желаемым корнем в правой части. ${\displaystyle {\tfrac {k}{n}}\to p}$

${\displaystyle {\begin{aligned}{n \choose k}p^{k}q^{n-k}&\simeq {\sqrt {\frac {1}{2\pi n{\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {nq}{n-k}}\right)^{n-k}\\&\simeq {\frac {1}{\sqrt {2\pi npq}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {nq}{n-k}}\right)^{n-k}\qquad p+q=1\\\end{aligned}}}$

Наконец, выражение переписывается как экспоненциальное и используется приближение ряда Тейлора для ln(1+x):

${\displaystyle \ln \left(1+x\right)\simeq x-{\frac {x^{2}}{2}}+{\frac {x^{3}}{3}}-\cdots }$

Затем

${\displaystyle {\begin{aligned}{n \choose k}p^{k}q^{n-k}&\simeq {\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\ln \left(\left({\frac {np}{k}}\right)^{k}\right)+\ln \left(\left({\frac {nq}{n-k}}\right)^{n-k}\right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\ln \left({\frac {k}{np}}\right)+(k-n)\ln \left({\frac {n-k}{nq}}\right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\ln \left({\frac {np+x{\sqrt {npq}}}{np}}\right)+(k-n)\ln \left({\frac {n-np-x{\sqrt {npq}}}{nq}}\right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\ln \left({1+x{\sqrt {\frac {q}{np}}}}\right)+(k-n)\ln \left({1-x{\sqrt {\frac {p}{nq}}}}\right)\right\}\qquad p+q=1\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-k\left({x{\sqrt {\frac {q}{np}}}}-{\frac {x^{2}q}{2np}}+\cdots \right)+(k-n)\left({-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}}-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\left(-np-x{\sqrt {npq}}\right)\left({x{\sqrt {\frac {q}{np}}}}-{\frac {x^{2}q}{2np}}+\cdots \right)+\left(np+x{\sqrt {npq}}-n\right)\left(-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\left(-np-x{\sqrt {npq}}\right)\left(x{\sqrt {\frac {q}{np}}}-{\frac {x^{2}q}{2np}}+\cdots \right)-\left(nq-x{\sqrt {npq}}\right)\left(-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{\left(-x{\sqrt {npq}}+{\frac {1}{2}}x^{2}q-x^{2}q+\cdots \right)+\left(x{\sqrt {npq}}+{\frac {1}{2}}x^{2}p-x^{2}p-\cdots \right)\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-{\frac {1}{2}}x^{2}q-{\frac {1}{2}}x^{2}p-\cdots \right\}\\&={\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-{\frac {1}{2}}x^{2}(p+q)-\cdots \right\}\\&\simeq {\frac {1}{\sqrt {2\pi npq}}}\exp \left\{-{\frac {1}{2}}x^{2}\right\}\\&={\frac {1}{\sqrt {2\pi npq}}}e^{\frac {-(k-np)^{2}}{2npq}}\\\end{aligned}}}$

Каждое « » в приведенном выше аргументе представляет собой утверждение о том, что две величины асимптотически эквивалентны по мере увеличения n , в том же смысле, что и в исходном утверждении теоремы, т. е. что отношение каждой пары величин приближается к 1 при n → ∞. ${\displaystyle \simeq }$

Смотрите также

• Предельная теорема Пуассона - альтернативное приближение биномиального распределения для больших значений n .

Примечания

1. Уокер, Хелен М. (1985). «Де Муавр о законе нормальной вероятности» (PDF) . В Смите, Дэвид Юджин (ред.). Справочник по математике. Дувр. п. 78. ИСБН 0-486-64690-4. Но хотя проведение бесконечного числа экспериментов нецелесообразно, предыдущие выводы вполне могут быть применены к конечным числам, при условии, что они велики, например, если провести 3600 экспериментов, получится n = 3600, следовательно, ½ n будет be = 1800 и ½√ n 30, то Вероятность того, что Событие не появится ни чаще, чем 1830 раз, ни реже, чем 1770 раз, будет равна 0,682688.
2. Папулис, Афанасиос ; Пиллаи, С. Унникришна (2002). Вероятность, случайные величины и случайные процессы (4-е изд.). Бостон: МакГроу-Хилл. ISBN 0-07-122661-3.
3. Феллер, В. (1968). Введение в теорию вероятностей и ее приложения . Том. 1. Уайли. Раздел VII.3. ISBN 0-471-25708-7.
4. Таматтур, Аджой (2018). «Нормальный предел бинома через дискретную производную». Математический журнал колледжа . 49 (3): 216–217. дои : 10.1080/07468342.2018.1440872. S2CID  125977913.