Биномиальное распределение

Распределение вероятностей

Биномиальное распределение для с n и k , как в треугольнике Паскаля. Вероятность того, что шар в ящике Гальтона с 8 слоями ( n  = 8) окажется в центральном контейнере ( k  = 4), равна . ${\displaystyle p=0.5}$


${\displaystyle 70/256}$

В теории вероятностей и статистике биномиальное распределение с параметрами n и p представляет собой дискретное распределение вероятностей числа успехов в последовательности из n независимых экспериментов , каждый из которых задает вопрос « да-нет» и каждый имеет свой собственный логический результат : успех (с вероятностью p ) или неудача (с вероятностью ). Одиночный эксперимент успеха/неудачи также называется испытанием Бернулли или экспериментом Бернулли, а последовательность результатов называется процессом Бернулли ; для одного испытания, т. е. n  = 1, биномиальное распределение является распределением Бернулли . Биномиальное распределение является основой популярного биномиального теста статистической значимости . ^[1] ${\displaystyle q=1-p}$

Биномиальное распределение часто используется для моделирования количества успехов в выборке размера n , взятой с заменой из популяции размера N. Если выборка осуществляется без замещения, выборки не являются независимыми, и поэтому результирующее распределение является гипергеометрическим , а не биномиальным. Однако для N , намного большего, чем n , биномиальное распределение остается хорошим приближением и широко используется.

Определения

Функция массы вероятности

В общем, если случайная величина X соответствует биномиальному распределению с параметрами n ∈ и p ∈ [0,1], мы пишем X  ~ B( n ,  p ). Вероятность получения ровно k успехов в n независимых испытаниях Бернулли (с одинаковой частотой p ) определяется функцией массы вероятности : ${\displaystyle \mathbb {N} }$

${\displaystyle f(k,n,p)=\Pr(k;n,p)=\Pr(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}}$

для k  = 0, 1, 2, ...,  n , где

${\displaystyle {\binom {n}{k}}={\frac {n!}{k!(n-k)!}}}$

– биномиальный коэффициент , отсюда и название распределения. Формулу можно понять следующим образом: k успехов происходит с вероятностью p ^k и n  −  k неудач происходит с вероятностью . Однако k успехов могут произойти где угодно среди n испытаний, и существуют разные способы распределения k успехов в последовательности из n испытаний. ${\displaystyle (1-p)^{n-k}}$ ${\displaystyle {\tbinom {n}{k}}}$

При создании справочных таблиц биномиального распределения вероятностей обычно таблица заполняется до n /2 значений. Это связано с тем, что при k  >  n /2 вероятность можно вычислить по ее дополнению как

${\displaystyle f(k,n,p)=f(n-k,n,1-p).}$

Если посмотреть на выражение f ( k ,  n ,  p ) как на функцию k , то можно найти значение k , которое максимизирует его. Это значение k можно найти, вычислив

${\displaystyle {\frac {f(k+1,n,p)}{f(k,n,p)}}={\frac {(n-k)p}{(k+1)(1-p)}}}$

и сравнивая его с 1. Всегда существует целое число M , удовлетворяющее ^[2]

${\displaystyle (n+1)p-1\leq M<(n+1)p.}$

f ( k ,  n ,  p ) монотонно возрастает при k  <  M и монотонно убывает при k  >  M , за исключением случая, когда ( n  + 1) p является целым числом. В этом случае есть два значения, при которых f максимально: ( n  + 1) p и ( n  + 1) p  − 1. M — наиболее вероятный исход (т. е. наиболее вероятный, хотя это все же может быть маловероятным). в целом) испытаний Бернулли и называется модой .

Эквивалентно, . Взяв функцию пола , получим . ^{[примечание 1]} ${\displaystyle M-p<np\leq M+1-p}$ ${\displaystyle M=floor(np)}$

Пример

Предположим, что при броске смещенной монеты выпадет орел с вероятностью 0,3. Вероятность увидеть ровно 4 орла за 6 бросков равна

${\displaystyle f(4,6,0.3)={\binom {6}{4}}0.3^{4}(1-0.3)^{6-4}=0.059535.}$

Кумулятивная функция распределения

Кумулятивную функцию распределения можно выразить как:

${\displaystyle F(k;n,p)=\Pr(X\leq k)=\sum _{i=0}^{\lfloor k\rfloor }{n \choose i}p^{i}(1-p)^{n-i},}$

где — «пол» под k , т.е. наибольшее целое число, меньшее или равное k . ${\displaystyle \lfloor k\rfloor }$

Ее также можно представить через регуляризованную неполную бета-функцию следующим образом: ^[3]

${\displaystyle {\begin{aligned}F(k;n,p)&=\Pr(X\leq k)\\&=I_{1-p}(n-k,k+1)\\&=(n-k){n \choose k}\int _{0}^{1-p}t^{n-k-1}(1-t)^{k}\,dt.\end{aligned}}}$

что эквивалентно кумулятивной функции распределения F - распределения : ^[4]

${\displaystyle F(k;n,p)=F_{F{\text{-distribution}}}\left(x={\frac {1-p}{p}}{\frac {k+1}{n-k}};d_{1}=2(n-k),d_{2}=2(k+1)\right).}$

Некоторые оценки в замкнутой форме для кумулятивной функции распределения приведены ниже.

Характеристики

Ожидаемое значение и дисперсия

Если X ~ B ( n , p ), то есть X — случайная величина с биномиальным распределением, где n — общее количество экспериментов, а p — вероятность того, что каждый эксперимент даст успешный результат, то ожидаемое значение X равно : ^{[5] ]}

${\displaystyle \operatorname {E} [X]=np.}$

Это следует из линейности ожидаемого значения, а также из того факта, что X представляет собой сумму n одинаковых случайных величин Бернулли, каждая из которых имеет ожидаемое значение p . Другими словами, если являются одинаковыми (и независимыми) случайными величинами Бернулли с параметром p , то и ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle X=X_{1}+\cdots +X_{n}}$

${\displaystyle \operatorname {E} [X]=\operatorname {E} [X_{1}+\cdots +X_{n}]=\operatorname {E} [X_{1}]+\cdots +\operatorname {E} [X_{n}]=p+\cdots +p=np.}$

Разница составляет :

${\displaystyle \operatorname {Var} (X)=npq=np(1-p).}$

Это аналогичным образом следует из того факта, что дисперсия суммы независимых случайных величин есть сумма дисперсий.

Высшие моменты

Первые 6 центральных моментов , определяемые как , определяются выражением ${\displaystyle \mu _{c}=\operatorname {E} \left[(X-\operatorname {E} [X])^{c}\right]}$

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=np(1-p),\\\mu _{3}&=np(1-p)(1-2p),\\\mu _{4}&=np(1-p)(1+(3n-6)p(1-p)),\\\mu _{5}&=np(1-p)(1-2p)(1+(10n-12)p(1-p)),\\\mu _{6}&=np(1-p)(1-30p(1-p)(1-4p(1-p))+5np(1-p)(5-26p(1-p))+15n^{2}p^{2}(1-p)^{2}).\end{aligned}}}$

Нецентральные моменты удовлетворяют

${\displaystyle {\begin{aligned}\operatorname {E} [X]&=np,\\\operatorname {E} [X^{2}]&=np(1-p)+n^{2}p^{2},\end{aligned}}}$

и вообще ^{[6] [7]}

${\displaystyle \operatorname {E} [X^{c}]=\sum _{k=0}^{c}\left\{{c \atop k}\right\}n^{\underline {k}}p^{k},}$

где - числа Стирлинга второго рода , а --я падающая степень . Простая оценка ^[8] следует путем ограничения биномиальных моментов через высшие моменты Пуассона : ${\displaystyle \textstyle \left\{{c \atop k}\right\}}$ ${\displaystyle n^{\underline {k}}=n(n-1)\cdots (n-k+1)}$ ${\displaystyle k}$ ${\displaystyle n}$

${\displaystyle \operatorname {E} [X^{c}]\leq \left({\frac {c}{\log(c/(np)+1)}}\right)^{c}\leq (np)^{c}\exp \left({\frac {c^{2}}{2np}}\right).}$

Это показывает, что если , то не более чем постоянный множитель вдали от ${\displaystyle c=O({\sqrt {np}})}$ ${\displaystyle \operatorname {E} [X^{c}]}$ ${\displaystyle \operatorname {E} [X]^{c}}$

Режим

Обычно мода биномиального распределения B ( n ,  p ) равна , где – функция пола . Однако, когда ( n  + 1) p является целым числом и p не равно ни 0, ни 1, тогда распределение имеет два режима: ( n  + 1) p и ( n  + 1) p  - 1. Когда p равно 0 или 1, режим будет 0 и n соответственно. Эти случаи можно резюмировать следующим образом: ${\displaystyle \lfloor (n+1)p\rfloor }$ ${\displaystyle \lfloor \cdot \rfloor }$

${\displaystyle {\text{mode}}={\begin{cases}\lfloor (n+1)\,p\rfloor &{\text{if }}(n+1)p{\text{ is 0 or a noninteger}},\\(n+1)\,p\ {\text{ and }}\ (n+1)\,p-1&{\text{if }}(n+1)p\in \{1,\dots ,n\},\\n&{\text{if }}(n+1)p=n+1.\end{cases}}}$

Доказательство: Пусть

${\displaystyle f(k)={\binom {n}{k}}p^{k}q^{n-k}.}$

For имеет ненулевое значение только с . Ибо мы находим и для . Это доказывает, что мода равна 0 для и для . ${\displaystyle p=0}$ ${\displaystyle f(0)}$ ${\displaystyle f(0)=1}$ ${\displaystyle p=1}$ ${\displaystyle f(n)=1}$ ${\displaystyle f(k)=0}$ ${\displaystyle k\neq n}$ ${\displaystyle p=0}$ ${\displaystyle n}$ ${\displaystyle p=1}$

Позволять . Мы нашли ${\displaystyle 0<p<1}$

${\displaystyle {\frac {f(k+1)}{f(k)}}={\frac {(n-k)p}{(k+1)(1-p)}}}$.

Из этого следует

${\displaystyle {\begin{aligned}k>(n+1)p-1\Rightarrow f(k+1)<f(k)\\k=(n+1)p-1\Rightarrow f(k+1)=f(k)\\k<(n+1)p-1\Rightarrow f(k+1)>f(k)\end{aligned}}}$

Итак, когда является целым числом, тогда и является модой. В том случае , это только режим. ^[9] ${\displaystyle (n+1)p-1}$ ${\displaystyle (n+1)p-1}$ ${\displaystyle (n+1)p}$ ${\displaystyle (n+1)p-1\notin \mathbb {Z} }$ ${\displaystyle \lfloor (n+1)p-1\rfloor +1=\lfloor (n+1)p\rfloor }$

медиана

В общем, не существует единой формулы для нахождения медианы для биномиального распределения, и она может даже быть неоднозначной. Однако было установлено несколько особых результатов:

• Если – целое число, то среднее значение, медиана и мода совпадают и равны . ^{[10] [11]} ${\displaystyle np}$ ${\displaystyle np}$
• Любая медиана m должна лежать в пределах интервала . ^[12] ${\displaystyle \lfloor np\rfloor \leq m\leq \lceil np\rceil }$
• Медиана m не может лежать слишком далеко от среднего значения: . ^[13] ${\displaystyle |m-np|\leq \min\{{\ln 2},\max\{p,1-p\}\}}$
• Медиана уникальна и равна m  =  round ( np ) при (кроме случая, когда и n нечетно). ^[12] ${\displaystyle |m-np|\leq \min\{p,1-p\}}$ ${\displaystyle p={\frac {1}{2}}}$
• Когда p — рациональное число (за исключением и n нечетного), медиана уникальна. ^[14] ${\displaystyle p={\frac {1}{2}}}$
• Когда и n нечетно, любое число m в интервале является медианой биномиального распределения. Если и n четно, то это единственная медиана. ${\displaystyle p={\frac {1}{2}}}$ ${\displaystyle {\frac {1}{2}}{\bigl (}n-1{\bigr )}\leq m\leq {\frac {1}{2}}{\bigl (}n+1{\bigr )}}$ ${\displaystyle p={\frac {1}{2}}}$ ${\displaystyle m={\frac {n}{2}}}$

Хвостовые границы

Для k ≤ np верхние границы могут быть получены для нижнего хвоста кумулятивной функции распределения , вероятности того, что будет не более k успехов. Поскольку эти границы можно также рассматривать как границы верхнего хвоста кумулятивной функции распределения при k ≥ np . ${\displaystyle F(k;n,p)=\Pr(X\leq k)}$ ${\displaystyle \Pr(X\geq k)=F(n-k;n,1-p)}$

Неравенство Хёффдинга дает простую оценку

${\displaystyle F(k;n,p)\leq \exp \left(-2n\left(p-{\frac {k}{n}}\right)^{2}\right),\!}$

что, однако, не очень плотно. В частности, для p = 1 мы имеем, что F ( k ; n , p ) = 0 (при фиксированном k , n с k  <  n ), но оценка Хеффдинга оценивается как положительная константа.

Более точную оценку можно получить из оценки Чернова : ^[15]

${\displaystyle F(k;n,p)\leq \exp \left(-nD\left({\frac {k}{n}}\parallel p\right)\right)}$

где D ( a || p ) — относительная энтропия (или расхождение Кульбака-Лейблера) между a -монетой и p -монетой (т.е. между распределениями Бернулли( a ) и Бернулли( p )):

${\displaystyle D(a\parallel p)=(a)\log {\frac {a}{p}}+(1-a)\log {\frac {1-a}{1-p}}.\!}$

Асимптотически эта граница достаточно точна; подробности см. в ^[15] .

Можно также получить нижние оценки хвоста , известные как границы антиконцентрации. Аппроксимируя биномиальный коэффициент формулой Стирлинга, можно показать, что ^[16] ${\displaystyle F(k;n,p)}$

${\displaystyle F(k;n,p)\geq {\frac {1}{\sqrt {8n{\tfrac {k}{n}}(1-{\tfrac {k}{n}})}}}\exp \left(-nD\left({\frac {k}{n}}\parallel p\right)\right),}$

что подразумевает более простую, но более слабую оценку

${\displaystyle F(k;n,p)\geq {\frac {1}{\sqrt {2n}}}\exp \left(-nD\left({\frac {k}{n}}\parallel p\right)\right).}$

Для p = 1/2 и k ≥ 3 n /8 для четных n можно сделать знаменатель постоянным: ^[17]

${\displaystyle F(k;n,{\tfrac {1}{2}})\geq {\frac {1}{15}}\exp \left(-16n\left({\frac {1}{2}}-{\frac {k}{n}}\right)^{2}\right).\!}$

Статистические выводы

Оценка параметров

Когда n известно, параметр p можно оценить, используя долю успехов:

${\displaystyle {\widehat {p}}={\frac {x}{n}}.}$

Эта оценка находится с использованием оценки максимального правдоподобия , а также метода моментов . Эта оценка является несмещенной и равномерной с минимальной дисперсией , что доказано с помощью теоремы Лемана – Шеффе , поскольку она основана на минимальной достаточной и полной статистике (т. е.: x ). Оно также согласовано как по вероятности, так и по MSE .

Закрытая форма оценки Байеса для p также существует при использовании бета-распределения в качестве сопряженного априорного распределения . При использовании общего значения в качестве априорного апостериорная средняя оценка равна: ${\displaystyle \operatorname {Beta} (\alpha ,\beta )}$

${\displaystyle {\widehat {p}}_{b}={\frac {x+\alpha }{n+\alpha +\beta }}.}$

Оценка Байеса асимптотически эффективна и, когда размер выборки приближается к бесконечности ( n → ∞), она приближается к решению MLE . ^[18] Оценка Байеса смещена (насколько зависит от априорных значений), допустима и непротиворечива по вероятности.

В частном случае использования стандартного равномерного распределения в качестве неинформативного априорного значения апостериорная средняя оценка принимает вид: ${\displaystyle \operatorname {Beta} (\alpha =1,\beta =1)=U(0,1)}$

${\displaystyle {\widehat {p}}_{b}={\frac {x+1}{n+2}}.}$

( Апостериорная мода должна просто приводить к стандартной оценке.) Этот метод называется правилом последовательности , которое было введено в 18 веке Пьером-Симоном Лапласом .

При оценке p при очень редких событиях и небольшом n (например: если x=0) использование стандартной оценки приводит к тому, что иногда нереально и нежелательно. В таких случаях существуют различные альтернативные оценки. ^[19] Один из способов — использовать оценку Байеса, что приводит к: ${\displaystyle {\widehat {p}}=0,}$

${\displaystyle {\widehat {p}}_{b}={\frac {1}{n+2}}.}$

Другой метод заключается в использовании верхней границы доверительного интервала , полученного с помощью правила трех :

${\displaystyle {\widehat {p}}_{\text{rule of 3}}={\frac {3}{n}}.}$

Доверительные интервалы

Даже для довольно больших значений n фактическое распределение среднего существенно ненормально. ^[20] Из-за этой проблемы было предложено несколько методов оценки доверительных интервалов.

В приведенных ниже уравнениях доверительных интервалов переменные имеют следующее значение:

• n ₁ — количество успехов из n , общее количество попыток
• ${\displaystyle {\widehat {p\,}}={\frac {n_{1}}{n}}}$это доля успехов
• ${\displaystyle z}$— квантиль стандартного нормального распределения (т. е. пробита ), соответствующего целевой частоте ошибок . Например, для уровня достоверности 95% ошибка  = 0,05, поэтому  = 0,975 и  = 1,96. ${\displaystyle 1-{\tfrac {1}{2}}\alpha }$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$ ${\displaystyle 1-{\tfrac {1}{2}}\alpha }$ ${\displaystyle z}$

Метод Вальда

${\displaystyle {\widehat {p\,}}\pm z{\sqrt {\frac {{\widehat {p\,}}(1-{\widehat {p\,}})}{n}}}.}$

Может быть добавлена ​​поправка на непрерывность 0,5/ n . ^{[ нужны разъяснения ]}

Метод Агрести-Кулла

^[21]

${\displaystyle {\tilde {p}}\pm z{\sqrt {\frac {{\tilde {p}}(1-{\tilde {p}})}{n+z^{2}}}}}$

Здесь оценка p изменяется на

${\displaystyle {\tilde {p}}={\frac {n_{1}+{\frac {1}{2}}z^{2}}{n+z^{2}}}}$

Этот метод хорошо работает для и . ^[22] См. здесь . ^[23] Для использования метода Вильсона (оценка), приведенного ниже. ${\displaystyle n>10}$ ${\displaystyle n_{1}\neq 0,n}$ ${\displaystyle n\leq 10}$ ${\displaystyle n_{1}=0,n}$

Арксинусный метод

^[24]

${\displaystyle \sin ^{2}\left(\arcsin \left({\sqrt {\widehat {p\,}}}\right)\pm {\frac {z}{2{\sqrt {n}}}}\right).}$

Метод Вильсона (оценка)

Обозначения в приведенной ниже формуле отличаются от предыдущих формул в двух отношениях: ^[25]

• Во-первых, z _x имеет несколько иную интерпретацию в приведенной ниже формуле: она имеет свое обычное значение « х -й квантиль стандартного нормального распределения», а не является сокращением от «(1 -  x )-й квантиль».
• Во-вторых, эта формула не использует плюс-минус для определения двух границ. Вместо этого можно использовать для получения нижней границы или использовать для получения верхней границы. Например: для уровня достоверности 95% ошибка  = 0,05, поэтому нижнюю границу можно получить с помощью , а верхнюю границу — с помощью . ${\displaystyle z=z_{\alpha /2}}$ ${\displaystyle z=z_{1-\alpha /2}}$ ${\displaystyle \alpha }$ ${\displaystyle z=z_{\alpha /2}=z_{0.025}=-1.96}$ ${\displaystyle z=z_{1-\alpha /2}=z_{0.975}=1.96}$

${\displaystyle {\frac {{\widehat {p\,}}+{\frac {z^{2}}{2n}}+z{\sqrt {{\frac {{\widehat {p\,}}(1-{\widehat {p\,}})}{n}}+{\frac {z^{2}}{4n^{2}}}}}}{1+{\frac {z^{2}}{n}}}}}$^[26]

Сравнение

Так называемый «точный» метод ( Клоппера–Пирсона ) является наиболее консервативным. ^[20] ( Точный не означает абсолютно точный; скорее, это указывает на то, что оценки не будут менее консервативными, чем истинное значение.)

Метод Вальда, хотя его обычно рекомендуют в учебниках, является наиболее предвзятым. ^{[ нужны разъяснения ]}

Связанные дистрибутивы

Суммы биномов

Если X  ~ B( n ,  p ) и Y  ~ B( m ,  p ) — независимые биномиальные переменные с одинаковой вероятностью p , то X  +  Y снова является биномиальной переменной; его распределение Z=X+Y  ~ B( n+m ,  p ): ^[27]

${\displaystyle {\begin{aligned}\operatorname {P} (Z=k)&=\sum _{i=0}^{k}\left[{\binom {n}{i}}p^{i}(1-p)^{n-i}\right]\left[{\binom {m}{k-i}}p^{k-i}(1-p)^{m-k+i}\right]\\&={\binom {n+m}{k}}p^{k}(1-p)^{n+m-k}\end{aligned}}}$

Биномиально распределенную случайную величину X  ~ B( n ,  p ) можно рассматривать как сумму n случайных величин, распределенных по Бернулли. Таким образом, сумма двух случайных величин с биномиальным распределением X  ~ B( n ,  p ) и Y  ~ B( m ,  p ) эквивалентна сумме n  +  m случайных величин с распределением Бернулли, что означает Z=X+Y  ~ B( п+т ,  р ). Это также можно доказать непосредственно с помощью правила сложения.

Однако если X и Y не имеют одинаковую вероятность p , то дисперсия суммы будет меньше, чем дисперсия биномиальной переменной, распределенной как ${\displaystyle B(n+m,{\bar {p}}).\,}$

Биномиальное распределение Пуассона

Биномиальное распределение — это частный случай биномиального распределения Пуассона , которое представляет собой распределение суммы n независимых неидентичных испытаний Бернулли B( p _i ). ^[28]

Отношение двух биномиальных распределений

Этот результат был впервые получен Кацем и соавторами в 1978 году. ^[29]

Пусть X ~ B( n , p1 ) и Y ~ B ₍ m , p2 ) _{независимы} . Пусть Т = ( Икс / п ) / ( Y / м ) .

Тогда log( T ) примерно нормально распределяется со средним log( p ₁ / p ₂ ) и дисперсией ((1/ p ₁ ) − 1)/ n + ((1/ p ₂ ) − 1)/ m .

Условные биномы

Если X  ~ B( n ,  p ) и Y  | X  ~ B( X ,  q ) (условное распределение Y при заданном  X ), тогда Y — простая биномиальная случайная величина с распределением Y  ~ B( n ,  pq ).

Например, представьте, что вы бросаете _n мячей в корзину UX , берете попавшие мячи и бросаете их в другую корзину U _Y . Если p — вероятность попасть в U _X , то X  ~ B( n ,  p ) — количество шаров, попавших в U _X. Если q — вероятность попасть в U _Y , то количество шаров, попавших в U _Y , равно Y  ~ B( X ,  q ) и, следовательно, Y  ~ B( n ,  pq ).

[Доказательство]

Так как и по закону полной вероятности , ${\displaystyle X\sim B(n,p)}$ ${\displaystyle Y\sim B(X,q)}$

${\displaystyle {\begin{aligned}\Pr[Y=m]&=\sum _{k=m}^{n}\Pr[Y=m\mid X=k]\Pr[X=k]\\[2pt]&=\sum _{k=m}^{n}{\binom {n}{k}}{\binom {k}{m}}p^{k}q^{m}(1-p)^{n-k}(1-q)^{k-m}\end{aligned}}}$

Поскольку приведенное выше уравнение можно выразить как ${\displaystyle {\tbinom {n}{k}}{\tbinom {k}{m}}={\tbinom {n}{m}}{\tbinom {n-m}{k-m}},}$

${\displaystyle \Pr[Y=m]=\sum _{k=m}^{n}{\binom {n}{m}}{\binom {n-m}{k-m}}p^{k}q^{m}(1-p)^{n-k}(1-q)^{k-m}}$

Факторизация и вытягивание из суммы всех членов, которые не зависят от, теперь дает ${\displaystyle p^{k}=p^{m}p^{k-m}}$ ${\displaystyle k}$

${\displaystyle {\begin{aligned}\Pr[Y=m]&={\binom {n}{m}}p^{m}q^{m}\left(\sum _{k=m}^{n}{\binom {n-m}{k-m}}p^{k-m}(1-p)^{n-k}(1-q)^{k-m}\right)\\[2pt]&={\binom {n}{m}}(pq)^{m}\left(\sum _{k=m}^{n}{\binom {n-m}{k-m}}\left(p(1-q)\right)^{k-m}(1-p)^{n-k}\right)\end{aligned}}}$

Подставив в выражение выше, получим ${\displaystyle i=k-m}$

${\displaystyle \Pr[Y=m]={\binom {n}{m}}(pq)^{m}\left(\sum _{i=0}^{n-m}{\binom {n-m}{i}}(p-pq)^{i}(1-p)^{n-m-i}\right)}$

Обратите внимание, что сумма (в скобках) выше равна по биномиальной теореме . Подстановка этого, наконец, дает ${\displaystyle (p-pq+1-p)^{n-m}}$

${\displaystyle {\begin{aligned}\Pr[Y=m]&={\binom {n}{m}}(pq)^{m}(p-pq+1-p)^{n-m}\\[4pt]&={\binom {n}{m}}(pq)^{m}(1-pq)^{n-m}\end{aligned}}}$

и так по желанию. ${\displaystyle Y\sim B(n,pq)}$

Распределение Бернулли

Распределение Бернулли является частным случаем биномиального распределения, где n  = 1. Символически X  ~ B(1,  p ) имеет тот же смысл, что и X  ~ Бернулли( p ). И наоборот, любое биномиальное распределение B( n ,  p ) представляет собой распределение суммы n независимых испытаний Бернулли , Бернулли ( p ), каждое с одинаковой вероятностью p . ^[30]

Нормальное приближение

Биномиальная функция массы вероятности и аппроксимация нормальной функции плотности вероятности для n  = 6 и p  = 0,5

Если n достаточно велико, то перекос распределения не слишком велик. В этом случае разумное приближение к B( n ,  p ) дается нормальным распределением

${\displaystyle {\mathcal {N}}(np,\,np(1-p)),}$

и это базовое приближение можно простым способом улучшить, используя подходящую поправку на непрерывность . Базовое приближение обычно улучшается по мере увеличения n (по крайней мере 20) и становится лучше, когда p не близко к 0 или 1. ^[31] Чтобы решить, достаточно ли велико n, а p достаточно далеко от крайние значения нуля или единицы:

• Одно из правил ^[31] состоит в том, что для n > 5 нормальное приближение адекватно, если абсолютное значение асимметрии строго меньше 0,3; то есть, если

${\displaystyle {\frac {|1-2p|}{\sqrt {np(1-p)}}}={\frac {1}{\sqrt {n}}}\left|{\sqrt {\frac {1-p}{p}}}-{\sqrt {\frac {p}{1-p}}}\,\right|<0.3.}$

Это можно уточнить, используя теорему Берри-Эссеена .

• Более строгое правило гласит, что нормальное приближение подходит только в том случае, если все в пределах трех стандартных отклонений от его среднего значения находится в диапазоне возможных значений; то есть только если

${\displaystyle \mu \pm 3\sigma =np\pm 3{\sqrt {np(1-p)}}\in (0,n).}$

Это правило трех стандартных отклонений эквивалентно следующим условиям, которые также подразумевают первое правило, приведенное выше.

${\displaystyle n>9\left({\frac {1-p}{p}}\right)\quad {\text{and}}\quad n>9\left({\frac {p}{1-p}}\right).}$

[Доказательство]

Это правило полностью эквивалентно запросу, ${\displaystyle np\pm 3{\sqrt {np(1-p)}}\in (0,n)}$

${\displaystyle np-3{\sqrt {np(1-p)}}>0\quad {\text{and}}\quad np+3{\sqrt {np(1-p)}}<n.}$

Перемещение терминов по доходности:

${\displaystyle np>3{\sqrt {np(1-p)}}\quad {\text{and}}\quad n(1-p)>3{\sqrt {np(1-p)}}.}$

Поскольку , мы можем применить квадрат мощности и разделить на соответствующие коэффициенты и , чтобы получить желаемые условия: ${\displaystyle 0<p<1}$ ${\displaystyle np^{2}}$ ${\displaystyle n(1-p)^{2}}$

${\displaystyle n>9\left({\frac {1-p}{p}}\right)\quad {\text{and}}\quad n>9\left({\frac {p}{1-p}}\right).}$

Обратите внимание, что эти условия автоматически подразумевают, что . С другой стороны, снова примените квадратный корень и разделите на 3, ${\displaystyle n>9}$

${\displaystyle {\frac {\sqrt {n}}{3}}>{\sqrt {\frac {1-p}{p}}}>0\quad {\text{and}}\quad {\frac {\sqrt {n}}{3}}>{\sqrt {\frac {p}{1-p}}}>0.}$

Вычитание второго набора неравенств из первого дает:

${\displaystyle {\frac {\sqrt {n}}{3}}>{\sqrt {\frac {1-p}{p}}}-{\sqrt {\frac {p}{1-p}}}>-{\frac {\sqrt {n}}{3}};}$

и, таким образом, желаемое первое правило выполнено,

${\displaystyle \left|{\sqrt {\frac {1-p}{p}}}-{\sqrt {\frac {p}{1-p}}}\,\right|<{\frac {\sqrt {n}}{3}}.}$

• Другое часто используемое правило заключается в том, что оба значения и должны быть больше ^{[32] [33]} или равны 5. Однако конкретное число варьируется от источника к источнику и зависит от того, насколько хорошее приближение требуется. В частности, если вместо 5 использовать 9, правило подразумевает результаты, указанные в предыдущих параграфах. ${\displaystyle np}$ ${\displaystyle n(1-p)}$

[Доказательство]

Предположим, что оба значения и больше 9. Поскольку , мы легко получаем, что ${\displaystyle np}$ ${\displaystyle n(1-p)}$ ${\displaystyle 0<p<1}$

${\displaystyle np\geq 9>9(1-p)\quad {\text{and}}\quad n(1-p)\geq 9>9p.}$

Теперь нам нужно только разделить на соответствующие коэффициенты и , чтобы вывести альтернативную форму правила 3-х стандартных отклонений: ${\displaystyle p}$ ${\displaystyle 1-p}$

${\displaystyle n>9\left({\frac {1-p}{p}}\right)\quad {\text{and}}\quad n>9\left({\frac {p}{1-p}}\right).}$

Ниже приведен пример применения поправки на непрерывность . Предположим , кто-то хочет вычислить Pr( X  ≤ 8) для биномиальной случайной величины X. Если Y имеет распределение, заданное нормальным приближением, то Pr( X  ≤ 8) аппроксимируется Pr( Y  ≤ 8,5). Добавление 0,5 представляет собой поправку на непрерывность; неисправленное нормальное приближение дает значительно менее точные результаты.

Это приближение, известное как теорема Муавра – Лапласа , значительно экономит время при выполнении вычислений вручную (точные вычисления с большими n очень обременительны); исторически это было первое использование нормального распределения, представленное в книге Абрахама де Муавра «Доктрина шансов» в 1738 году. Сегодня это можно рассматривать как следствие центральной предельной теоремы , поскольку B( n ,  p ) является сумма n независимых, одинаково распределенных переменных Бернулли с параметром  p . Этот факт является основой проверки гипотезы , «z-критерия пропорции», для значения p с использованием x/n , выборочной доли и оценки p , в общей тестовой статистике . ^[34]

Например, предположим, что кто-то случайным образом выбирает n человек из большой популяции и спрашивает их, согласны ли они с определенным утверждением. Доля согласных, конечно, будет зависеть от выборки. Если бы группы из n людей отбирались повторно и по-настоящему случайным образом, пропорции следовали бы приблизительно нормальному распределению со средним значением, равным истинной доле согласия p в популяции и со стандартным отклонением.

${\displaystyle \sigma ={\sqrt {\frac {p(1-p)}{n}}}}$

Пуассоновское приближение

Биномиальное распределение сходится к распределению Пуассона , когда количество испытаний стремится к бесконечности, а произведение np сходится к конечному пределу. Следовательно, распределение Пуассона с параметром λ = np можно использовать как аппроксимацию B( n , p ) биномиального распределения, если n достаточно велико, а p достаточно мало. Согласно эмпирическим правилам, это приближение хорошо, если n  ≥ 20 и p  ≤ 0,05 ^[35] такие, что np ≤ 1, или если n > 50 и p < 0,1 такие, что np < 5, ^[36] или если n  ≥ 100 и np  ≤ 10. ^{[37] [38]}

По поводу точности пуассоновской аппроксимации см. Новак, ^[39], гл. 4 и ссылки в нем.

Ограничение дистрибутивов

• Предельная теорема Пуассона : когда n приближается к ∞, а p приближается к 0 при фиксированномпроизведении np , биномиальное распределение ( n ,  p ) приближается к распределению Пуассона с ожидаемым значением λ = np . ^[37]
• Теорема Муавра – Лапласа : когда n приближается к ∞, а p остается фиксированным, распределение

${\displaystyle {\frac {X-np}{\sqrt {np(1-p)}}}}$

приближается к нормальному распределению с ожидаемым значением 0 и дисперсией  1. Иногда этот результат формулируют в общих чертах, говоря, что распределение X является асимптотически нормальным с ожидаемым значением 0 и дисперсией  1. Этот результат является частным случаем центральной предельной теоремы .

Бета-дистрибутив

Биномиальное распределение и бета-распределение представляют собой разные взгляды на одну и ту же модель повторяющихся испытаний Бернулли. Биномиальное распределение представляет собой PMF k успехов при n независимых событиях , каждое из которых имеет вероятность успеха p . Математически, когда α = k + 1 и β = n − k + 1 , бета-распределение и биномиальное распределение связаны ^{[ необходимы пояснения ]} коэффициентом n + 1 :

${\displaystyle \operatorname {Beta} (p;\alpha ;\beta )=(n+1)B(k;n;p)}$

Бета-распределения также представляют собой семейство априорных распределений вероятностей для биномиальных распределений в байесовском выводе : ^[40]

${\displaystyle P(p;\alpha ,\beta )={\frac {p^{\alpha -1}(1-p)^{\beta -1}}{\operatorname {Beta} (\alpha ,\beta )}}.}$

Учитывая единообразие априора, апостериорное распределение вероятности успеха p при условии n независимых событий с k наблюдаемыми успехами является бета-распределением. ^[41]

Генерация случайных чисел

Методы генерации случайных чисел , в которых маргинальное распределение является биномиальным, хорошо известны. ^{[42] [43]} Одним из способов создания выборок случайных величин из биномиального распределения является использование алгоритма инверсии. Для этого необходимо вычислить вероятность того, что Pr( X = k ) для всех значений k от 0 до n . (Эти вероятности должны в сумме давать значение, близкое к единице, чтобы охватить все пространство выборок.) Затем, используя генератор псевдослучайных чисел для равномерной генерации выборок от 0 до 1, можно преобразовать вычисленные выборки в дискретные числа, используя вероятности, рассчитанные на первом этапе.

История

Это распределение было получено Якобом Бернулли . Он рассмотрел случай, когда p = r /( r  +  s ), где p — вероятность успеха, а r и s — положительные целые числа. Блез Паскаль ранее рассмотрел случай, когда p  = 1/2, составив таблицу соответствующих биномиальных коэффициентов в том, что теперь известно как треугольник Паскаля . ^[44]

Смотрите также

• Математический портал

• Логистическая регрессия
• Полиномиальное распределение
• Отрицательное биномиальное распределение
• Бета-биномиальное распределение
• Биномиальная мера, пример мультифрактальной меры . ^[45]
• Статистическая механика
• Лемма о накоплении , результирующая вероятность при выполнении XOR независимых логических переменных

Рекомендации

1. Вестленд, Дж. Кристофер (2020). Аудиторская аналитика: наука о данных для бухгалтерской профессии . Чикаго, Иллинойс, США: Спрингер. п. 53. ИСБН 978-3-030-49091-1.
2. Феллер, В. (1968). Введение в теорию вероятностей и ее приложения (Третье изд.). Нью-Йорк: Уайли. п. 151 (теорема в разделе VI.3).
3. Уодсворт, врач общей практики (1960). Введение в теорию вероятности и случайных величин . Нью-Йорк: МакГроу-Хилл. п. 52.
4. Джоветт, GH (1963). «Связь между биномиальным и F-распределениями». Журнал Королевского статистического общества, серия D. 13 (1): 55–57. дои : 10.2307/2986663. JSTOR  2986663.
5. См. Доказательство Wiki.
6. Кноблаух, Андреас (2008), «Выражения в замкнутой форме для моментов биномиального распределения вероятностей», SIAM Journal on Applied Mathematics , 69 (1): 197–204, doi : 10.1137/070700024, JSTOR  40233780
7. Нгуен, Дуй (2021), «Вероятностный подход к моментам биномиальных случайных величин и его применение», The American Statistician , 75 (1): 101–103, doi : 10.1080/00031305.2019.1679257, S2CID  209923008
8. Д. Але, Томас (2022), «Точные и простые границы для необработанных моментов биномиального распределения и распределения Пуассона», Статистика и вероятностные письма , 182 : 109306, arXiv : 2103.17027 , doi : 10.1016/j.spl.2021.109306
9. См. также Николя, Андре (7 января 2019 г.). «Режим поиска в биномиальном распределении». Обмен стеками .
10. Нойманн, П. (1966). «Über den Median der Binomial- and Poissonverteilung». Wissenschaftliche Zeitschrift der Technischen Universität Dresden (на немецком языке). 19 :29–33.
11. Господи, Ник. (июль 2010 г.). «Биномиальные средние значения, когда среднее значение является целым числом», The Mathematical Gazette 94, 331–332.
12. Каас, Р.; Бурман, Дж. М. (1980). «Среднее, медиана и мода в биномиальных распределениях». Статистика Неерландики . 34 (1): 13–18. doi :10.1111/j.1467-9574.1980.tb00681.x.
13. Хамза, К. (1995). «Наименьшая равномерная верхняя граница расстояния между средним значением и медианой биномиального распределения и распределения Пуассона». Статистика и вероятностные буквы . 23 : 21–25. дои : 10.1016/0167-7152(94)00090-U.
14. Новаковский, Sz. (2021). «Единственность медианы биномиального распределения с рациональной вероятностью». Успехи математики: Научный журнал . 10 (4): 1951–1958. arXiv : 2004.03280 . дои : 10.37418/amsj.10.4.9. ISSN  1857-8365. S2CID  215238991.
15. Арратиа, Р.; Гордон, Л. (1989). «Урок по большим отклонениям биномиального распределения». Бюллетень математической биологии . 51 (1): 125–131. дои : 10.1007/BF02458840. PMID  2706397. S2CID  189884382.
16. Роберт Б. Эш (1990). Теория информации . Дуврские публикации. п. 115. ИСБН 9780486665214.
17. Матушек, Дж.; Вондрак, Дж. «Вероятностный метод» (PDF) . конспект лекций . Архивировано (PDF) из оригинала 9 октября 2022 г.
18. Уилкокс, Рэнд Р. (1979). «Оценка параметров бета-биномиального распределения». Образовательные и психологические измерения . 39 (3): 527–535. дои : 10.1177/001316447903900302. ISSN  0013-1644. S2CID  121331083.
19. Раззаги, Мехди (2002). «Об оценке биномиальной вероятности успеха при нулевом вхождении в выборку». Журнал современных прикладных статистических методов . 1 (2): 326–332. дои : 10.22237/jmasm/1036110000 .
20. Браун, Лоуренс Д.; Кай, Т. Тони; ДасГупта, Анирбан (2001), «Интервальная оценка биномиальной пропорции», Statistical Science , 16 (2): 101–133, CiteSeerX 10.1.1.323.7752 , doi :10.1214/ss/1009213286 , получено 5 января 2015 г. 
21. Агрести, Алан; Коулл, Брент А. (май 1998 г.), «Приблизительное лучше, чем« точное »для интервальной оценки биномиальных пропорций» (PDF) , The American Statistician , 52 (2): 119–126, doi : 10.2307/2685469, JSTOR  2685469 , получено 5 января 2015 г.
22. Гулотта, Джозеф. «Интервальный метод Агрести-Кулла». pellucid.atlassian.net . Проверено 18 мая 2021 г.
23. «Доверительные интервалы». itl.nist.gov . Проверено 18 мая 2021 г.
24. Пирес, Массачусетс (2002). «Доверительные интервалы для биномиальной пропорции: сравнение методов и оценка программного обеспечения» (PDF) . В Клинке, С.; Аренд, П.; Рихтер, Л. (ред.). Материалы конференции CompStat 2002 . Краткие сообщения и плакаты. Архивировано (PDF) из оригинала 9 октября 2022 г.
25. Уилсон, Эдвин Б. (июнь 1927 г.), «Вероятный вывод, закон последовательности и статистический вывод» (PDF) , Журнал Американской статистической ассоциации , 22 (158): 209–212, doi : 10.2307/2276774, JSTOR  2276774, заархивировано из оригинала (PDF) 13 января 2015 г. , получено 5 января 2015 г.
26. «Доверительные интервалы». Справочник по инженерной статистике . НИСТ/Сематех. 2012 . Проверено 23 июля 2017 г.
27. Деккинг, FM; Краайкамп, К.; Лопохаа, HP; Мистер, Л.Е. (2005). Современное введение в теорию вероятности и статистики (1-е изд.). Спрингер-Верлаг Лондон. ISBN 978-1-84628-168-6.
28. Ван, Ю.Х. (1993). «О количестве успехов в независимых испытаниях» (PDF) . Статистика Синица . 3 (2): 295–312. Архивировано из оригинала (PDF) 03 марта 2016 г.
29. Кац, Д.; и другие. (1978). «Получение доверительных интервалов для соотношения рисков в когортных исследованиях». Биометрия . 34 (3): 469–474. дои : 10.2307/2530610. JSTOR  2530610.
30. Табога, Марко. «Лекции по теории вероятностей и математической статистике». statlect.com . Проверено 18 декабря 2017 г.
31. Box, Охотник и охотник (1978). Статистика для экспериментаторов . Уайли. п. 130. ИСБН 9780471093152.
32. Чен, Зак (2011). Справочник по математике H2 (1-е изд.). Сингапур: Образовательное издательство. п. 350. ИСБН 9789814288484.
33. «6.4: Нормальное приближение к биномиальному распределению - LibreTexts статистики» . 29 мая 2023 г. Архивировано из оригинала 29 мая 2023 г. Проверено 7 октября 2023 г.{{cite web}}: CS1 maint: bot: original URL status unknown (link)
34. NIST / SEMATECH , «7.2.4. Соответствует ли доля дефектов требованиям?» Электронный справочник по статистическим методам.
35. «12.4 - Аппроксимация биномиального распределения | STAT 414» . 28 марта 2023 г. Архивировано из оригинала 28 марта 2023 г. Проверено 8 октября 2023 г.{{cite web}}: CS1 maint: bot: original URL status unknown (link)
36. Чен, Зак (2011). Справочник по математике H2 (1-е изд.). Сингапур: Учебное издательство. п. 348. ИСБН 9789814288484.
37. NIST / SEMATECH , «6.3.3.1. Контрольные диаграммы подсчета», электронный справочник по статистическим методам.
38. «Связь между распределениями Пуассона и биномиальным распределениями». 13 марта 2023 г. Архивировано из оригинала 13 марта 2023 г. Проверено 8 октября 2023 г.{{cite web}}: CS1 maint: bot: original URL status unknown (link)
39. Новак С.Ю. (2011) Методы экстремальной стоимости с применением к финансированию. Лондон: CRC/Чепмен и Холл/Тейлор и Фрэнсис. ISBN 9781-43983-5746 . 
40. Маккей, Дэвид (2003). Теория информации, логический вывод и алгоритмы обучения . Издательство Кембриджского университета; Первое издание. ISBN 978-0521642989.
41. «Бета-дистрибутив».
42. Деврой, Люк (1986) Генерация неоднородных случайных переменных , Нью-Йорк: Springer-Verlag. (Смотрите особенно главу X «Дискретные одномерные распределения»).
43. Качитвичянукул, В.; Шмайзер, Б.В. (1988). «Генерация биномиальных случайных величин». Коммуникации АКМ . 31 (2): 216–222. дои : 10.1145/42372.42381. S2CID  18698828.
44. Кац, Виктор (2009). «14.3: Элементарная вероятность». История математики: Введение . Аддисон-Уэсли. п. 491. ИСБН 978-0-321-38700-4.
45. Мандельброт, Б.Б., Фишер, А.Дж., и Кальвет, Л.Е. (1997). Мультифрактальная модель доходности активов. 3.2. Биномиальная мера – простейший пример мультифрактала.

1. За исключением тривиального случая , который необходимо проверять отдельно. ${\displaystyle p=0}$

дальнейшее чтение

• Хирш, Вернер З. (1957). «Биномиальное распределение — успех или неудача, насколько они вероятны?». Введение в современную статистику . Нью-Йорк: Макмиллан. стр. 140–153.
• Нетер, Джон; Вассерман, Уильям; Уитмор, Джорджия (1988). Прикладная статистика (Третье изд.). Бостон: Аллин и Бэкон. стр. 185–192. ISBN 0-205-10328-6.

Внешние ссылки

• Интерактивная графика: одномерные отношения распределения
• Калькулятор формулы биномиального распределения
• Разница двух биномиальных переменных: XY или |XY|
• Запрос биномиального распределения вероятностей в WolframAlpha
• Доверительные (достоверные) интервалы для биномиальной вероятности, p: онлайн-калькулятор доступен на сайте causaScientia.org.