Биномиальное распределение

Распределение вероятностей

Биномиальное распределение для p = 0,5
с n и k , как в треугольнике Паскаля.

Вероятность того, что шар в ящике Гальтона с 8 слоями ( n = 8) попадет в центральный ящик ( k = 4) , равна 70/256 .

В теории вероятностей и статистике биномиальное распределение с параметрами n и p — это дискретное распределение вероятностей числа успехов в последовательности из n независимых экспериментов , каждый из которых задает вопрос типа «да-нет» , и каждый имеет свой собственный булевский результат : успех (с вероятностью p ) или неудача (с вероятностью q = 1- p ). Одиночный эксперимент с успехом/неудачей также называется испытанием Бернулли или экспериментом Бернулли, а последовательность результатов называется процессом Бернулли ; для одного испытания, т. е. n = 1 , биномиальное распределение является распределением Бернулли . Биномиальное распределение является основой для популярного биномиального теста статистической значимости . ^[1]

Биномиальное распределение часто используется для моделирования числа успехов в выборке размера n, взятой с заменой из популяции размера N. Если выборка осуществляется без замены, выборки не являются независимыми, и поэтому результирующее распределение является гипергеометрическим распределением , а не биномиальным. Однако для N , намного больших, чем n , биномиальное распределение остается хорошим приближением и широко используется.

Определения

Функция массы вероятности

В общем случае, если случайная величина X следует биномиальному распределению с параметрами n ∈ ${\displaystyle \mathbb {N} }$ и p ∈ [0, 1] , мы записываем X ~ B ( n , p ) . Вероятность получения ровно k успехов в n независимых испытаниях Бернулли (с той же частотой p ) задается функцией массы вероятности :

${\displaystyle f(k,n,p)=\Pr(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}}$

для k = 0, 1, 2, ..., n , где

${\displaystyle {\binom {n}{k}}={\frac {n!}{k!(n-k)!}}}$

- биномиальный коэффициент , отсюда и название распределения. Формулу можно понять следующим образом: p ^k q ^{n - k} - вероятность получения последовательности из n испытаний Бернулли, в которой первые k испытаний являются «успехами», а оставшиеся (последние) n - k испытаний приводят к «неуспеху». Поскольку испытания независимы, а вероятности между ними остаются постоянными, любая последовательность из n испытаний с k успехами (и n - k неудачами) имеет одинаковую вероятность быть достигнутой (независимо от позиций успехов в последовательности). Такие последовательности существуют, поскольку биномиальный коэффициент подсчитывает количество способов выбора позиций k успехов среди n испытаний. Биномиальное распределение касается вероятности получения любой из этих последовательностей, то есть вероятность получения одной из них ( p ^k q ^{n - k} ) должна быть сложена раз, следовательно . ${\textstyle {\binom {n}{k}}}$ ${\textstyle {\binom {n}{k}}}$ ${\textstyle {\binom {n}{k}}}$ ${\textstyle \Pr(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}}$

При создании справочных таблиц для вероятности биномиального распределения, как правило, таблица заполняется до n / 2 значений. Это связано с тем, что при k > n / 2 вероятность может быть рассчитана по ее дополнению как

${\displaystyle f(k,n,p)=f(n-k,n,1-p).}$

Рассматривая выражение f ( k , n , p ) как функцию k , существует значение k , которое максимизирует его. Это значение k можно найти, вычислив

${\displaystyle {\frac {f(k+1,n,p)}{f(k,n,p)}}={\frac {(n-k)p}{(k+1)(1-p)}}}$

и сравнивая его с 1. Всегда существует целое число M , которое удовлетворяет ^[2]

${\displaystyle (n+1)p-1\leq M<(n+1)p.}$

f ( k , n , p ) монотонно возрастает при k < M и монотонно убывает при k > M , за исключением случая, когда ( n  + 1) p является целым числом. В этом случае есть два значения, для которых f максимальна: ( n + 1) p и ( n + 1) p - 1 . M является наиболее вероятным результатом (то есть наиболее вероятным, хотя это все еще может быть маловероятным в целом) испытаний Бернулли и называется модой .

Эквивалентно, . Взяв функцию пола , мы получаем M = пол( np ) . ^{[примечание 1]} ${\displaystyle M-p<np\leq M+1-p}$

Пример

Предположим, что при подбрасывании несимметричной монеты выпадает орел с вероятностью 0,3. Вероятность увидеть ровно 4 орла при 6 подбрасываниях равна

${\displaystyle f(4,6,0.3)={\binom {6}{4}}0.3^{4}(1-0.3)^{6-4}=0.059535.}$

Кумулятивная функция распределения

Кумулятивную функцию распределения можно выразить как:

${\displaystyle F(k;n,p)=\Pr(X\leq k)=\sum _{i=0}^{\lfloor k\rfloor }{n \choose i}p^{i}(1-p)^{n-i},}$

где — «пол» под k , т.е. наибольшее целое число, меньшее или равное k . ${\displaystyle \lfloor k\rfloor }$

Его также можно представить в терминах регуляризованной неполной бета-функции следующим образом: ^[3]

${\displaystyle {\begin{aligned}F(k;n,p)&=\Pr(X\leq k)\\&=I_{1-p}(n-k,k+1)\\&=(n-k){n \choose k}\int _{0}^{1-p}t^{n-k-1}(1-t)^{k}\,dt.\end{aligned}}}$

что эквивалентно кумулятивной функции распределения F -распределения : [ ^4]

${\displaystyle F(k;n,p)=F_{F{\text{-distribution}}}\left(x={\frac {1-p}{p}}{\frac {k+1}{n-k}};d_{1}=2(n-k),d_{2}=2(k+1)\right).}$

Ниже приведены некоторые замкнутые границы для кумулятивной функции распределения.

Характеристики

Ожидаемое значение и дисперсия

Если X ~ B ( n , p ) , то есть X — биномиально распределенная случайная величина, где n — общее число экспериментов, а p — вероятность того, что каждый эксперимент даст успешный результат, то ожидаемое значение X равно: ^[5 ]

${\displaystyle \operatorname {E} [X]=np.}$

Это следует из линейности ожидаемого значения, а также из того факта, что X представляет собой сумму n идентичных случайных величин Бернулли, каждая из которых имеет ожидаемое значение p . Другими словами, если являются идентичными (и независимыми) случайными величинами Бернулли с параметром p , то и ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle X=X_{1}+\cdots +X_{n}}$

${\displaystyle \operatorname {E} [X]=\operatorname {E} [X_{1}+\cdots +X_{n}]=\operatorname {E} [X_{1}]+\cdots +\operatorname {E} [X_{n}]=p+\cdots +p=np.}$

Дисперсия составляет :

${\displaystyle \operatorname {Var} (X)=npq=np(1-p).}$

Это аналогичным образом следует из того факта, что дисперсия суммы независимых случайных величин равна сумме дисперсий.

Высшие моменты

Первые 6 центральных моментов , определяемые как , задаются формулой ${\displaystyle \mu _{c}=\operatorname {E} \left[(X-\operatorname {E} [X])^{c}\right]}$

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=np(1-p),\\\mu _{3}&=np(1-p)(1-2p),\\\mu _{4}&=np(1-p)(1+(3n-6)p(1-p)),\\\mu _{5}&=np(1-p)(1-2p)(1+(10n-12)p(1-p)),\\\mu _{6}&=np(1-p)(1-30p(1-p)(1-4p(1-p))+5np(1-p)(5-26p(1-p))+15n^{2}p^{2}(1-p)^{2}).\end{aligned}}}$

Нецентральные моменты удовлетворяют

${\displaystyle {\begin{aligned}\operatorname {E} [X]&=np,\\\operatorname {E} [X^{2}]&=np(1-p)+n^{2}p^{2},\end{aligned}}}$

и вообще ^{[6] [7]}

${\displaystyle \operatorname {E} [X^{c}]=\sum _{k=0}^{c}\left\{{c \atop k}\right\}n^{\underline {k}}p^{k},}$

где — числа Стирлинга второго рода , а — y- я падающая степень . Простая граница ^[8] следует из ограничения биномиальных моментов через высшие моменты Пуассона : ${\displaystyle \textstyle \left\{{c \atop k}\right\}}$ ${\displaystyle n^{\underline {k}}=n(n-1)\cdots (n-k+1)}$ ${\displaystyle k}$ ${\displaystyle n}$

${\displaystyle \operatorname {E} [X^{c}]\leq \left({\frac {c}{\log(c/(np)+1)}}\right)^{c}\leq (np)^{c}\exp \left({\frac {c^{2}}{2np}}\right).}$

Это показывает, что если , то отстоит от ${\displaystyle c=O({\sqrt {np}})}$ ${\displaystyle \operatorname {E} [X^{c}]}$ ${\displaystyle \operatorname {E} [X]^{c}}$

Режим

Обычно мода биномиального распределения B ( n ,  p ) равна , где — функция пола . Однако, когда ( n  + 1) p — целое число, а p не равно ни 0, ни 1, то распределение имеет две моды: ( n  + 1) p и ( n  + 1) p  − 1. Когда p равно 0 или 1, мода будет равна 0 и n соответственно. Эти случаи можно обобщить следующим образом: ${\displaystyle \lfloor (n+1)p\rfloor }$ ${\displaystyle \lfloor \cdot \rfloor }$

${\displaystyle {\text{mode}}={\begin{cases}\lfloor (n+1)\,p\rfloor &{\text{if }}(n+1)p{\text{ is 0 or a noninteger}},\\(n+1)\,p\ {\text{ and }}\ (n+1)\,p-1&{\text{if }}(n+1)p\in \{1,\dots ,n\},\\n&{\text{if }}(n+1)p=n+1.\end{cases}}}$

Доказательство: Пусть

${\displaystyle f(k)={\binom {n}{k}}p^{k}q^{n-k}.}$

Для имеет ненулевое значение только при . Для мы находим и для . Это доказывает, что мода равна 0 для и для . ${\displaystyle p=0}$ ${\displaystyle f(0)}$ ${\displaystyle f(0)=1}$ ${\displaystyle p=1}$ ${\displaystyle f(n)=1}$ ${\displaystyle f(k)=0}$ ${\displaystyle k\neq n}$ ${\displaystyle p=0}$ ${\displaystyle n}$ ${\displaystyle p=1}$

Пусть . Находим ${\displaystyle 0<p<1}$

${\displaystyle {\frac {f(k+1)}{f(k)}}={\frac {(n-k)p}{(k+1)(1-p)}}}$.

Из этого следует

${\displaystyle {\begin{aligned}k>(n+1)p-1\Rightarrow f(k+1)<f(k)\\k=(n+1)p-1\Rightarrow f(k+1)=f(k)\\k<(n+1)p-1\Rightarrow f(k+1)>f(k)\end{aligned}}}$

Так что когда — целое число, то и — мода. В случае, когда , то только — мода. ^[9] ${\displaystyle (n+1)p-1}$ ${\displaystyle (n+1)p-1}$ ${\displaystyle (n+1)p}$ ${\displaystyle (n+1)p-1\notin \mathbb {Z} }$ ${\displaystyle \lfloor (n+1)p-1\rfloor +1=\lfloor (n+1)p\rfloor }$

Медиана

В общем случае не существует единой формулы для нахождения медианы для биномиального распределения, и она может быть даже не уникальной. Однако было установлено несколько специальных результатов:

• Если — целое число, то среднее значение, медиана и мода совпадают и равны . ^{[10] [11]} ${\displaystyle np}$ ${\displaystyle np}$
• Любая медиана m должна лежать в пределах интервала . ^[12] ${\displaystyle \lfloor np\rfloor \leq m\leq \lceil np\rceil }$
• Медиана m не может лежать слишком далеко от среднего значения: . ^[13] ${\displaystyle |m-np|\leq \min\{{\ln 2},\max\{p,1-p\}\}}$
• Медиана уникальна и равна m  =  round ( np ), когда (за исключением случая, когда и n нечетно). ^[12] ${\displaystyle |m-np|\leq \min\{p,1-p\}}$ ${\displaystyle p={\frac {1}{2}}}$
• Когда p — рациональное число (за исключением и нечетных n ), медиана уникальна. ^[14] ${\displaystyle p={\frac {1}{2}}}$
• Когда и n нечетно, любое число m в интервале является медианой биномиального распределения. Если и n четно, то является уникальной медианой. ${\displaystyle p={\frac {1}{2}}}$ ${\displaystyle {\frac {1}{2}}{\bigl (}n-1{\bigr )}\leq m\leq {\frac {1}{2}}{\bigl (}n+1{\bigr )}}$ ${\displaystyle p={\frac {1}{2}}}$ ${\displaystyle m={\frac {n}{2}}}$

Хвостовые границы

Для k ≤ np можно вывести верхние границы для нижнего хвоста кумулятивной функции распределения , вероятности того, что будет не более k успехов. Поскольку , эти границы можно также рассматривать как границы для верхнего хвоста кумулятивной функции распределения для k ≥ np . ${\displaystyle F(k;n,p)=\Pr(X\leq k)}$ ${\displaystyle \Pr(X\geq k)=F(n-k;n,1-p)}$

Неравенство Хеффдинга дает простую оценку

${\displaystyle F(k;n,p)\leq \exp \left(-2n\left(p-{\frac {k}{n}}\right)^{2}\right),\!}$

что, однако, не очень точно. В частности, для p = 1 мы имеем, что F ( k ; n , p ) = 0 (для фиксированных k , n с k  <  n ), но граница Хеффдинга оценивается как положительная константа.

Более точную границу можно получить из границы Чернова : ^[15]

${\displaystyle F(k;n,p)\leq \exp \left(-nD\left({\frac {k}{n}}\parallel p\right)\right)}$

где D ( a || p ) — относительная энтропия (или расхождение Кульбака-Лейблера) между a -монетой и p -монетой (т.е. между распределениями Бернулли( a ) и Бернулли( p ):

${\displaystyle D(a\parallel p)=(a)\log {\frac {a}{p}}+(1-a)\log {\frac {1-a}{1-p}}.\!}$

Асимптотически эта граница достаточно точна; подробности см. в ^{[15] .}

Можно также получить нижние границы хвоста , известные как антиконцентрационные границы. Аппроксимируя биномиальный коэффициент формулой Стирлинга, можно показать, что ^[16] ${\displaystyle F(k;n,p)}$

${\displaystyle F(k;n,p)\geq {\frac {1}{\sqrt {8n{\tfrac {k}{n}}(1-{\tfrac {k}{n}})}}}\exp \left(-nD\left({\frac {k}{n}}\parallel p\right)\right),}$

что подразумевает более простую, но менее жесткую связь

${\displaystyle F(k;n,p)\geq {\frac {1}{\sqrt {2n}}}\exp \left(-nD\left({\frac {k}{n}}\parallel p\right)\right).}$

При p = 1/2 и k ≥ 3 n /8 для четных n можно сделать знаменатель постоянным: ^[17]

${\displaystyle F(k;n,{\tfrac {1}{2}})\geq {\frac {1}{15}}\exp \left(-16n\left({\frac {1}{2}}-{\frac {k}{n}}\right)^{2}\right).\!}$

Статистический вывод

Оценка параметров

Если n известно, параметр p можно оценить, используя долю успехов:

${\displaystyle {\widehat {p}}={\frac {x}{n}}.}$

Эта оценка найдена с использованием оценки максимального правдоподобия , а также метода моментов . Эта оценка является несмещенной и равномерной с минимальной дисперсией , что доказано с помощью теоремы Лемана–Шеффе , поскольку она основана на минимальной достаточной и полной статистике (т.е.: x ). Она также последовательна как по вероятности, так и по среднеквадратической ошибке .

Замкнутая форма байесовской оценки для p также существует при использовании бета-распределения в качестве сопряженного априорного распределения . При использовании общего априорного распределения апостериорная средняя оценка имеет вид: ${\displaystyle \operatorname {Beta} (\alpha ,\beta )}$

${\displaystyle {\widehat {p}}_{b}={\frac {x+\alpha }{n+\alpha +\beta }}.}$

Оценка Байеса асимптотически эффективна , и по мере того, как размер выборки стремится к бесконечности ( n → ∞), она приближается к решению MLE . ^[18] Оценка Байеса смещена (степень смещения зависит от априорных данных), допустима и последовательна по вероятности.

Для особого случая использования стандартного равномерного распределения в качестве неинформативного априорного распределения , апостериорная средняя оценка становится: ${\displaystyle \operatorname {Beta} (\alpha =1,\beta =1)=U(0,1)}$

${\displaystyle {\widehat {p}}_{b}={\frac {x+1}{n+2}}.}$

( Апостериорный метод должен просто привести к стандартной оценке.) Этот метод называется правилом последовательности и был введен в XVIII веке Пьером-Симоном Лапласом .

При использовании априорной вероятности Джеффри априорная вероятность равна , ^[19] что приводит к оценке: ${\displaystyle \operatorname {Beta} (\alpha ={\frac {1}{2}},\beta ={\frac {1}{2}})}$

${\displaystyle {\widehat {p}}_{Jeffreys}={\frac {x+{\frac {1}{2}}}{n+1}}.}$

При оценке p с очень редкими событиями и малым n (например: если x=0), то использование стандартной оценки приводит к тому, что иногда нереалистично и нежелательно. В таких случаях существуют различные альтернативные оценки. ^[20] Один из способов — использовать оценку Байеса , что приводит к: ${\displaystyle {\widehat {p}}=0,}$ ${\displaystyle {\widehat {p}}_{b}}$

${\displaystyle {\widehat {p}}_{b}={\frac {1}{n+2}}.}$

Другой метод — использовать верхнюю границу доверительного интервала , полученную с помощью правила трех :

${\displaystyle {\widehat {p}}_{\text{rule of 3}}={\frac {3}{n}}.}$

Доверительные интервалы

Даже для довольно больших значений n фактическое распределение среднего значения существенно отличается от нормального. ^[21] Из-за этой проблемы было предложено несколько методов оценки доверительных интервалов.

В приведенных ниже уравнениях для доверительных интервалов переменные имеют следующее значение:

• n ₁ — количество успехов из n , общего количества попыток
• ${\displaystyle {\widehat {p\,}}={\frac {n_{1}}{n}}}$это доля успехов
• ${\displaystyle z}$это квантиль стандартного нормального распределения (т.е. пробит ), соответствующий целевой частоте ошибок . Например, для уровня достоверности 95% ошибка  = 0,05, поэтому  = 0,975 и  = 1,96. ${\displaystyle 1-{\tfrac {1}{2}}\alpha }$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$ ${\displaystyle 1-{\tfrac {1}{2}}\alpha }$ ${\displaystyle z}$

Метод Вальда

${\displaystyle {\widehat {p\,}}\pm z{\sqrt {\frac {{\widehat {p\,}}(1-{\widehat {p\,}})}{n}}}.}$

Может быть добавлена ​​поправка на непрерывность 0,5/ n . ^{[ необходимо разъяснение ]}

Метод Агрести–Коулла

^[22]

${\displaystyle {\tilde {p}}\pm z{\sqrt {\frac {{\tilde {p}}(1-{\tilde {p}})}{n+z^{2}}}}}$

Здесь оценка p изменяется на

${\displaystyle {\tilde {p}}={\frac {n_{1}+{\frac {1}{2}}z^{2}}{n+z^{2}}}}$

Этот метод хорошо работает для и . ^[23] См. здесь для . ^[24] Для используйте метод Уилсона (оценка) ниже. ${\displaystyle n>10}$ ${\displaystyle n_{1}\neq 0,n}$ ${\displaystyle n\leq 10}$ ${\displaystyle n_{1}=0,n}$

Метод арксинуса

^[25]

${\displaystyle \sin ^{2}\left(\arcsin \left({\sqrt {\widehat {p\,}}}\right)\pm {\frac {z}{2{\sqrt {n}}}}\right).}$

Метод Уилсона (оценка)

Обозначения в приведенной ниже формуле отличаются от предыдущих формул в двух отношениях: ^[26]

• Во-первых, z _x имеет несколько иную интерпретацию в приведенной ниже формуле: он имеет обычное значение « x- й квантиль стандартного нормального распределения», а не является сокращением для «(1 −  x )-й квантиль».
• Во-вторых, эта формула не использует знак плюс-минус для определения двух границ. Вместо этого можно использовать для получения нижней границы или использовать для получения верхней границы. Например: для уровня достоверности 95% ошибка  = 0,05, поэтому нижнюю границу можно получить, используя , а верхнюю — используя . ${\displaystyle z=z_{\alpha /2}}$ ${\displaystyle z=z_{1-\alpha /2}}$ ${\displaystyle \alpha }$ ${\displaystyle z=z_{\alpha /2}=z_{0.025}=-1.96}$ ${\displaystyle z=z_{1-\alpha /2}=z_{0.975}=1.96}$

${\displaystyle {\frac {{\widehat {p\,}}+{\frac {z^{2}}{2n}}+z{\sqrt {{\frac {{\widehat {p\,}}(1-{\widehat {p\,}})}{n}}+{\frac {z^{2}}{4n^{2}}}}}}{1+{\frac {z^{2}}{n}}}}}$^[27]

Сравнение

Так называемый «точный» ( метод Клоппера–Пирсона ) является наиболее консервативным. ^[21] ( Точный не означает абсолютно точный; скорее, это означает, что оценки не будут менее консервативными, чем истинное значение.)

Метод Вальда, хотя и часто рекомендуемый в учебниках, является наиболее предвзятым. ^{[ необходимо разъяснение ]}

Связанные дистрибутивы

Суммы биномов

Если X  ~ B( n ,  p ) и Y  ~ B( m ,  p ) являются независимыми биномиальными переменными с одинаковой вероятностью p , то X  +  Y снова является биномиальной переменной; ее распределение имеет вид Z=X+Y  ~ B( n+m ,  p ): ^[28]

${\displaystyle {\begin{aligned}\operatorname {P} (Z=k)&=\sum _{i=0}^{k}\left[{\binom {n}{i}}p^{i}(1-p)^{n-i}\right]\left[{\binom {m}{k-i}}p^{k-i}(1-p)^{m-k+i}\right]\\&={\binom {n+m}{k}}p^{k}(1-p)^{n+m-k}\end{aligned}}}$

Биномиально распределенную случайную величину X  ~ B( n ,  p ) можно рассматривать как сумму n случайных величин, распределенных по закону Бернулли. Таким образом, сумма двух биномиально распределенных случайных величин X  ~ B( n ,  p ) и Y  ~ B( m ,  p ) эквивалентна сумме n  +  m случайных величин, распределенных по закону Бернулли, что означает Z=X+Y  ~ B( n+m ,  p ). Это также можно доказать напрямую, используя правило сложения.

Однако если X и Y не имеют одинаковой вероятности p , то дисперсия суммы будет меньше дисперсии биномиальной переменной, распределенной как ${\displaystyle B(n+m,{\bar {p}}).\,}$

Биномиальное распределение Пуассона

Биномиальное распределение является частным случаем биномиального распределения Пуассона , которое является распределением суммы n независимых неидентичных испытаний Бернулли B( p _i ). ^[29]

Соотношение двух биномиальных распределений

Этот результат был впервые получен Кацем и соавторами в 1978 году. ^[30]

Пусть X ~ B( n , p ₁ ) и Y ~ B( m , p ₂ ) независимы. Пусть T = ( X / n ) / ( Y / m ) .

Тогда log( T ) приблизительно нормально распределен со средним log( p ₁ / p ₂ ) и дисперсией ((1/ p ₁ ) − 1)/ n + ((1/ p ₂ ) − 1)/ m .

Условные двучлены

Если X  ~ B( n ,  p ) и Y  |  X  ~ B( X ,  q ) (условное распределение Y при заданном  X ), то Y является простой биномиальной случайной величиной с распределением Y  ~ B( n ,  pq ).

Например, представьте, что вы бросаете n мячей в корзину U _X и забираете мячи, которые попали, и бросаете их в другую корзину U _Y . Если p — вероятность попадания в U _X , то X  ~ B( n ,  p ) — количество мячей, которые попали в U _X . Если q — вероятность попадания в U _Y, то количество мячей, которые попали в U _{Y ,} равно Y  ~ B( X ,  q ) и, следовательно, Y  ~ B( n ,  pq ).

[Доказательство]

Так как и , то по закону полной вероятности , ${\displaystyle X\sim B(n,p)}$ ${\displaystyle Y\sim B(X,q)}$

${\displaystyle {\begin{aligned}\Pr[Y=m]&=\sum _{k=m}^{n}\Pr[Y=m\mid X=k]\Pr[X=k]\\[2pt]&=\sum _{k=m}^{n}{\binom {n}{k}}{\binom {k}{m}}p^{k}q^{m}(1-p)^{n-k}(1-q)^{k-m}\end{aligned}}}$

Поскольку уравнение выше можно выразить как ${\displaystyle {\tbinom {n}{k}}{\tbinom {k}{m}}={\tbinom {n}{m}}{\tbinom {n-m}{k-m}},}$

${\displaystyle \Pr[Y=m]=\sum _{k=m}^{n}{\binom {n}{m}}{\binom {n-m}{k-m}}p^{k}q^{m}(1-p)^{n-k}(1-q)^{k-m}}$

Разложение на множители и исключение всех членов, которые не зависят от суммы, теперь дает ${\displaystyle p^{k}=p^{m}p^{k-m}}$ ${\displaystyle k}$

${\displaystyle {\begin{aligned}\Pr[Y=m]&={\binom {n}{m}}p^{m}q^{m}\left(\sum _{k=m}^{n}{\binom {n-m}{k-m}}p^{k-m}(1-p)^{n-k}(1-q)^{k-m}\right)\\[2pt]&={\binom {n}{m}}(pq)^{m}\left(\sum _{k=m}^{n}{\binom {n-m}{k-m}}\left(p(1-q)\right)^{k-m}(1-p)^{n-k}\right)\end{aligned}}}$

После подстановки в выражение выше получаем ${\displaystyle i=k-m}$

${\displaystyle \Pr[Y=m]={\binom {n}{m}}(pq)^{m}\left(\sum _{i=0}^{n-m}{\binom {n-m}{i}}(p-pq)^{i}(1-p)^{n-m-i}\right)}$

Обратите внимание, что сумма (в скобках) выше равна по биномиальной теореме . Подставляя это в окончательное выражение, получаем ${\displaystyle (p-pq+1-p)^{n-m}}$

${\displaystyle {\begin{aligned}\Pr[Y=m]&={\binom {n}{m}}(pq)^{m}(p-pq+1-p)^{n-m}\\[4pt]&={\binom {n}{m}}(pq)^{m}(1-pq)^{n-m}\end{aligned}}}$

и так по желанию. ${\displaystyle Y\sim B(n,pq)}$

Распределение Бернулли

Распределение Бернулли является частным случаем биномиального распределения, где n  = 1. Символически X  ~ B(1,  p ) имеет то же значение, что и X  ~ Bernoulli( p ). Наоборот, любое биномиальное распределение, B( n ,  p ), является распределением суммы n независимых испытаний Бернулли , Bernoulli( p ), каждое с одинаковой вероятностью p . ^[31]

Нормальное приближение

Биномиальная функция массы вероятности и аппроксимация нормальной функции плотности вероятности для n  = 6 и p  = 0,5

Если n достаточно велико, то перекос распределения не слишком велик. В этом случае разумное приближение к B( n ,  p ) дается нормальным распределением

${\displaystyle {\mathcal {N}}(np,\,np(1-p)),}$

и это базовое приближение может быть улучшено простым способом с помощью подходящей коррекции непрерывности . Базовое приближение обычно улучшается с ростом n (по крайней мере 20) и лучше, когда p не близко к 0 или 1. ^[32] Различные эмпирические правила могут быть использованы для определения того, достаточно ли велико n , и достаточно ли далеко p от крайних значений нуля или единицы:

• Одно из правил ^[32] заключается в том, что для n > 5 нормальное приближение является адекватным, если абсолютное значение асимметрии строго меньше 0,3; то есть, если

${\displaystyle {\frac {|1-2p|}{\sqrt {np(1-p)}}}={\frac {1}{\sqrt {n}}}\left|{\sqrt {\frac {1-p}{p}}}-{\sqrt {\frac {p}{1-p}}}\,\right|<0.3.}$

Это можно уточнить, используя теорему Берри–Эссеена .

• Более строгое правило гласит, что нормальное приближение применимо только в том случае, если все, что находится в пределах 3 стандартных отклонений от его среднего значения, находится в пределах диапазона возможных значений; то есть только если

${\displaystyle \mu \pm 3\sigma =np\pm 3{\sqrt {np(1-p)}}\in (0,n).}$

Это правило трех стандартных отклонений эквивалентно следующим условиям, которые также подразумевают первое правило выше.

${\displaystyle n>9\left({\frac {1-p}{p}}\right)\quad {\text{and}}\quad n>9\left({\frac {p}{1-p}}\right).}$

[Доказательство]

Правило полностью эквивалентно запросу, что ${\displaystyle np\pm 3{\sqrt {np(1-p)}}\in (0,n)}$

${\displaystyle np-3{\sqrt {np(1-p)}}>0\quad {\text{and}}\quad np+3{\sqrt {np(1-p)}}<n.}$

Перемещение терминов вокруг доходности:

${\displaystyle np>3{\sqrt {np(1-p)}}\quad {\text{and}}\quad n(1-p)>3{\sqrt {np(1-p)}}.}$

Так как , мы можем применить квадратную степень и разделить на соответствующие множители и , чтобы получить желаемые условия: ${\displaystyle 0<p<1}$ ${\displaystyle np^{2}}$ ${\displaystyle n(1-p)^{2}}$

${\displaystyle n>9\left({\frac {1-p}{p}}\right)\quad {\text{and}}\quad n>9\left({\frac {p}{1-p}}\right).}$

Обратите внимание, что эти условия автоматически подразумевают, что . С другой стороны, снова применим квадратный корень и разделим на 3, ${\displaystyle n>9}$

${\displaystyle {\frac {\sqrt {n}}{3}}>{\sqrt {\frac {1-p}{p}}}>0\quad {\text{and}}\quad {\frac {\sqrt {n}}{3}}>{\sqrt {\frac {p}{1-p}}}>0.}$

Вычитая второй набор неравенств из первого, получаем:

${\displaystyle {\frac {\sqrt {n}}{3}}>{\sqrt {\frac {1-p}{p}}}-{\sqrt {\frac {p}{1-p}}}>-{\frac {\sqrt {n}}{3}};}$

и, таким образом, требуемое первое правило выполняется,

${\displaystyle \left|{\sqrt {\frac {1-p}{p}}}-{\sqrt {\frac {p}{1-p}}}\,\right|<{\frac {\sqrt {n}}{3}}.}$

• Другое часто используемое правило заключается в том, что оба значения и должны быть больше ^{[33] [34]} или равны 5. Однако конкретное число варьируется от источника к источнику и зависит от того, насколько хорошее приближение требуется. В частности, если использовать 9 вместо 5, правило подразумевает результаты, указанные в предыдущих параграфах. ${\displaystyle np}$ ${\displaystyle n(1-p)}$

[Доказательство]

Предположим, что оба значения и больше 9. Поскольку , мы легко получаем, что ${\displaystyle np}$ ${\displaystyle n(1-p)}$ ${\displaystyle 0<p<1}$

${\displaystyle np\geq 9>9(1-p)\quad {\text{and}}\quad n(1-p)\geq 9>9p.}$

Теперь нам нужно только разделить на соответствующие факторы и , чтобы вывести альтернативную форму правила трех стандартных отклонений: ${\displaystyle p}$ ${\displaystyle 1-p}$

${\displaystyle n>9\left({\frac {1-p}{p}}\right)\quad {\text{and}}\quad n>9\left({\frac {p}{1-p}}\right).}$

Ниже приведен пример применения коррекции непрерывности . Предположим, что требуется вычислить Pr( X  ≤ 8) для биномиальной случайной величины X. Если Y имеет распределение, заданное нормальным приближением, то Pr( X  ≤ 8) аппроксимируется Pr( Y  ≤ 8,5). Добавление 0,5 является коррекцией непрерывности; неисправленное нормальное приближение дает значительно менее точные результаты.

Это приближение, известное как теорема Муавра–Лапласа , значительно экономит время при выполнении вычислений вручную (точные вычисления с большими n очень обременительны); исторически это было первое использование нормального распределения, введенное в книге Абрахама де Муавра «Учение о шансах » в 1738 году. В настоящее время его можно рассматривать как следствие центральной предельной теоремы, поскольку B( n ,  p ) представляет собой сумму n независимых, одинаково распределенных переменных Бернулли с параметром  p . Этот факт является основой проверки гипотезы , «z-теста пропорции», для значения p с использованием x/n , выборочной пропорции и оценки p , в общей тестовой статистике . ^[35]

Например, предположим, что кто-то случайно выбирает n человек из большой популяции и спрашивает их, согласны ли они с определенным утверждением. Доля людей, которые согласны, конечно, будет зависеть от выборки. Если бы группы из n человек были выбраны повторно и действительно случайным образом, пропорции следовали бы приблизительно нормальному распределению со средним значением, равным истинной пропорции согласия в популяции p , и со стандартным отклонением

${\displaystyle \sigma ={\sqrt {\frac {p(1-p)}{n}}}}$

приближение Пуассона

Биномиальное распределение сходится к распределению Пуассона , когда число испытаний стремится к бесконечности, в то время как произведение np сходится к конечному пределу. Следовательно, распределение Пуассона с параметром λ = np может быть использовано в качестве приближения к B( n , p ) биномиального распределения, если n достаточно велико, а p достаточно мало. Согласно эмпирическим правилам, это приближение является хорошим, если n  ≥ 20 и p  ≤ 0,05 ^[36] таким образом, что np ≤ 1, или если n > 50 и p < 0,1 таким образом, что np < 5, ^[37] или если n  ≥ 100 и np  ≤ 10. ^{[38] [39]}

Относительно точности приближения Пуассона см. Новак, ^[40], гл. 4, и приведенные там ссылки.

Ограничение распределений

• Предельная теорема Пуассона : Когда n стремится к ∞, а p стремится к 0 при фиксированномпроизведении np , биномиальное ( n ,  p ) распределение приближается к распределению Пуассона с ожидаемым значением λ = np . ^[38]
• Теорема Муавра–Лапласа : Когда n стремится к ∞, а p остается фиксированным, распределение

${\displaystyle {\frac {X-np}{\sqrt {np(1-p)}}}}$

приближается к нормальному распределению с ожидаемым значением 0 и дисперсией  1. Этот результат иногда грубо формулируют, говоря, что распределение X является асимптотически нормальным с ожидаемым значением 0 и дисперсией  1. Этот результат является частным случаем центральной предельной теоремы .

Бета-распределение

Биномиальное распределение и бета-распределение — это разные представления одной и той же модели повторных испытаний Бернулли. Биномиальное распределение — это PMF k успехов при n независимых событиях, каждое из которых имеет вероятность успеха p . Математически , когда α = k + 1 и β = n − k + 1 , бета-распределение и биномиальное распределение связаны ^{[ требуется разъяснение ]} множителем n + 1 :

${\displaystyle \operatorname {Beta} (p;\alpha ;\beta )=(n+1)B(k;n;p)}$

Бета-распределения также предоставляют семейство априорных распределений вероятностей для биномиальных распределений в байесовском выводе : ^[41]

${\displaystyle P(p;\alpha ,\beta )={\frac {p^{\alpha -1}(1-p)^{\beta -1}}{\operatorname {Beta} (\alpha ,\beta )}}.}$

При наличии однородного априорного распределения апостериорное распределение вероятности успеха p при n независимых событиях с k наблюдаемыми успехами представляет собой бета-распределение. ^[42]

Методы расчета

Генерация случайных чисел

Методы генерации случайных чисел , где маргинальное распределение является биномиальным распределением, хорошо известны. ^{[43] [44]} Одним из способов генерации случайных выборок из биномиального распределения является использование алгоритма инверсии. Для этого необходимо вычислить вероятность того, что Pr( X = k ) для всех значений k от 0 до n . (Эти вероятности должны суммироваться до значения, близкого к единице, чтобы охватить все пространство выборки.) Затем, используя генератор псевдослучайных чисел для равномерной генерации выборок между 0 и 1, можно преобразовать вычисленные выборки в дискретные числа, используя вероятности, вычисленные на первом этапе.

История

Это распределение было получено Якобом Бернулли . Он рассмотрел случай, когда p = r /( r  +  s ), где p — вероятность успеха, а r и s — положительные целые числа. Блез Паскаль ранее рассмотрел случай, когда p  = 1/2, составив таблицу соответствующих биномиальных коэффициентов в том, что сейчас известно как треугольник Паскаля . ^[45]

Смотрите также

• Математический портал

• Логистическая регрессия
• Мультиномиальное распределение
• Отрицательное биномиальное распределение
• Бета-биномиальное распределение
• Биномиальная мера, пример мультифрактальной меры . ^[46]
• Статистическая механика
• Лемма о нагромождении , результирующая вероятность при выполнении операции XOR с независимыми булевыми переменными

Ссылки

1. Westland, J. Christopher (2020). Audit Analytics: Data Science for the Accounting Professions . Чикаго, Иллинойс, США: Springer. стр. 53. ISBN 978-3-030-49091-1.
2. Феллер, В. (1968). Введение в теорию вероятностей и ее приложения (третье изд.). Нью-Йорк: Wiley. стр. 151 (теорема в разделе VI.3).
3. Уодсворт, ГП (1960). Введение в вероятность и случайные величины . Нью-Йорк: McGraw-Hill. стр. 52.
4. Джоветт, ГХ (1963). «Связь между биномиальным и F-распределением». Журнал Королевского статистического общества, серия D. 13 ( 1): 55–57. doi :10.2307/2986663. JSTOR  2986663.
5. См. Доказательство Wiki
6. Кноблаух, Андреас (2008), «Выражения в замкнутой форме для моментов биномиального распределения вероятностей», Журнал SIAM по прикладной математике , 69 (1): 197–204, doi :10.1137/070700024, JSTOR  40233780
7. Нгуен, Дуй (2021), «Вероятностный подход к моментам биномиальных случайных величин и применение», The American Statistician , 75 (1): 101–103, doi : 10.1080/00031305.2019.1679257, S2CID  209923008
8. Д. Ахле, Томас (2022), «Точные и простые границы для необработанных моментов биномиального и пуассоновского распределений», Statistics & Probability Letters , 182 : 109306, arXiv : 2103.17027 , doi : 10.1016/j.spl.2021.109306
9. См. также Николя, Андре (7 января 2019 г.). "Нахождение моды в биномиальном распределении". Stack Exchange .
10. Нойманн, П. (1966). «Über den Median der Binomial- and Poissonverteilung». Wissenschaftliche Zeitschrift der Technischen Universität Dresden (на немецком языке). 19 :29–33.
11. Лорд, Ник. (Июль 2010 г.). «Средние биномиальные значения, когда среднее значение — целое число», The Mathematical Gazette 94, 331-332.
12. Kaas, R.; Buhrman, JM (1980). «Среднее, медиана и мода в биномиальных распределениях». Statistica Neerlandica . 34 (1): 13–18. doi :10.1111/j.1467-9574.1980.tb00681.x.
13. Хамза, К. (1995). «Наименьшая равномерная верхняя граница расстояния между средним значением и медианой биномиального и пуассоновского распределений». Statistics & Probability Letters . 23 : 21–25. doi :10.1016/0167-7152(94)00090-U.
14. Nowakowski, Sz. (2021). «Уникальность медианы биномиального распределения с рациональной вероятностью». Advances in Mathematics: Scientific Journal . 10 (4): 1951–1958. arXiv : 2004.03280 . doi : 10.37418/amsj.10.4.9. ISSN  1857-8365. S2CID  215238991.
15. Arratia, R.; Gordon, L. (1989). «Учебник по большим отклонениям для биномиального распределения». Bulletin of Mathematical Biology . 51 (1): 125–131. doi :10.1007/BF02458840. PMID  2706397. S2CID  189884382.
16. Роберт Б. Эш (1990). Теория информации . Dover Publications. стр. 115. ISBN 9780486665214.
17. Матоушек, Й.; Вондрак, Й. "Вероятностный метод" (PDF) . заметки лекций . Архивировано (PDF) из оригинала 2022-10-09.
18. Уилкокс, Рэнд Р. (1979). «Оценка параметров бета-биномиального распределения». Образовательные и психологические измерения . 39 (3): 527–535. doi :10.1177/001316447903900302. ISSN  0013-1644. S2CID  121331083.
19. Марко Лалович (https://stats.stackexchange.com/users/105848/marko-lalovic), априорное распределение Джеффри для биномиального правдоподобия, URL (версия: 2019-03-04): https://stats.stackexchange.com/q/275608
20. Раззаги, Мехди (2002). «Об оценке вероятности биномиального успеха с нулевым вхождением в выборку». Журнал современных прикладных статистических методов . 1 (2): 326–332. doi : 10.22237/jmasm/1036110000 .
21. Brown, Lawrence D.; Cai, T. Tony; DasGupta, Anirban (2001), "Интервальная оценка для биномиальной пропорции", Statistical Science , 16 (2): 101–133, CiteSeerX 10.1.1.323.7752 , doi :10.1214/ss/1009213286 , получено 05.01.2015 
22. Агрести, Алан; Коулл, Брент А. (май 1998 г.), «Приблизительное лучше, чем «точное» для интервальной оценки биномиальных пропорций» (PDF) , The American Statistician , 52 (2): 119–126, doi :10.2307/2685469, JSTOR  2685469 , получено 05.01.2015
23. Гулотта, Джозеф. «Метод интервалов Агрести-Коулла». pellucid.atlassian.net . Получено 18 мая 2021 г. .
24. "Доверительные интервалы". itl.nist.gov . Получено 18 мая 2021 г. .
25. Пирес, МА (2002). "Доверительные интервалы для биномиальной пропорции: сравнение методов и оценка программного обеспечения" (PDF) . В Клинке, С.; Аренд, П.; Рихтер, Л. (ред.). Труды конференции CompStat 2002 . Краткие сообщения и постеры. Архивировано (PDF) из оригинала 2022-10-09.
26. Уилсон, Эдвин Б. (июнь 1927 г.), «Вероятный вывод, закон наследования и статистический вывод» (PDF) , Журнал Американской статистической ассоциации , 22 (158): 209–212, doi :10.2307/2276774, JSTOR  2276774, архивировано из оригинала (PDF) 2015-01-13 , извлечено 2015-01-05
27. "Доверительные интервалы". Справочник по инженерной статистике . NIST/Sematech. 2012. Получено 23 июля 2017 г.
28. Деккинг, FM; Краайкамп, К.; Лопохаа, HP; Мистер, Л.Е. (2005). Современное введение в теорию вероятности и статистики (1-е изд.). Спрингер-Верлаг Лондон. ISBN 978-1-84628-168-6.
29. Wang, YH (1993). "О числе успехов в независимых испытаниях" (PDF) . Statistica Sinica . 3 (2): 295–312. Архивировано из оригинала (PDF) 2016-03-03.
30. Katz, D.; et al. (1978). «Получение доверительных интервалов для отношения рисков в когортных исследованиях». Биометрия . 34 (3): 469–474. doi :10.2307/2530610. JSTOR  2530610.
31. Табога, Марко. «Лекции по теории вероятностей и математической статистике». statlect.com . Получено 18 декабря 2017 г. .
32. Box, Hunter и Hunter (1978). Статистика для экспериментаторов . Wiley. стр. 130. ISBN 9780471093152.
33. Чен, Зак (2011). Справочник по математике H2 (1-е изд.). Сингапур: Educational Publishing House. стр. 350. ISBN 9789814288484.
34. "6.4: Нормальное приближение к биномиальному распределению - Statistics LibreTexts". 2023-05-29. Архивировано из оригинала 2023-05-29 . Получено 2023-10-07 .{{cite web}}: CS1 maint: bot: original URL status unknown (link)
35. NIST / SEMATECH , «7.2.4. Соответствует ли доля дефектных изделий требованиям?» Электронный справочник по статистическим методам.
36. "12.4 - Аппроксимация биномиального распределения | STAT 414". 2023-03-28. Архивировано из оригинала 2023-03-28 . Получено 2023-10-08 .{{cite web}}: CS1 maint: bot: original URL status unknown (link)
37. Чен, Зак (2011). Справочник по математике H2 (1-е изд.). Сингапур: Образовательное издательство. С. 348. ISBN 9789814288484.
38. NIST / SEMATECH , «6.3.3.1. Контрольные карты подсчетов», электронный справочник по статистическим методам.
39. "Связь между распределением Пуассона и биномиальным распределением". 2023-03-13. Архивировано из оригинала 2023-03-13 . Получено 2023-10-08 .{{cite web}}: CS1 maint: bot: original URL status unknown (link)
40. Novak SY (2011) Методы экстремальной стоимости и их применение в финансах. Лондон: CRC/ Chapman & Hall/Taylor & Francis. ISBN 9781-43983-5746 . 
41. Маккей, Дэвид (2003). Теория информации, вывод и алгоритмы обучения . Cambridge University Press; Первое издание. ISBN 978-0521642989.
42. «Бета-распределение».
43. Деврой, Люк (1986) Генерация неравномерных случайных величин , Нью-Йорк: Springer-Verlag. (См. особенно главу X, Дискретные одномерные распределения)
44. Качитвичянукул, В.; Шмейсер, Б. В. (1988). «Генерация биномиальных случайных величин». Сообщения ACM . 31 (2): 216–222. doi :10.1145/42372.42381. S2CID  18698828.
45. Кац, Виктор (2009). "14.3: Элементарная вероятность". История математики: Введение . Эддисон-Уэсли. стр. 491. ISBN 978-0-321-38700-4.
46. Мандельброт, Б. Б., Фишер, А. Дж. и Кальвет, Л. Э. (1997). Мультифрактальная модель доходности активов. 3.2 Биномиальная мера — простейший пример мультифрактала

1. За исключением тривиального случая p = 0 , который необходимо проверить отдельно.

Дальнейшее чтение

• Хирш, Вернер З. (1957). «Биномиальное распределение — успех или неудача, насколько они вероятны?». Введение в современную статистику . Нью-Йорк: MacMillan. С. 140–153.
• Нетер, Джон; Вассерман, Уильям; Уитмор, Джорджия (1988). Прикладная статистика (третье изд.). Бостон: Allyn & Bacon. стр. 185–192. ISBN 0-205-10328-6.

Внешние ссылки

• Интерактивная графика: Одномерные распределительные соотношения
• Калькулятор формулы биномиального распределения
• Разность двух биномиальных величин: XY или |XY|
• Запрос биномиального распределения вероятностей в WolframAlpha
• Доверительные (вероятные) интервалы для биномиальной вероятности, p: онлайн-калькулятор доступен на сайте causaScientia.org