Распределение Бернулли

Распределение вероятностей, моделирующее подбрасывание монеты, которое не обязательно должно быть честным

В теории вероятностей и статистике распределение Бернулли , названное в честь швейцарского математика Якоба Бернулли ^[1] , представляет собой дискретное распределение вероятностей случайной величины , которая принимает значение 1 с вероятностью и значение 0 с вероятностью . Менее формально его можно рассматривать как модель набора возможных результатов любого отдельного эксперимента , в котором задается вопрос «да-нет» . Такие вопросы приводят к результатам , которые имеют логические значения: один бит , значение которого равно успех/ да / истина / единица с вероятностью p и отказ/нет/ ложь / ноль с вероятностью q . Его можно использовать для представления (возможно, необъективного) подбрасывания монеты , где 1 и 0 будут обозначать «орёл» и «решку» соответственно, а p будет вероятностью выпадения монеты орлом (или наоборот, где 1 будет обозначать решку). и p будет вероятностью решки). В частности, недобросовестные монеты имели бы ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle p\neq 1/2.}$

Распределение Бернулли — это частный случай биномиального распределения , когда проводится одно испытание (поэтому для такого биномиального распределения n будет равно 1). Это также частный случай двухточечного распределения , для которого возможные результаты не обязательно должны быть 0 и 1. ^[2]

Характеристики

Если – случайная величина с распределением Бернулли, то: ${\displaystyle X}$

${\displaystyle \Pr(X=1)=p=1-\Pr(X=0)=1-q.}$

Функция массы вероятности этого распределения по возможным результатам k равна ${\displaystyle f}$

${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$^[3]

Это также можно выразить как

${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$

или как

${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$

Распределение Бернулли является частным случаем биномиального распределения с ^[4] ${\displaystyle n=1.}$

Эксцесс стремится к бесконечности для высоких и низких значений, но двухточечные распределения, включая распределение Бернулли, имеют меньший избыточный эксцесс , а именно -2, чем любое другое распределение вероятностей. ${\displaystyle p,}$ ${\displaystyle p=1/2}$

Распределения Бернулли образуют экспоненциальное семейство . ${\displaystyle 0\leq p\leq 1}$

Оценкой максимального правдоподобия на основе случайной выборки является выборочное среднее . ${\displaystyle p}$

Функция распределения вероятностей по массе эксперимента Бернулли вместе с соответствующей кумулятивной функцией распределения.

Иметь в виду

Ожидаемое значение случайной величины Бернулли равно ${\displaystyle X}$

${\displaystyle \operatorname {E} [X]=p}$

Это связано с тем, что для распределенной по Бернулли случайной величины с и мы находим ${\displaystyle X}$ ${\displaystyle \Pr(X=1)=p}$ ${\displaystyle \Pr(X=0)=q}$

${\displaystyle \operatorname {E} [X]=\Pr(X=1)\cdot 1+\Pr(X=0)\cdot 0=p\cdot 1+q\cdot 0=p.}$^[3]

Дисперсия

Дисперсия распределения Бернулли равна ${\displaystyle X}$

${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$

Сначала мы находим

${\displaystyle \operatorname {E} [X^{2}]=\Pr(X=1)\cdot 1^{2}+\Pr(X=0)\cdot 0^{2}=p\cdot 1^{2}+q\cdot 0^{2}=p=\operatorname {E} [X]}$

Из этого следует

${\displaystyle \operatorname {Var} [X]=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}=p-p^{2}=p(1-p)=pq}$^[3]

С помощью этого результата легко доказать, что для любого распределения Бернулли его дисперсия будет иметь значение внутри . ${\displaystyle [0,1/4]}$

асимметрия

Перекос есть . _ Когда мы берем стандартизированную случайную величину, распределенную по Бернулли, мы обнаруживаем, что эта случайная величина достигает с вероятностью и достигает с вероятностью . Таким образом мы получаем ${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$ ${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$ ${\displaystyle {\frac {q}{\sqrt {pq}}}}$ ${\displaystyle p}$ ${\displaystyle -{\frac {p}{\sqrt {pq}}}}$ ${\displaystyle q}$

${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q-p)\\&={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$

Высшие моменты и кумулянты

Все необработанные моменты равны в силу того, что и . ${\displaystyle 1^{k}=1}$ ${\displaystyle 0^{k}=0}$

${\displaystyle \operatorname {E} [X^{k}]=\Pr(X=1)\cdot 1^{k}+\Pr(X=0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$

Центральный момент порядка определяется выражением ${\displaystyle k}$

${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$

Первые шесть центральных моментов

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$

Высшие центральные моменты можно более компактно выразить через и ${\displaystyle \mu _{2}}$ ${\displaystyle \mu _{3}}$

${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$

Первые шесть кумулянтов

${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$

Связанные дистрибутивы

• Если являются независимыми, одинаково распределенными ( iid ) случайными величинами, все испытания Бернулли с вероятностью успеха  p , то их сумма распределяется согласно биномиальному распределению с параметрами n и p : ${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$( биномиальное распределение ). ^[3]

Распределение Бернулли просто , также записывается как ${\displaystyle \operatorname {B} (1,p)}$ ${\textstyle \mathrm {Bernoulli} (p).}$

• Категориальное распределение является обобщением распределения Бернулли для переменных с любым постоянным числом дискретных значений.
• Бета -распределение является сопряженным априорным распределением Бернулли. ^[5]
• Геометрическое распределение моделирует количество независимых и идентичных испытаний Бернулли, необходимых для достижения одного успеха.
• Если , то имеет распределение Радемахера . ${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$ ${\textstyle 2Y-1}$

Смотрите также

• Процесс Бернулли — случайный процесс , состоящий из последовательности независимых испытаний Бернулли.
• Выборка Бернулли
• Бинарная функция энтропии
• Бинарная диаграмма решений

Рекомендации

1. Успенский, Джеймс Виктор (1937). Введение в математическую вероятность . Нью-Йорк: МакГроу-Хилл. п. 45. ОСЛК  996937.
2. Деккинг, Фредерик; Краайкамп, Корнелис; Лопухаа, Хендрик; Меестер, Людольф (9 октября 2010 г.). Современное введение в вероятность и статистику (1-е изд.). Спрингер Лондон. стр. 43–48. ISBN 9781849969529.
3. Берцекас, Дмитрий П. (2002). Введение в вероятность . Цициклис, Джон Н. , Τσιτσικλής, Γιάννης Ν. Бельмонт, Массачусетс: Athena Scientific. ISBN 188652940X. OCLC  51441829.
4. МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чепмен и Холл/CRC. Раздел 4.2.2. ISBN 0-412-31760-5.
5. Орлов, Джереми; Блум, Джонатан. «Сопряженные априоры: бета и норма» (PDF) . math.mit.edu . Проверено 20 октября 2023 г.

дальнейшее чтение

• Джонсон, Нидерланды; Коц, С.; Кемп, А. (1993). Одномерные дискретные распределения (2-е изд.). Уайли. ISBN 0-471-54897-9.
• Питман, Джон Г. (1963). Введение в прикладную статистику . Нью-Йорк: Харпер и Роу. стр. 162–171.

Внешние ссылки

• «Биномиальное распределение», Математическая энциклопедия , EMS Press , 2001 [1994].
• Вайсштейн, Эрик В. «Распределение Бернулли». Математический мир .
• Интерактивная графика: Одномерные отношения распределения.