Распределение Бернулли

Распределение вероятностей, моделирующее подбрасывание монеты, которое не обязательно должно быть честным

В теории вероятностей и статистике распределение Бернулли , названное в честь швейцарского математика Якоба Бернулли , ^[1] представляет собой дискретное распределение вероятностей случайной величины , которая принимает значение 1 с вероятностью и значение 0 с вероятностью . Менее формально его можно рассматривать как модель для множества возможных результатов любого отдельного эксперимента , в котором задается вопрос типа «да-нет» . Такие вопросы приводят к результатам , которые являются булевыми : один бит , значение которого равно успеху/ да / истине / единице с вероятностью p и неудаче/нет/ ложи / нулю с вероятностью q . Его можно использовать для представления (возможно, предвзятого) подбрасывания монеты , где 1 и 0 будут представлять «орла» и «решку» соответственно, а p будет вероятностью выпадения монеты на орел (или наоборот, где 1 будет представлять решку, а p будет вероятностью решки). В частности, нечестные монеты будут иметь ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle p\neq 1/2.}$

Распределение Бернулли является частным случаем биномиального распределения , где проводится одно испытание (поэтому n будет равно 1 для такого биномиального распределения). Это также частный случай двухточечного распределения , для которого возможные результаты не обязательно должны быть 0 и 1. ^[2]

Характеристики

Если — случайная величина с распределением Бернулли, то: ${\displaystyle X}$

${\displaystyle \Pr(X=1)=p=1-\Pr(X=0)=1-q.}$

Функция массы вероятности этого распределения по возможным результатам k равна ${\displaystyle f}$

${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$^[3]

Это также можно выразить как

${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$

или как

${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$

Распределение Бернулли является частным случаем биномиального распределения с ^[4] ${\displaystyle n=1.}$

Эксцесс стремится к бесконечности для высоких и низких значений, но для двухточечных распределений, включая распределение Бернулли, избыточный эксцесс ниже , а именно −2, чем для любого другого распределения вероятностей. ${\displaystyle p,}$ ${\displaystyle p=1/2}$

Распределения Бернулли для образуют экспоненциальное семейство . ${\displaystyle 0\leq p\leq 1}$

Оценка максимального правдоподобия , основанная на случайной выборке, — это выборочное среднее . ${\displaystyle p}$

Функция распределения вероятностей масс эксперимента Бернулли вместе с соответствующей ей кумулятивной функцией распределения.

Иметь в виду

Ожидаемое значение случайной величины Бернулли равно ${\displaystyle X}$

${\displaystyle \operatorname {E} [X]=p}$

Это связано с тем, что для распределенной Бернулли случайной величины с и мы находим ${\displaystyle X}$ ${\displaystyle \Pr(X=1)=p}$ ${\displaystyle \Pr(X=0)=q}$

${\displaystyle \operatorname {E} [X]=\Pr(X=1)\cdot 1+\Pr(X=0)\cdot 0=p\cdot 1+q\cdot 0=p.}$^[3]

Дисперсия

Дисперсия распределения Бернулли равна ${\displaystyle X}$

${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$

Сначала мы находим

${\displaystyle \operatorname {E} [X^{2}]=\Pr(X=1)\cdot 1^{2}+\Pr(X=0)\cdot 0^{2}}$

${\displaystyle =p\cdot 1^{2}+q\cdot 0^{2}=p=\operatorname {E} [X]}$

Из этого следует

${\displaystyle \operatorname {Var} [X]=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}}$

${\displaystyle =p-p^{2}=p(1-p)=pq}$^[3]

Используя этот результат, легко доказать, что для любого распределения Бернулли его дисперсия будет иметь значение внутри . ${\displaystyle [0,1/4]}$

Асимметрия

Асимметрия равна . Когда мы берем стандартизированную случайную величину, распределенную по закону Бернулли, мы обнаруживаем, что эта случайная величина достигает с вероятностью и достигает с вероятностью . Таким образом , мы получаем ${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$ ${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$ ${\displaystyle {\frac {q}{\sqrt {pq}}}}$ ${\displaystyle p}$ ${\displaystyle -{\frac {p}{\sqrt {pq}}}}$ ${\displaystyle q}$

${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$

Высшие моменты и кумулянты

Все исходные моменты равны из-за того, что и . ${\displaystyle 1^{k}=1}$ ${\displaystyle 0^{k}=0}$

${\displaystyle \operatorname {E} [X^{k}]=\Pr(X=1)\cdot 1^{k}+\Pr(X=0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$

Центральный момент порядка определяется выражением ${\displaystyle k}$

${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$

Первые шесть центральных моментов:

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$

Высшие центральные моменты можно выразить более компактно через и ${\displaystyle \mu _{2}}$ ${\displaystyle \mu _{3}}$

${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$

Первые шесть кумулянтов:

${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$

Энтропия и информация Фишера

Энтропия

Энтропия — это мера неопределенности или случайности в распределении вероятностей. Для случайной величины Бернулли с вероятностью успеха и вероятностью неудачи энтропия определяется как: ${\displaystyle X}$ ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle H(X)}$

${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln({\frac {1}{P(X)}})=-[P(X=0)\ln P(X=0)+P(X=1)\ln P(X=1)]\\H(X)&=-(q\ln q+p\ln p),\quad q=P(X=0),p=P(X=1)\end{aligned}}}$

Энтропия максимальна, когда , что указывает на самый высокий уровень неопределенности, когда оба результата одинаково вероятны. Энтропия равна нулю, когда или , где один результат определен. ${\displaystyle p=0.5}$ ${\displaystyle p=0}$ ${\displaystyle p=1}$

Информация Фишера

Информация Фишера измеряет количество информации, которую несет наблюдаемая случайная величина о неизвестном параметре , от которого зависит вероятность . Для распределения Бернулли информация Фишера относительно параметра определяется как: ${\displaystyle X}$ ${\displaystyle p}$ ${\displaystyle X}$ ${\displaystyle p}$

${\displaystyle {\begin{aligned}I(p)={\frac {1}{pq}}\end{aligned}}}$

Доказательство:

• Функция правдоподобия для случайной величины Бернулли имеет вид: ${\displaystyle X}$

${\displaystyle {\begin{aligned}L(p;X)=p^{X}(1-p)^{1-X}\end{aligned}}}$

Это представляет собой вероятность наблюдения заданного параметра . ${\displaystyle X}$ ${\displaystyle p}$

• Логарифмическая функция правдоподобия имеет вид:

${\displaystyle {\begin{aligned}\ln L(p;X)=X\ln p+(1-X)\ln(1-p)\end{aligned}}}$

• Функция оценки (первая производная логарифмического правдоподобия по отношению к нулю) равна: ${\displaystyle p}$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}\end{aligned}}}$

• Вторая производная логарифмической функции правдоподобия равна:

${\displaystyle {\begin{aligned}{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}\end{aligned}}}$

• Информация Фишера рассчитывается как отрицательное ожидаемое значение второй производной логарифма правдоподобия:

${\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}$

Он максимален, когда , отражая максимальную неопределенность и, следовательно, максимальную информацию о параметре . ${\displaystyle p=0.5}$ ${\displaystyle p}$

Связанные дистрибутивы

• Если — независимые, одинаково распределенные ( iid ) случайные величины, все испытания Бернулли с вероятностью успеха  p , то их сумма распределена в соответствии с биномиальным распределением с параметрами n и p : ${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$( биномиальное распределение ). ^[3]

Распределение Бернулли просто записывается также как ${\displaystyle \operatorname {B} (1,p)}$ ${\textstyle \mathrm {Bernoulli} (p).}$

• Категориальное распределение является обобщением распределения Бернулли для переменных с любым постоянным числом дискретных значений.
• Бета -распределение является сопряженным априорным распределением Бернулли. ^[5]
• Геометрическое распределение моделирует число независимых и идентичных испытаний Бернулли, необходимых для получения одного успеха.
• Если , то имеет распределение Радемахера . ${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$ ${\textstyle 2Y-1}$

Смотрите также

• Процесс Бернулли , случайный процесс , состоящий из последовательности независимых испытаний Бернулли.
• выборка Бернулли
• Двоичная функция энтропии
• Диаграмма бинарных решений

Ссылки

1. Успенский, Джеймс Виктор (1937). Введение в математическую вероятность . Нью-Йорк: McGraw-Hill. стр. 45. OCLC  996937.
2. Деккинг, Фредерик; Краайкамп, Корнелис; Лопухаа, Хендрик; Меестер, Людольф (9 октября 2010 г.). Современное введение в вероятность и статистику (1-е изд.). Спрингер Лондон. стр. 43–48. ISBN 9781849969529.
3. Берцекас, Дмитрий П. (2002). Введение в вероятность . Цициклис, Джон Н. , Τσιτσικλής, Γιάννης Ν. Бельмонт, Массачусетс: Athena Scientific. ISBN 188652940X. OCLC  51441829.
4. МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели, второе издание . Бока-Ратон: Чапман и Холл/CRC. Раздел 4.2.2. ISBN 0-412-31760-5.
5. Орлофф, Джереми; Блум, Джонатан. «Сопряженные априорные распределения: бета и нормальные» (PDF) . math.mit.edu . Получено 20 октября 2023 г. .

Дальнейшее чтение

• Джонсон, Н. Л.; Коц, С.; Кемп, А. (1993). Одномерные дискретные распределения (2-е изд.). Wiley. ISBN 0-471-54897-9.
• Питман, Джон Г. (1963). Введение в прикладную статистику . Нью-Йорк: Harper & Row. С. 162–171.

Внешние ссылки

• «Биномиальное распределение», Энциклопедия математики , EMS Press , 2001 [1994].
• Вайсштейн, Эрик В. «Распределение Бернулли». MathWorld .
• Интерактивная графика: Одномерные распределительные соотношения.