Бета-биномиальное распределение

Дискретное распределение вероятностей

В теории вероятностей и статистике бета -биномиальное распределение — это семейство дискретных распределений вероятностей на конечном носителе неотрицательных целых чисел, возникающих, когда вероятность успеха в каждом из фиксированного или известного числа испытаний Бернулли либо неизвестна, либо случайна. Бета-биномиальное распределение — это биномиальное распределение , в котором вероятность успеха в каждом из n испытаний не фиксирована, а случайным образом выбирается из бета-распределения . Оно часто используется в байесовской статистике , эмпирических байесовских методах и классической статистике для захвата избыточной дисперсии в распределенных данных биномиального типа.

Бета-биномиальное распределение является одномерной версией полиномиального распределения Дирихле , поскольку биномиальное и бета-распределения являются одномерными версиями полиномиального и распределения Дирихле соответственно. Особый случай, когда α и β являются целыми числами, также известен как отрицательное гипергеометрическое распределение .

Мотивация и происхождение

Как составное распределение

Бета- распределение является сопряженным распределением биномиального распределения . Этот факт приводит к аналитически трактуемому составному распределению , где можно считать, что параметр в биномиальном распределении случайно выбирается из бета-распределения. Предположим, что мы заинтересованы в прогнозировании количества голов в будущих испытаниях. Это задается как ${\displaystyle p}$ ${\displaystyle x}$ ${\displaystyle n}$

${\displaystyle {\begin{aligned}f(x\mid n,\alpha ,\beta )&=\int _{0}^{1}\mathrm {Bin} (x|n,p)\mathrm {Beta} (p\mid \alpha ,\beta )\,dp\\[6pt]&={n \choose x}{\frac {1}{\mathrm {B} (\alpha ,\beta )}}\int _{0}^{1}p^{x+\alpha -1}(1-p)^{n-x+\beta -1}\,dp\\[6pt]&={n \choose x}{\frac {\mathrm {B} (x+\alpha ,n-x+\beta )}{\mathrm {B} (\alpha ,\beta )}}.\end{aligned}}}$

Используя свойства бета-функции , это можно записать иначе:

${\displaystyle f(x\mid n,\alpha ,\beta )={\frac {\Gamma (n+1)\Gamma (x+\alpha )\Gamma (n-x+\beta )}{\Gamma (n+\alpha +\beta )\Gamma (x+1)\Gamma (n-x+1)}}{\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}}$

Как модель урны

Бета-биномиальное распределение также может быть мотивировано с помощью модели урны для положительных целых значений α и β , известной как модель урны Пойа . В частности, представьте себе урну, содержащую α красных шаров и β черных шаров, где производятся случайные жеребьевки. Если наблюдается красный шар, то два красных шара возвращаются в урну. Аналогично, если вытаскивается черный шар, то два черных шара возвращаются в урну. Если это повторяется n раз, то вероятность наблюдения x красных шаров следует бета-биномиальному распределению с параметрами n , α и  β .

Напротив, если случайные выборки производятся с простой заменой (в урну не добавляются шары сверх наблюдаемого шара), то распределение следует биномиальному распределению, а если случайные выборки производятся без замены, то распределение следует гипергеометрическому распределению .

Моменты и свойства

Первые три сырых момента - это

${\displaystyle {\begin{aligned}\mu _{1}&={\frac {n\alpha }{\alpha +\beta }}\\[8pt]\mu _{2}&={\frac {n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}}\\[8pt]\mu _{3}&={\frac {n\alpha [n^{2}(1+\alpha )(2+\alpha )+3n(1+\alpha )\beta +\beta (\beta -\alpha )]}{(\alpha +\beta )(1+\alpha +\beta )(2+\alpha +\beta )}}\end{aligned}}}$

и эксцесс равен

${\displaystyle \beta _{2}={\frac {(\alpha +\beta )^{2}(1+\alpha +\beta )}{n\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)(\alpha +\beta +n)}}\left[(\alpha +\beta )(\alpha +\beta -1+6n)+3\alpha \beta (n-2)+6n^{2}-{\frac {3\alpha \beta n(6-n)}{\alpha +\beta }}-{\frac {18\alpha \beta n^{2}}{(\alpha +\beta )^{2}}}\right].}$

Заметим , что среднее значение можно записать как ${\displaystyle p={\frac {\alpha }{\alpha +\beta }}\!}$

${\displaystyle \mu ={\frac {n\alpha }{\alpha +\beta }}=np\!}$

и дисперсия как

${\displaystyle \sigma ^{2}={\frac {n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}=np(1-p){\frac {\alpha +\beta +n}{\alpha +\beta +1}}=np(1-p)[1+(n-1)\rho ]\!}$

где . Параметр известен как «внутриклассовая» или «внутрикластерная» корреляция. Именно эта положительная корреляция приводит к избыточной дисперсии. Обратите внимание, что когда , нет информации, позволяющей различить бета- и биномиальную вариацию, и обе модели имеют равные дисперсии. ${\displaystyle \rho ={\tfrac {1}{\alpha +\beta +1}}\!}$ ${\displaystyle \rho \;\!}$ ${\displaystyle n=1}$

Факториальные моменты

Факториальный момент r бета-биномиальной случайной величины X равен

${\displaystyle \operatorname {E} {\bigl [}(X)_{r}{\bigr ]}={\frac {n!}{(n-r)!}}{\frac {B(\alpha +r,\beta )}{B(\alpha ,\beta )}}=(n)_{r}{\frac {B(\alpha +r,\beta )}{B(\alpha ,\beta )}}}$.

Точечные оценки

Метод моментов

Метод оценок моментов можно получить, отметив первый и второй моменты бета-биномиала и установив их равными выборочным моментам и . Находим ${\displaystyle m_{1}}$ ${\displaystyle m_{2}}$

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\frac {nm_{1}-m_{2}}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}\\[5pt]{\widehat {\beta }}&={\frac {(n-m_{1})(n-{\frac {m_{2}}{m_{1}}})}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}.\end{aligned}}}$

Эти оценки могут быть бессмысленно отрицательными, что свидетельствует о том, что данные либо недисперсны, либо недостаточно дисперсны относительно биномиального распределения. В этом случае биномиальное распределение и гипергеометрическое распределение являются альтернативными кандидатами соответственно.

Оценка максимального правдоподобия

Хотя оценки максимального правдоподобия в закрытой форме непрактичны, учитывая, что pdf состоит из общих функций (гамма-функция и/или бета-функции), их можно легко найти с помощью прямой численной оптимизации. Оценки максимального правдоподобия из эмпирических данных можно вычислить с помощью общих методов подгонки полиномиальных распределений Полиа, методы для которых описаны в (Minka 2003). Пакет R VGAM через функцию vglm, через максимальное правдоподобие, облегчает подгонку моделей типа glm с ответами, распределенными в соответствии с бета-биномиальным распределением. Нет требования, чтобы n было фиксированным на протяжении наблюдений.

Пример: Неоднородность соотношения полов

Следующие данные показывают количество детей мужского пола среди первых 12 детей в семье размером 13 в 6115 семьях, взятых из больничных записей в Саксонии 19 века (Sokal и Rohlf, стр. 59 из Lindsey). 13-й ребенок игнорируется, чтобы смягчить эффект неслучайной остановки семей при достижении желаемого пола.

Первые два примера моментов:

${\displaystyle {\begin{aligned}m_{1}&=6.23\\m_{2}&=42.31\\n&=12\end{aligned}}}$

и поэтому метод моментных оценок

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&=34.1350\\{\widehat {\beta }}&=31.6085.\end{aligned}}}$

Оценки максимального правдоподобия можно найти численно

${\displaystyle {\begin{aligned}{\widehat {\alpha }}_{\mathrm {mle} }&=34.09558\\{\widehat {\beta }}_{\mathrm {mle} }&=31.5715\end{aligned}}}$

и максимизированное логарифмическое правдоподобие равно

${\displaystyle \log {\mathcal {L}}=-12492.9}$

из которого мы находим AIC

${\displaystyle {\mathit {AIC}}=24989.74.}$

AIC для конкурирующей биномиальной модели равен AIC = 25070,34, и, таким образом, мы видим, что бета-биномиальная модель обеспечивает лучшее соответствие данным, т.е. есть доказательства сверхдисперсии. Триверс и Уиллард постулируют теоретическое обоснование гетерогенности в гендерной предрасположенности среди потомства млекопитающих .

Превосходная посадка особенно заметна среди хвостов.

Роль в байесовской статистике

Бета-биномиальное распределение играет важную роль в байесовской оценке вероятности успеха Бернулли , которую мы хотим оценить на основе данных. Пусть будет выборкой независимых и одинаково распределенных случайных величин Бернулли . Предположим, что наше знание - в байесовском стиле - неопределенно и моделируется априорным распределением . Если затем посредством компаундирования априорное предсказательное распределение ${\displaystyle p}$ ${\displaystyle \mathbf {X} =\{X_{1},X_{2},\cdots X_{n_{1}}\}}$ ${\displaystyle X_{i}\sim {\text{Bernoulli}}(p)}$ ${\displaystyle p}$ ${\displaystyle p\sim {\text{Beta}}(\alpha ,\beta )}$ ${\displaystyle Y_{1}=\sum _{i=1}^{n_{1}}X_{i}}$

${\displaystyle Y_{1}\sim {\text{BetaBin}}(n_{1},\alpha ,\beta )}$.

После наблюдения мы замечаем, что апостериорное распределение для ${\displaystyle Y_{1}}$ ${\displaystyle p}$

${\displaystyle {\begin{aligned}f(p|\mathbf {X} ,\alpha ,\beta )&\propto \left(\prod _{i=1}^{n_{1}}p^{x_{i}}(1-p)^{1-x_{i}}\right)p^{\alpha -1}(1-p)^{\beta -1}\\&=Cp^{\sum x_{i}+\alpha -1}(1-p)^{n_{1}-\sum x_{i}+\beta -1}\\&=Cp^{y_{1}+\alpha -1}(1-p)^{n_{1}-y_{1}+\beta -1}\end{aligned}}}$

где — нормирующая константа. Мы распознаем апостериорное распределение как . ${\displaystyle C}$ ${\displaystyle \mathrm {Beta} (y_{1}+\alpha ,n_{1}-y_{1}+\beta )}$

Таким образом, снова посредством компаундирования, мы обнаруживаем, что апостериорное предсказательное распределение суммы будущей выборки размера случайных величин равно ${\displaystyle n_{2}}$ ${\displaystyle \mathrm {Bernoulli} (p)}$

${\displaystyle Y_{2}\sim \mathrm {BetaBin} (n_{2},y_{1}+\alpha ,n_{1}-y_{1}+\beta )}$.

Генерация случайных величин

Чтобы нарисовать бета-биномиальную случайную величину, просто нарисуйте , а затем нарисуйте . ${\displaystyle X\sim \mathrm {BetaBin} (n,\alpha ,\beta )}$ ${\displaystyle p\sim \mathrm {Beta} (\alpha ,\beta )}$ ${\displaystyle X\sim \mathrm {B} (n,p)}$

Связанные дистрибутивы

• ${\displaystyle \mathrm {BetaBin} (1,\alpha ,\beta )\sim \mathrm {Bernoulli} (p)\,}$где . ${\displaystyle p={\frac {\alpha }{\alpha +\beta }}\,}$
• ${\displaystyle \mathrm {BetaBin} (n,1,1)\sim U(0,n)\,}$где - дискретное равномерное распределение . ${\displaystyle U(a,b)\,}$
• ${\displaystyle \lim _{s\rightarrow \infty }\mathrm {BetaBin} (n,ps,(1-p)s)\sim \mathrm {B} (n,p)\,}$где и и - биномиальное распределение . ${\displaystyle p={\frac {\alpha }{\alpha +\beta }}\,}$ ${\displaystyle s=\alpha +\beta \,}$ ${\displaystyle \mathrm {B} (n,p)\,}$
• ${\displaystyle \lim _{n\rightarrow \infty }\mathrm {BetaBin} (n,\alpha ,{\frac {np}{(1-p)}})\sim \mathrm {NB} (\alpha ,p)\,}$где - отрицательное биномиальное распределение . ${\displaystyle \mathrm {NB} (\alpha ,p)\,}$

Смотрите также

• Дирихле-мультиномиальное распределение

Ссылки

• Минка, Томас П. (2003). Оценка распределения Дирихле. Технический отчет Microsoft.

Внешние ссылки

• Использование бета-биномиального распределения для оценки эффективности биометрического идентификационного устройства
• Fastfit содержит код Matlab для подгонки бета-биномиальных распределений (в форме двумерных распределений Полиа) к данным.
• Интерактивная графика: Одномерные распределительные соотношения
• Бета-биномиальные функции в пакете VGAM R
• Бета-биномиальное распределение в библиотеке Sandia National Labs Cognitive Foundry Java