Нормально-обратное гамма-распределение

В теории вероятностей и статистике нормальное обратное гамма-распределение (или гауссово обратное гамма-распределение ) — это семейство многомерных непрерывных вероятностных распределений с четырьмя параметрами . Это сопряженное априорное распределение нормального распределения с неизвестными средним значением и дисперсией .

Определение

Предполагать

${\displaystyle x\mid \sigma ^{2},\mu ,\lambda \sim \mathrm {N} (\mu ,\sigma ^{2}/\lambda )\,\!}$

имеет нормальное распределение со средним значением и дисперсией , где ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}/\lambda }$

${\displaystyle \sigma ^{2}\mid \alpha ,\beta \sim \Gamma ^{-1}(\alpha ,\beta )\!}$

имеет обратное гамма-распределение . Тогда имеет нормальное обратное гамма-распределение, обозначаемое как ${\displaystyle (x,\sigma ^{2})}$

${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.}$

( также используется вместо ) ${\displaystyle {\text{NIG}}}$ ${\displaystyle {\text{N-}}\Gamma ^{-1}.}$

Нормально -обратное распределение Уишарта является обобщением нормального-обратного гамма-распределения, которое определено для многомерных случайных величин.

Характеристика

Функция плотности вероятности

${\displaystyle f(x,\sigma ^{2}\mid \mu ,\lambda ,\alpha ,\beta )={\frac {\sqrt {\lambda }}{\sigma {\sqrt {2\pi }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (x-\mu )^{2}}{2\sigma ^{2}}}\right)}$

Для многомерной формы, где — случайный вектор, ${\displaystyle \mathbf {x} }$ ${\displaystyle k\times 1}$

${\displaystyle f(\mathbf {x} ,\sigma ^{2}\mid \mu ,\mathbf {V} ^{-1},\alpha ,\beta )=|\mathbf {V} |^{-1/2}{(2\pi )^{-k/2}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1+k/2}\exp \left(-{\frac {2\beta +(\mathbf {x} -{\boldsymbol {\mu }})^{T}\mathbf {V} ^{-1}(\mathbf {x} -{\boldsymbol {\mu }})}{2\sigma ^{2}}}\right).}$

где — определитель матрицы . Обратите внимание , как это последнее уравнение сводится к первой форме, если так, что — скаляры . ${\displaystyle |\mathbf {V} |}$ ${\displaystyle k\times k}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle k=1}$ ${\displaystyle \mathbf {x} ,\mathbf {V} ,{\boldsymbol {\mu }}}$

Альтернативная параметризация

Также возможно разрешить в этом случае pdf-файл станет ${\displaystyle \gamma =1/\lambda }$

${\displaystyle f(x,\sigma ^{2}\mid \mu ,\gamma ,\alpha ,\beta )={\frac {1}{\sigma {\sqrt {2\pi \gamma }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\gamma \beta +(x-\mu )^{2}}{2\gamma \sigma ^{2}}}\right)}$

В многомерной форме соответствующее изменение будет заключаться в том, чтобы рассматривать в качестве параметра ковариационную матрицу вместо ее обратной матрицы . ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {V} ^{-1}}$

Кумулятивная функция распределения

${\displaystyle F(x,\sigma ^{2}\mid \mu ,\lambda ,\alpha ,\beta )={\frac {e^{-{\frac {\beta }{\sigma ^{2}}}}\left({\frac {\beta }{\sigma ^{2}}}\right)^{\alpha }\left(\operatorname {erf} \left({\frac {{\sqrt {\lambda }}(x-\mu )}{{\sqrt {2}}\sigma }}\right)+1\right)}{2\sigma ^{2}\Gamma (\alpha )}}}$

Характеристики

Предельные распределения

Учитывая вышеизложенное, само по себе следует обратное гамма-распределение : ${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.}$ ${\displaystyle \sigma ^{2}}$

${\displaystyle \sigma ^{2}\sim \Gamma ^{-1}(\alpha ,\beta )\!}$

в то время как следует за распределением t со степенями свободы. ^[1] ${\displaystyle {\sqrt {\frac {\alpha \lambda }{\beta }}}(x-\mu )}$ ${\displaystyle 2\alpha }$

Доказательство для ${\displaystyle \lambda =1}$

Для функции плотности вероятности есть ${\displaystyle \lambda =1}$

${\displaystyle f(x,\sigma ^{2}\mid \mu ,\alpha ,\beta )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$

Предельное распределение по ${\displaystyle x}$

${\displaystyle {\begin{aligned}f(x\mid \mu ,\alpha ,\beta )&=\int _{0}^{\infty }d\sigma ^{2}f(x,\sigma ^{2}\mid \mu ,\alpha ,\beta )\\&={\frac {1}{\sqrt {2\pi }}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\int _{0}^{\infty }d\sigma ^{2}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1/2+1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)\end{aligned}}}$

За исключением нормировочного множителя выражение под интегралом совпадает с обратным гамма-распределением

${\displaystyle \Gamma ^{-1}(x;a,b)={\frac {b^{a}}{\Gamma (a)}}{\frac {e^{-b/x}}{{x}^{a+1}}},}$

с , , . ${\displaystyle x=\sigma ^{2}}$ ${\displaystyle a=\alpha +1/2}$ ${\displaystyle b={\frac {2\beta +(x-\mu )^{2}}{2}}}$

Так как , и ${\displaystyle \int _{0}^{\infty }dx\Gamma ^{-1}(x;a,b)=1,\quad \int _{0}^{\infty }dxx^{-(a+1)}e^{-b/x}=\Gamma (a)b^{-a}}$

${\displaystyle \int _{0}^{\infty }d\sigma ^{2}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1/2+1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)=\Gamma (\alpha +1/2)\left({\frac {2\beta +(x-\mu )^{2}}{2}}\right)^{-(\alpha +1/2)}}$

Подставляя это выражение и разлагая зависимость на , ${\displaystyle x}$

${\displaystyle f(x\mid \mu ,\alpha ,\beta )\propto _{x}\left(1+{\frac {(x-\mu )^{2}}{2\beta }}\right)^{-(\alpha +1/2)}.}$

Форма обобщенного распределения Стьюдента имеет вид

${\displaystyle t(x|\nu ,{\hat {\mu }},{\hat {\sigma }}^{2})\propto _{x}\left(1+{\frac {1}{\nu }}{\frac {(x-{\hat {\mu }})^{2}}{{\hat {\sigma }}^{2}}}\right)^{-(\nu +1)/2}}$.

Маргинальное распределение следует t-распределению со степенями свободы ${\displaystyle f(x\mid \mu ,\alpha ,\beta )}$ ${\displaystyle 2\alpha }$

${\displaystyle f(x\mid \mu ,\alpha ,\beta )=t(x|\nu =2\alpha ,{\hat {\mu }}=\mu ,{\hat {\sigma }}^{2}=\beta /\alpha )}$.

В многомерном случае предельное распределение представляет собой многомерное t-распределение : ${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x} \sim t_{2\alpha }({\boldsymbol {\mu }},{\frac {\beta }{\alpha }}\mathbf {V} )\!}$

Суммирование

Масштабирование

Предполагать

${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.}$

Тогда для , ${\displaystyle c>0}$

${\displaystyle (cx,c\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(c\mu ,\lambda /c,\alpha ,c\beta )\!.}$

Доказательство: Чтобы доказать это, пусть и зафиксируем . Определяя , заметим, что PDF случайной величины, оцененной в , задается умножением PDF случайной величины, оцененной в . Следовательно, PDF для оцененной в дается выражением : ${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )}$ ${\displaystyle c>0}$ ${\displaystyle Y=(Y_{1},Y_{2})=(cx,c\sigma ^{2})}$ ${\displaystyle Y}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle 1/c^{2}}$ ${\displaystyle {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )}$ ${\displaystyle (y_{1}/c,y_{2}/c)}$ ${\displaystyle Y}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle f_{Y}(y_{1},y_{2})={\frac {1}{c^{2}}}{\frac {\sqrt {\lambda }}{\sqrt {2\pi y_{2}/c}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{y_{2}/c}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (y_{1}/c-\mu )^{2}}{2y_{2}/c}}\right)={\frac {\sqrt {\lambda /c}}{\sqrt {2\pi y_{2}}}}\,{\frac {(c\beta )^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{y_{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2c\beta +(\lambda /c)\,(y_{1}-c\mu )^{2}}{2y_{2}}}\right).\!}$

Правое выражение представляет собой плотность вероятности для случайной величины, оцененной при , что завершает доказательство. ${\displaystyle {\text{N-}}\Gamma ^{-1}(c\mu ,\lambda /c,\alpha ,c\beta )}$ ${\displaystyle (y_{1},y_{2})}$

Экспоненциальная семья

Нормально-обратно-гамма распределения образуют экспоненциальное семейство с натуральными параметрами , , , и и достаточной статистикой , , , и . ${\displaystyle \textstyle \theta _{1}={\frac {-\lambda }{2}}}$ ${\displaystyle \textstyle \theta _{2}=\lambda \mu }$ ${\displaystyle \textstyle \theta _{3}=\alpha }$ ${\displaystyle \textstyle \theta _{4}=-\beta +{\frac {-\lambda \mu ^{2}}{2}}}$ ${\displaystyle \textstyle T_{1}={\frac {x^{2}}{\sigma ^{2}}}}$ ${\displaystyle \textstyle T_{2}={\frac {x}{\sigma ^{2}}}}$ ${\displaystyle \textstyle T_{3}=\log {\big (}{\frac {1}{\sigma ^{2}}}{\big )}}$ ${\displaystyle \textstyle T_{4}={\frac {1}{\sigma ^{2}}}}$

Информационная энтропия

Расхождение Кульбака–Лейблера

Измеряет разницу между двумя распределениями.

Оценка максимального правдоподобия

Апостериорное распределение параметров

См. статьи о нормальном гамма-распределении и сопряженном априорном распределении .

Интерпретация параметров

См. статьи о нормальном гамма-распределении и сопряженном априорном распределении .

Генерация случайных величин с нормальным и обратным гамма-распределением

Генерация случайных величин проста:

1. Выборка из обратного гамма-распределения с параметрами и ${\displaystyle \sigma ^{2}}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$
2. Выборка из нормального распределения со средним значением и дисперсией ${\displaystyle x}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}/\lambda }$

Связанные дистрибутивы

• Нормальное гамма-распределение — это то же распределение, параметризованное точностью , а не дисперсией.
• Обобщением этого распределения, которое допускает многомерное среднее значение и совершенно неизвестную положительно-определенную ковариационную матрицу (тогда как в многомерном обратном гамма-распределении ковариационная матрица считается известной с точностью до масштабного коэффициента ), является нормально-обратное распределение Уишарта. ${\displaystyle \sigma ^{2}\mathbf {V} }$ ${\displaystyle \sigma ^{2}}$

Смотрите также

• Составное распределение вероятностей

Ссылки

1. Рамирес-Хассан, Андрес. 4.2 Сопряженные априорные экспоненциальные семейства | Введение в байесовскую эконометрику.

• Денисон, Дэвид Г.Т.; Холмс, Кристофер К.; Маллик, Бани К.; Смит, Адриан Ф.М. (2002) Байесовские методы нелинейной классификации и регрессии , Wiley. ISBN 0471490369 
• Кох, Карл-Рудольф (2007) Введение в байесовскую статистику (2-е издание), Springer. ISBN 354072723X