Нормально-обратное гамма-распределение

В теории вероятностей и статистике нормальное обратное гамма-распределение (или обратное гамма-распределение Гаусса ) представляет собой четырехпараметрическое семейство многомерных непрерывных распределений вероятностей . Это сопряженное априорное нормальное распределение с неизвестными средним значением и дисперсией .

Определение

Предполагать

${\displaystyle x\mid \sigma ^{2},\mu ,\lambda \sim \mathrm {N} (\mu ,\sigma ^{2}/\lambda )\,\!}$

имеет нормальное распределение со средним значением и дисперсией , где ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}/\lambda }$

${\displaystyle \sigma ^{2}\mid \alpha ,\beta \sim \Gamma ^{-1}(\alpha ,\beta )\!}$

имеет обратное гамма-распределение . Тогда имеет нормальное обратное гамма-распределение, обозначаемое как ${\displaystyle (x,\sigma ^{2})}$

${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.}$

( также используется вместо ) ${\displaystyle {\text{NIG}}}$ ${\displaystyle {\text{N-}}\Gamma ^{-1}.}$

Нормальное обратное распределение Уишарта является обобщением нормального обратного гамма-распределения, которое определено для многомерных случайных величин.

Характеристика

Функция плотности вероятности

${\displaystyle f(x,\sigma ^{2}\mid \mu ,\lambda ,\alpha ,\beta )={\frac {\sqrt {\lambda }}{\sigma {\sqrt {2\pi }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (x-\mu )^{2}}{2\sigma ^{2}}}\right)}$

Для многомерной формы где – случайный вектор, ${\displaystyle \mathbf {x} }$ ${\displaystyle k\times 1}$

${\displaystyle f(\mathbf {x} ,\sigma ^{2}\mid \mu ,\mathbf {V} ^{-1},\alpha ,\beta )=|\mathbf {V} |^{-1/2}{(2\pi )^{-k/2}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1+k/2}\exp \left(-{\frac {2\beta +(\mathbf {x} -{\boldsymbol {\mu }})^{T}\mathbf {V} ^{-1}(\mathbf {x} -{\boldsymbol {\mu }})}{2\sigma ^{2}}}\right).}$

где – определитель матрицы . _ Обратите внимание, как это последнее уравнение сводится к первой форме, если это скаляры . ${\displaystyle |\mathbf {V} |}$ ${\displaystyle k\times k}$ ${\displaystyle \mathbf {V} }$ ${\displaystyle k=1}$ ${\displaystyle \mathbf {x} ,\mathbf {V} ,{\boldsymbol {\mu }}}$

Альтернативная параметризация

Также можно указать, в этом случае pdf становится ${\displaystyle \gamma =1/\lambda }$

${\displaystyle f(x,\sigma ^{2}\mid \mu ,\gamma ,\alpha ,\beta )={\frac {1}{\sigma {\sqrt {2\pi \gamma }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\gamma \beta +(x-\mu )^{2}}{2\gamma \sigma ^{2}}}\right)}$

В многомерной форме соответствующим изменением будет рассматриваться в качестве параметра ковариационная матрица , а не ее обратная . ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {V} ^{-1}}$

Кумулятивная функция распределения

${\displaystyle F(x,\sigma ^{2}\mid \mu ,\lambda ,\alpha ,\beta )={\frac {e^{-{\frac {\beta }{\sigma ^{2}}}}\left({\frac {\beta }{\sigma ^{2}}}\right)^{\alpha }\left(\operatorname {erf} \left({\frac {{\sqrt {\lambda }}(x-\mu )}{{\sqrt {2}}\sigma }}\right)+1\right)}{2\sigma ^{2}\Gamma (\alpha )}}}$

Характеристики

Маржинальные распределения

Учитывая вышеизложенное, само по себе следует обратное гамма-распределение : ${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.}$ ${\displaystyle \sigma ^{2}}$

${\displaystyle \sigma ^{2}\sim \Gamma ^{-1}(\alpha ,\beta )\!}$

в то время как следует t-распределению со степенями свободы. ^[1] ${\displaystyle {\sqrt {\frac {\alpha \lambda }{\beta }}}(x-\mu )}$ ${\displaystyle 2\alpha }$

Доказательство ${\displaystyle \lambda =1}$

Для функции плотности вероятности ${\displaystyle \lambda =1}$

${\displaystyle f(x,\sigma ^{2}\mid \mu ,\alpha ,\beta )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$

Маргинальное распределение более ${\displaystyle x}$

${\displaystyle {\begin{aligned}f(x\mid \mu ,\alpha ,\beta )&=\int _{0}^{\infty }d\sigma ^{2}f(x,\sigma ^{2}\mid \mu ,\alpha ,\beta )\\&={\frac {1}{\sqrt {2\pi }}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\int _{0}^{\infty }d\sigma ^{2}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1/2+1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)\end{aligned}}}$

За исключением нормировочного коэффициента, выражение под интегралом совпадает с обратным гамма-распределением.

${\displaystyle \Gamma ^{-1}(x;a,b)={\frac {b^{a}}{\Gamma (a)}}{\frac {e^{-b/x}}{{x}^{a+1}}},}$

с , , . ${\displaystyle x=\sigma ^{2}}$ ${\displaystyle a=\alpha +1/2}$ ${\displaystyle b={\frac {2\beta +(x-\mu )^{2}}{2}}}$

Поскольку и ${\displaystyle \int _{0}^{\infty }dx\Gamma ^{-1}(x;a,b)=1,\quad \int _{0}^{\infty }dxx^{-(a+1)}e^{-b/x}=\Gamma (a)b^{-a}}$

${\displaystyle \int _{0}^{\infty }d\sigma ^{2}\left({\frac {1}{\sigma ^{2}}}\right)^{\alpha +1/2+1}\exp \left(-{\frac {2\beta +(x-\mu )^{2}}{2\sigma ^{2}}}\right)=\Gamma (\alpha +1/2)\left({\frac {2\beta +(x-\mu )^{2}}{2}}\right)^{-(\alpha +1/2)}}$

Подставив это выражение и факторизовав зависимость от , ${\displaystyle x}$

${\displaystyle f(x\mid \mu ,\alpha ,\beta )\propto _{x}\left(1+{\frac {(x-\mu )^{2}}{2\beta }}\right)^{-(\alpha +1/2)}.}$

Форма обобщенного t-распределения Стьюдента :

${\displaystyle t(x|\nu ,{\hat {\mu }},{\hat {\sigma }}^{2})\propto _{x}\left(1+{\frac {1}{\nu }}{\frac {(x-{\hat {\mu }})^{2}}{{\hat {\sigma }}^{2}}}\right)^{-(\nu +1)/2}}$.

Маргинальное распределение соответствует t-распределению со степенями свободы. ${\displaystyle f(x\mid \mu ,\alpha ,\beta )}$ ${\displaystyle 2\alpha }$

${\displaystyle f(x\mid \mu ,\alpha ,\beta )=t(x|\nu =2\alpha ,{\hat {\mu }}=\mu ,{\hat {\sigma }}^{2}=\beta /\alpha )}$.

В многомерном случае предельное распределение представляет собой многомерное t-распределение : ${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x} \sim t_{2\alpha }({\boldsymbol {\mu }},{\frac {\beta }{\alpha }}\mathbf {V} )\!}$

Суммирование

Масштабирование

Предполагать

${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )\!.}$

Тогда для , ${\displaystyle c>0}$

${\displaystyle (cx,c\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(c\mu ,\lambda /c,\alpha ,c\beta )\!.}$

Доказательство: Чтобы доказать это, позвольте и исправьте . Определяя , обратите внимание, что PDF случайной величины, оцененной при , равна разу PDF случайной величины, оцененной при . Следовательно, PDF оценки at определяется следующим образом: ${\displaystyle (x,\sigma ^{2})\sim {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )}$ ${\displaystyle c>0}$ ${\displaystyle Y=(Y_{1},Y_{2})=(cx,c\sigma ^{2})}$ ${\displaystyle Y}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle 1/c^{2}}$ ${\displaystyle {\text{N-}}\Gamma ^{-1}(\mu ,\lambda ,\alpha ,\beta )}$ ${\displaystyle (y_{1}/c,y_{2}/c)}$ ${\displaystyle Y}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle f_{Y}(y_{1},y_{2})={\frac {1}{c^{2}}}{\frac {\sqrt {\lambda }}{\sqrt {2\pi y_{2}/c}}}\,{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{y_{2}/c}}\right)^{\alpha +1}\exp \left(-{\frac {2\beta +\lambda (y_{1}/c-\mu )^{2}}{2y_{2}/c}}\right)={\frac {\sqrt {\lambda /c}}{\sqrt {2\pi y_{2}}}}\,{\frac {(c\beta )^{\alpha }}{\Gamma (\alpha )}}\,\left({\frac {1}{y_{2}}}\right)^{\alpha +1}\exp \left(-{\frac {2c\beta +(\lambda /c)\,(y_{1}-c\mu )^{2}}{2y_{2}}}\right).\!}$

Правое выражение представляет собой PDF-файл для случайной величины, оцененной в , что завершает доказательство. ${\displaystyle {\text{N-}}\Gamma ^{-1}(c\mu ,\lambda /c,\alpha ,c\beta )}$ ${\displaystyle (y_{1},y_{2})}$

Экспоненциальное семейство

Распределения нормального обратного гамма-распределения образуют экспоненциальное семейство с естественными параметрами , , , и достаточной статистикой , , , и . ${\displaystyle \textstyle \theta _{1}={\frac {-\lambda }{2}}}$ ${\displaystyle \textstyle \theta _{2}=\lambda \mu }$ ${\displaystyle \textstyle \theta _{3}=\alpha }$ ${\displaystyle \textstyle \theta _{4}=-\beta +{\frac {-\lambda \mu ^{2}}{2}}}$ ${\displaystyle \textstyle T_{1}={\frac {x^{2}}{\sigma ^{2}}}}$ ${\displaystyle \textstyle T_{2}={\frac {x}{\sigma ^{2}}}}$ ${\displaystyle \textstyle T_{3}=\log {\big (}{\frac {1}{\sigma ^{2}}}{\big )}}$ ${\displaystyle \textstyle T_{4}={\frac {1}{\sigma ^{2}}}}$

Информационная энтропия

Расхождение Кульбака – Лейблера

Измеряет разницу между двумя распределениями.

Оценка максимального правдоподобия

Апостериорное распределение параметров

См. статьи о нормальном гамма-распределении и сопряженном априорном .

Интерпретация параметров

См. статьи о нормальном гамма-распределении и сопряженном априорном .

Генерация случайных величин нормальной-обратной гаммы

Генерация случайных величин проста:

1. Выборка обратного гамма-распределения с параметрами и ${\displaystyle \sigma ^{2}}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$
2. Выборка из нормального распределения со средним значением и дисперсией ${\displaystyle x}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}/\lambda }$

Связанные дистрибутивы

• Нормальное гамма-распределение — это то же распределение, параметризованное точностью , а не дисперсией .
• Обобщением этого распределения, которое допускает многомерное среднее и полностью неизвестную положительно определенную ковариационную матрицу (тогда как в многомерном обратном гамма-распределении ковариационная матрица считается известной с точностью до масштабного коэффициента ), является нормальное обратное распределение Вишарта. ${\displaystyle \sigma ^{2}\mathbf {V} }$ ${\displaystyle \sigma ^{2}}$

Смотрите также

• Сложное распределение вероятностей

Рекомендации

1. Рамирес-Хассан, Андрес. 4.2 Сопряжение до экспоненциального семейства | Введение в байесовскую эконометрику.

• Денисон, Дэвид Г.Т.; Холмс, Кристофер С.; Маллик, Бани К.; Смит, Адриан Ф.М. (2002) Байесовские методы нелинейной классификации и регрессии , Wiley. ISBN 0471490369 
• Кох, Карл-Рудольф (2007) Введение в байесовскую статистику (2-е издание), Springer. ISBN 354072723X