Сложное распределение вероятностей

В теории вероятностей и статистике сложное распределение вероятностей (также известное как смешанное распределение или заразительное распределение ) — это распределение вероятностей , возникающее в результате предположения, что случайная величина распределяется в соответствии с некоторым параметризованным распределением с (некоторыми) параметрами этого распределения. сами по себе являются случайными величинами. Если параметр является параметром масштаба , полученную смесь также называют смесью масштабов .

Составное распределение («безусловное распределение») является результатом маргинализации (интегрирования) скрытой случайной величины (-ов), представляющей параметр (-ы) параметризованного распределения («условное распределение»).

Определение

Составное распределение вероятностей — это распределение вероятностей, которое возникает в результате предположения, что случайная величина распределяется в соответствии с некоторым параметризованным распределением с неизвестным параметром , который снова распределяется в соответствии с некоторым другим распределением . Результирующее распределение называется распределением, полученным в результате сложения с . Распределение параметра также называется распределением смешивания или скрытым распределением . Технически, безусловное распределение является результатом маргинализации по , то есть интегрирования неизвестного параметра(ов) . Его функция плотности вероятности определяется следующим образом: ${\displaystyle X}$ ${\displaystyle F}$ ${\displaystyle \theta }$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle G}$ ${\displaystyle \theta }$

${\displaystyle p_{H}(x)={\displaystyle \int \limits p_{F}(x|\theta )\,p_{G}(\theta )\operatorname {d} \!\theta }}$

Та же самая формула применяется аналогично, если некоторые или все переменные являются векторами.

Из приведенной выше формулы можно видеть, что сложное распределение по сути является частным случаем маргинального распределения : Совместное распределение и определяется как , а сложное распределение является его маргинальным распределением: . Если область определения дискретна, то распределение снова является частным случаем смешанного распределения . ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle p(x,\theta )=p(x|\theta )p(\theta )}$ ${\displaystyle {\textstyle p(x)=\int p(x,\theta )\operatorname {d} \!\theta }}$ ${\displaystyle \theta }$

Характеристики

Общий

Составное распределение будет зависеть от конкретного выражения каждого распределения, а также от того, какой параметр распределяется в соответствии с распределением , и параметры будут включать в себя любые параметры, которые не изолированы или не интегрированы. Поддержка такая же, как и у , и если последнее представляет собой двухпараметрическое распределение, параметризованное средним значением и дисперсией, существуют некоторые общие свойства. ${\displaystyle H}$ ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle F}$

Среднее и дисперсия

Первые два момента сложного распределения определяются законом полного ожидания и законом полной дисперсии :

$${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl [}\operatorname {E} _{F}[X|\theta ]{\bigr ]}}$$

$${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}}$$

Если среднее значение распределено как , которое, в свою очередь, имеет среднее значение и дисперсию , приведенные выше выражения подразумевают и , где – дисперсия . ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}[\theta ]=\mu }$ ${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {Var} _{F}(X|\theta )+\operatorname {Var} _{G}(Y)=\tau ^{2}+\sigma ^{2}}$ ${\displaystyle \tau ^{2}}$ ${\displaystyle F}$

Доказательство

пусть и будут распределениями вероятностей, параметризованными средней дисперсией как ${\displaystyle F}$ ${\displaystyle G}$

$${\displaystyle {\begin{aligned}x&\sim {\mathcal {F}}(\theta ,\tau ^{2})\\\theta &\sim {\mathcal {G}}(\mu ,\sigma ^{2})\end{aligned}}}$$

${\displaystyle f(x|\theta )=p_{F}(x|\theta )}$ ${\displaystyle g(\theta )=p_{G}(\theta )}$ ${\displaystyle h(x)}$ ${\displaystyle H}$

$${\displaystyle {\begin{aligned}\operatorname {E} _{H}[X]=\int _{F}xh(x)dx&=\int _{F}x\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}\int _{F}xf(x|\theta )dx\ g(\theta )d\theta \\&=\int _{G}\operatorname {E} _{F}[X|\theta ]g(\theta )d\theta \end{aligned}}}$$

${\displaystyle {\mathcal {F}}}$ ${\displaystyle {\mathcal {G}}}$

$${\displaystyle {\begin{aligned}\operatorname {E} _{F}[X|\theta ]&=\int _{F}xf(x|\theta )dx=\theta \\\operatorname {E} _{G}[\theta ]&=\int _{G}\theta g(\theta )d\theta =\mu \end{aligned}}}$$

${\displaystyle \operatorname {E} _{H}[X]=\mu }$

Дисперсия определяется выражением , и ${\displaystyle H}$ ${\displaystyle \operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}}$

$${\displaystyle {\begin{aligned}\operatorname {E} _{H}[X^{2}]=\int _{F}x^{2}h(x)dx&=\int _{F}x^{2}\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}g(\theta )\int _{F}x^{2}f(x|\theta )dx\ d\theta \\&=\int _{G}g(\theta )(\tau ^{2}+\theta ^{2})d\theta \\&=\tau ^{2}\int _{G}g(\theta )d\theta +\int _{G}g(\theta )\theta ^{2}d\theta \\&=\tau ^{2}+(\sigma ^{2}+\mu ^{2}),\end{aligned}}}$$

${\displaystyle \int _{F}x^{2}f(x\mid \theta )dx=\operatorname {E} _{F}[X^{2}\mid \theta ]=\operatorname {Var} _{F}(X\mid \theta )+(\operatorname {E} _{F}[X\mid \theta ])^{2}}$ ${\displaystyle \int _{G}\theta ^{2}g(\theta )d\theta =\operatorname {E} _{G}[\theta ^{2}]=\operatorname {Var} _{G}(\theta )+(\operatorname {E} _{G}[\theta ])^{2}}$

$${\displaystyle {\begin{aligned}\operatorname {Var} _{H}(X)&=\operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}\\&=\tau ^{2}+\sigma ^{2}\end{aligned}}}$$

Приложения

Тестирование

Распределения общей статистики теста представляют собой составные распределения при нулевой гипотезе, например, в t-критерии Стьюдента (где статистика теста представляет собой соотношение нормальной и случайной величины хи-квадрат ) или в F-тесте (где статистика теста представляет собой отношение двух случайных величин хи-квадрат ).

Моделирование сверхдисперсии

Сложные распределения полезны для моделирования результатов, демонстрирующих чрезмерную дисперсию , т. е. большую изменчивость, чем можно было бы ожидать в рамках определенной модели. Например, данные подсчета обычно моделируются с использованием распределения Пуассона , дисперсия которого равна его среднему значению. Распределение можно обобщить, допустив изменчивость его параметра скорости , реализованную через гамма-распределение , что приводит к предельному отрицательному биномиальному распределению . Это распределение по форме похоже на распределение Пуассона, но допускает большие дисперсии. Аналогичным образом, биномиальное распределение можно обобщить, чтобы обеспечить дополнительную вариативность, объединив его с бета-распределением для параметра вероятности успеха, что приводит к бета-биномиальному распределению .

Байесовский вывод

Помимо повсеместных маргинальных распределений, которые можно рассматривать как частные случаи составных распределений, в байесовском выводе сложные распределения возникают, когда в приведенных выше обозначениях F представляет распределение будущих наблюдений, а G — апостериорное распределение параметров F с учетом информацию в наборе наблюдаемых данных. Это дает апостериорное прогнозируемое распределение . Соответственно, для априорного прогнозируемого распределения F — это распределение новой точки данных, а G — априорное распределение параметров.

Свертка

Свертку распределений вероятностей (для получения распределения вероятностей сумм случайных величин) также можно рассматривать как частный случай наложения процентов; здесь распределение суммы по существу является результатом рассмотрения одного слагаемого как параметра случайного местоположения для другого слагаемого. ^[1]

Вычисление

Сложные распределения, полученные из экспоненциальных семейных распределений, часто имеют замкнутую форму. Если аналитическое интегрирование невозможно, могут потребоваться численные методы.

Распределение соединений можно относительно легко исследовать с помощью методов Монте-Карло , т. е. путем создания случайных выборок. Зачастую легко сгенерировать случайные числа из распределений, а затем использовать их для выполнения свернутой выборки Гиббса для создания выборок из . ${\displaystyle p(\theta )}$ ${\displaystyle p(x|\theta )}$ ${\displaystyle p(x)}$

Сложное распределение обычно также может быть в достаточной степени аппроксимировано распределением смеси с использованием конечного числа компонентов смеси, что позволяет получить приблизительную плотность, функцию распределения и т. д. ^[1]

Оценка параметров ( оценка максимального правдоподобия или максимальная апостериорная оценка) в рамках составной модели распределения иногда может быть упрощена за счет использования EM-алгоритма . ^[2]

Примеры

• Смеси гауссовского масштаба : ^{[3] [4]}
  • Соединение нормального распределения с дисперсией , распределенной в соответствии с обратным гамма-распределением (или, что то же самое, с точностью, распределенной как гамма-распределение ), дает нестандартизованное t-распределение Стьюдента . ^[5] Это распределение имеет ту же симметричную форму, что и нормальное распределение с той же центральной точкой, но имеет большую дисперсию и тяжелые хвосты .
  • Соединение гауссова (или нормального) распределения с дисперсией, распределенной в соответствии с экспоненциальным распределением (или со стандартным отклонением в соответствии с распределением Рэлея ), дает распределение Лапласа . В более общем смысле, объединение гауссова (или нормального) распределения с дисперсией, распределенной в соответствии с гамма-распределением, дает гамма-распределение дисперсии .
  • Соединение гауссова распределения с дисперсией, распределенной в соответствии с экспоненциальным распределением , параметр скорости которого сам распределяется в соответствии с гамма-распределением, дает нормально-экспоненциальное гамма-распределение . (Это включает в себя два этапа наложения процентов. Тогда сама дисперсия подчиняется распределению Ломакса ; см. ниже.)
  • Соединение гауссова распределения со стандартным отклонением, распределенным в соответствии с (стандартным) обратным равномерным распределением, дает распределение Слэша .
  • Соединение гауссовского (нормального) распределения с распределением Колмогорова дает логистическое распределение . ^{[6] [3]}
• другие гауссовы смеси :
  • Соединение гауссова распределения со средним значением , распределенным в соответствии с другим гауссовским распределением, дает (снова) гауссово распределение .
  • Соединение гауссовского распределения со средним значением , распределенным в соответствии со смещенным экспоненциальным распределением, дает экспоненциально модифицированное гауссово распределение .

• Составление распределения Бернулли с вероятностью успеха, распределенной в соответствии с распределением , имеющим определенное ожидаемое значение, дает распределение Бернулли с вероятностью успеха . Интересным следствием является то, что дисперсия не влияет на дисперсию результирующего распределения соединения. ${\displaystyle p}$ ${\displaystyle X}$ ${\displaystyle E[X]}$ ${\displaystyle X}$
• Соединение биномиального распределения с вероятностью успеха, распределенной в соответствии с бета-распределением, дает бета-биномиальное распределение . Он обладает тремя параметрами: параметром (количество выборок) из биномиального распределения, параметрами формы и бета-распределением. ^{[7] [8]} ${\displaystyle n}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$
• Соединение полиномиального распределения с вектором вероятности, распределенным в соответствии с распределением Дирихле, дает мультиномиальное распределение Дирихле .
• Соединение распределения Пуассона с параметром скорости , распределенным в соответствии с гамма-распределением, дает отрицательное биномиальное распределение . ^{[9] [10]}
• Соединение распределения Пуассона с параметром скорости, распределенным в соответствии с экспоненциальным распределением, дает геометрическое распределение .
• Соединение экспоненциального распределения с его параметром скорости , распределенным в соответствии с гамма-распределением, дает распределение Ломакса . ^[11]
• Соединение гамма-распределения с параметром обратного масштаба , распределенным в соответствии с другим гамма-распределением, дает трехпараметрическое простое бета-распределение . ^[12]
• Соединение полунормального распределения с его масштабным параметром , распределенным в соответствии с распределением Рэлея , дает экспоненциальное распределение . Это непосредственно следует из распределения Лапласа , полученного как смесь нормального масштаба; см. выше. Здесь также можно поменяться ролями условных и смешанных распределений; следовательно, составление распределения Рэлея с его масштабным параметром, распределенным в соответствии с полунормальным распределением, также дает экспоненциальное распределение .
• Гамма (k=2,θ) - распределенная случайная величина, масштабный параметр которой θ снова равномерно распределен, незначительно дает экспоненциальное распределение .

Похожие термины

Понятие «сложного распределения», используемое, например, в определении сложного распределения Пуассона или сложного процесса Пуассона , отличается от определения, найденного в этой статье. Смысл в этой статье соответствует тому, что используется, например, в байесовском иерархическом моделировании .

Особый случай составных распределений вероятностей, где параметризованным распределением является распределение Пуассона , также называется смешанным распределением Пуассона . ${\displaystyle F}$

Смотрите также

• Распределение смеси
• Смешанное распределение Пуассона
• Байесовское иерархическое моделирование
• Маргинальное распределение
• Условное распределение
• Совместное распространение
• Свертка
• Передисперсия
• EM-алгоритм

Рекомендации

1. Рёвер, К.; Фриде, Т. (2017). «Дискретная аппроксимация распределения смеси посредством ограниченной расходимости». Журнал вычислительной и графической статистики . 26 (1): 217–222. arXiv : 1602.04060 . дои : 10.1080/10618600.2016.1276840 .
2. Гельман, А.; Карлин, Дж. Б.; Стерн, Х.; Рубин, Д.Б. (1997). «9.5 Поиск маргинальных задних мод с использованием ЭМ и связанных с ней алгоритмов ». Байесовский анализ данных (1-е изд.). Бока-Ратон: Чепмен и Холл / CRC. п. 276.
3. Ли, SX; Маклахлан, Дж.Дж. (2019). «Распределение масштабной смеси». Wiley StatsRef: Интернет-справочник по статистике . дои : 10.1002/9781118445112.stat08201.
4. Гнейтинг, Т. (1997). «Смеси нормального масштаба и двойные плотности вероятности». Журнал статистических вычислений и моделирования . 59 (4): 375–384. дои : 10.1080/00949659708811867.
5. Настроение, AM; Грейбилл, ФА; Боес, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Нью-Йорк: МакГроу-Хилл.
6. Эндрюс, DF; Маллоуз, CL (1974), «Шкаловые смеси нормальных распределений», Журнал Королевского статистического общества, серия B , 36 (1): 99–102, doi : 10.1111/j.2517-6161.1974.tb00989.x
7. Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005). «6.2.2». Одномерные дискретные распределения (3-е изд.). Нью-Йорк: Уайли. п. 253.
8. Гельман, А.; Карлин, Дж. Б.; Стерн, Х.; Дансон, Д.Б.; Вехтари, А.; Рубин, Д.Б. (2014). Байесовский анализ данных (3-е изд.). Бока-Ратон: Чепмен и Холл / CRC.
9. Лоулесс, Дж. Ф. (1987). «Отрицательная биномиальная и смешанная регрессия Пуассона». Канадский статистический журнал . 15 (3): 209–225. дои : 10.2307/3314912. JSTOR  3314912.
10. Тейх, MC; Диамент, П. (1989). «Умножьте стохастические представления для K-распределений и их преобразований Пуассона». Журнал Оптического общества Америки А. 6 (1): 80–91. Бибкод : 1989JOSAA...6...80T. CiteSeerX 10.1.1.64.596 . дои : 10.1364/JOSAA.6.000080. 
11. Джонсон, Нидерланды; Коц, С.; Балакришнан, Н. (1994). «20 распределений Парето ». Непрерывные одномерные распределения . Том. 1 (2-е изд.). Нью-Йорк: Уайли. п. 573.
12. Дубей, SD (1970). «Соединенные гамма-, бета- и F-распределения». Метрика . 16 : 27–31. дои : 10.1007/BF02613934.

дальнейшее чтение

• Линдсей, Б.Г. (1995), Модели смесей: теория, геометрия и приложения , Серия региональных конференций NSF-CBMS по вероятности и статистике, том. 5, Хейворд, Калифорния, США: Институт математической статистики, стр. i–163, ISBN. 978-0-940600-32-4, JSTOR  4153184
• Зайдель, В. (2010), «Модели смесей», в Ловрике, М. (ред.), Международная энциклопедия статистических наук , Гейдельберг: Springer, стр. 827–829, номер документа : 10.1007/978-3-642-04898. -2_368, ISBN 978-3-642-04898-2
• Настроение, утро; Грейбилл, ФА; Боес, округ Колумбия (1974), «III.4.3 Заразные распределения и усеченные распределения », Введение в теорию статистики (3-е изд.), Нью-Йорк: McGraw-Hill, ISBN 978-0-07-042864-5
• Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005), «8 распределений смесей », Одномерные дискретные распределения , Нью-Йорк: Wiley, ISBN 978-0-471-27246-5