Распределение Дирихле

Распределение вероятностей

В теории вероятности и статистики распределение Дирихле (в честь Питера Густава Лежена Дирихле ), часто обозначаемое как , представляет собой семейство непрерывных многомерных распределений вероятностей, параметризованных вектором положительных действительных чисел . Это многомерное обобщение бета-распределения , ^[1] отсюда его альтернативное название многомерное бета-распределение ( MBD ). ^[2] Распределения Дирихле обычно используются в качестве априорных распределений в байесовской статистике , и фактически распределение Дирихле является сопряженным априорным распределением категориального распределения и полиномиального распределения . ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}}$

Бесконечномерным обобщением распределения Дирихле является процесс Дирихле .

Определения

Функция плотности вероятности

Иллюстрация того, как изменяется логарифм функции плотности при K  = 3, когда мы меняем вектор α с α  = (0,3, 0,3, 0,3) на (2,0, 2,0, 2,0), сохраняя все отдельные значения равными друг другу. ${\displaystyle \alpha _{i}}$

Распределение Дирихле порядка K  ≥ 2 с параметрами α ₁ , ..., α _K > 0 имеет функцию плотности вероятности относительно меры Лебега на евклидовом пространстве R ^{K-1 ,} заданную выражением

${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

где принадлежат стандартному симплексу , или другими словами: ${\displaystyle \{x_{k}\}_{k=1}^{k=K}}$ ${\displaystyle K-1}$ ${\displaystyle \sum _{i=1}^{K}x_{i}=1{\mbox{ and }}x_{i}\in \left[0,1\right]{\mbox{ for all }}i\in \{1,\dots ,K\}}$

Нормализующая константа — это многомерная бета-функция , которая может быть выражена через гамма-функцию :

${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}$

Поддерживать

Носитель распределения Дирихле — это набор K -мерных векторов , элементы которых являются действительными числами в интервале [0,1], такими что , т.е. сумма координат равна 1. Их можно рассматривать как вероятности K -мерного категориального события. Другой способ выразить это состоит в том, что область распределения Дирихле сама по себе является набором распределений вероятностей , в частности набором K -мерных дискретных распределений . Техническим термином для набора точек в носителе K -мерного распределения Дирихле является открытый стандартный ( K  − 1)-симплекс , ^[3] , который является обобщением треугольника , встроенного в следующее более высокое измерение. Например, при K  = 3 опора представляет собой равносторонний треугольник, вложенный углом вниз в трехмерное пространство, с вершинами в точках (1,0,0), (0,1,0) и (0,0,1), т.е. касающийся каждой из осей координат в точке, отстоящей на 1 единицу от начала координат. ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle \|{\boldsymbol {x}}\|_{1}=1}$

Особые случаи

Распространенным частным случаем является симметричное распределение Дирихле , где все элементы, составляющие вектор параметров, имеют одинаковое значение. Симметричный случай может быть полезен, например, когда требуется предварительное распределение Дирихле по компонентам, но нет никаких предварительных знаний, отдающих предпочтение одному компоненту перед другим. Поскольку все элементы вектора параметров имеют одинаковое значение, симметричное распределение Дирихле может быть параметризовано одним скалярным значением α , называемым параметром концентрации . В терминах α функция плотности имеет вид ${\displaystyle {\boldsymbol {\alpha }}}$

${\displaystyle f(x_{1},\dots ,x_{K};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$

Когда α = 1 ^[1] , симметричное распределение Дирихле эквивалентно равномерному распределению по открытому стандартному ( K  − 1)-симплексу , т. е. оно равномерно по всем точкам своего носителя . Это конкретное распределение известно как плоское распределение Дирихле . Значения параметра концентрации выше 1 предпочитают переменные , которые являются плотными, равномерно распределенными распределениями, т. е. все значения в пределах одного образца похожи друг на друга. Значения параметра концентрации ниже 1 предпочитают разреженные распределения, т. е. большинство значений в пределах одного образца будут близки к 0, и подавляющее большинство массы будет сосредоточено в нескольких значениях.

В более общем смысле вектор параметров иногда записывается как произведение ( скалярного ) параметра концентрации α и ( векторной ) базовой меры , где лежит в пределах ( K  − 1)-симплекса (т. е. его координаты в сумме дают единицу). Параметр концентрации в этом случае больше на коэффициент K, чем параметр концентрации для симметричного распределения Дирихле, описанного выше. Эта конструкция связана с концепцией базовой меры при обсуждении процессов Дирихле и часто используется в литературе по моделированию тем. ${\displaystyle \alpha {\boldsymbol {n}}}$ ${\displaystyle {\boldsymbol {n}}=(n_{1},\dots ,n_{K})}$ ${\displaystyle {\boldsymbol {n}}}$ ${\displaystyle n_{i}}$

^ Если мы определим параметр концентрации как сумму параметров Дирихле для каждого измерения, то распределение Дирихле с параметром концентрации K , размерностью распределения, будет равномерным распределением на ( K  − 1)-симплексе.

Характеристики

Моменты

Позволять . ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$

Позволять

${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$

Тогда ^{[4] [5]}

${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Кроме того, если ${\displaystyle i\neq j}$

${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Таким образом, матрица является единственной .

В более общем виде моменты случайных величин, распределенных по Дирихле, можно выразить следующим образом. Для обозначим через -ю степень Адамара . Тогда ^[6] ${\displaystyle {\boldsymbol {t}}=(t_{1},\dotsc ,t_{K})\in \mathbb {R} ^{K}}$ ${\displaystyle {\boldsymbol {t}}^{\circ i}=(t_{1}^{i},\dotsc ,t_{K}^{i})}$ ${\displaystyle i}$

${\displaystyle \operatorname {E} \left[({\boldsymbol {t}}\cdot {\boldsymbol {X}})^{n}\right]={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}\sum {\frac {{t_{1}}^{k_{1}}\cdots {t_{K}}^{k_{K}}}{k_{1}!\cdots k_{K}!}}\prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+k_{i})}{\Gamma (\alpha _{i})}}={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}Z_{n}({\boldsymbol {t}}^{\circ 1}\cdot {\boldsymbol {\alpha }},\cdots ,{\boldsymbol {t}}^{\circ n}\cdot {\boldsymbol {\alpha }}),}$

где сумма берется по неотрицательным целым числам с , а — полином индекса цикла симметрической группы степени . ${\displaystyle k_{1},\ldots ,k_{K}}$ ${\displaystyle n=k_{1}+\cdots +k_{K}}$ ${\displaystyle Z_{n}}$ ${\displaystyle n}$

Многомерный аналог для векторов может быть выражен ^[7] в терминах цветового узора показателей степеней в смысле теоремы Полиа о перечислении . ${\textstyle \operatorname {E} \left[({\boldsymbol {t}}_{1}\cdot {\boldsymbol {X}})^{n_{1}}\cdots ({\boldsymbol {t}}_{q}\cdot {\boldsymbol {X}})^{n_{q}}\right]}$ ${\displaystyle {\boldsymbol {t}}_{1},\dotsc ,{\boldsymbol {t}}_{q}\in \mathbb {R} ^{K}}$ ${\displaystyle n_{1},\dotsc ,n_{q}}$

Частные случаи включают простое вычисление ^[8]

${\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{i})}}.}$

Режим

Мода распределения — это [ ^9] вектор ( x ₁ , ..., x _K ) с

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}$

Предельные распределения

Предельные распределения — это бета-распределения : ^[10]

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$

Сопряженный с категориальным или полиномиальным

Распределение Дирихле — это сопряженное априорное распределение категориального распределения (общее дискретное распределение вероятностей с заданным числом возможных результатов) и мультиномиального распределения (распределение по наблюдаемым подсчетам каждой возможной категории в наборе категориально распределенных наблюдений). Это означает, что если точка данных имеет категориальное или мультиномиальное распределение, а априорное распределение параметра распределения (вектор вероятностей, который генерирует точку данных) распределено как Дирихле, то апостериорное распределение параметра также является Дирихле. Интуитивно понятно, что в таком случае, начиная с того, что мы знаем о параметре до наблюдения точки данных, мы затем можем обновить наши знания на основе точки данных и в итоге получить новое распределение той же формы, что и старое. Это означает, что мы можем последовательно обновлять наши знания о параметре, включая новые наблюдения по одному за раз, не сталкиваясь с математическими трудностями.

Формально это можно выразить следующим образом. Дана модель

${\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

то справедливо следующее:

${\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}$

Это отношение используется в байесовской статистике для оценки базового параметра p категориального распределения , заданного набором из N образцов. Интуитивно мы можем рассматривать гиперприорный вектор α как псевдосчетчики , т.е. как представляющий количество наблюдений в каждой категории, которые мы уже видели. Затем мы просто добавляем счетчики для всех новых наблюдений (вектор c ), чтобы вывести апостериорное распределение.

В моделях байесовской смеси и других иерархических байесовских моделях со смешанными компонентами распределения Дирихле обычно используются в качестве априорных распределений для категориальных переменных, появляющихся в моделях. Более подробную информацию см. в разделе о приложениях ниже.

Связь с распределением Дирихле-мультиномиума

В модели, где априорное распределение Дирихле помещается над набором категориально-значимых наблюдений, маргинальное совместное распределение наблюдений (т. е. совместное распределение наблюдений с априорным параметром, выведенным за пределы ) является мультиномиальным распределением Дирихле . Это распределение играет важную роль в иерархических байесовских моделях , поскольку при выполнении вывода по таким моделям с использованием таких методов, как выборка Гиббса или вариационный Байес , априорные распределения Дирихле часто выводятся за пределы. Подробнее см. статью об этом распределении .

Энтропия

Если X — случайная величина, то дифференциальная энтропия X (в натуральных единицах ) равна ^[11] ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$

${\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$

где - дигамма-функция . ${\displaystyle \psi }$

Следующая формула для может быть использована для вывода дифференциальной энтропии выше. Поскольку функции являются достаточной статистикой распределения Дирихле, дифференциальные тождества экспоненциального семейства могут быть использованы для получения аналитического выражения для ожидания (см. уравнение (2.62) в ^[12] ) и его связанной ковариационной матрицы: ${\displaystyle \operatorname {E} [\ln(X_{i})]}$ ${\displaystyle \ln(X_{i})}$ ${\displaystyle \ln(X_{i})}$

${\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$

и

${\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$

где — дигамма-функция , — тригамма-функция , — дельта Кронекера . ${\displaystyle \psi }$ ${\displaystyle \psi '}$ ${\displaystyle \delta _{ij}}$

Спектр информации Реньи для значений, отличных от , определяется выражением ^[13] ${\displaystyle \lambda =1}$

${\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} ({\boldsymbol {\alpha }})+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-K)+K)\right)}$

а информационная энтропия — это предел, стремящийся к 1. ${\displaystyle \lambda }$

Другая связанная интересная мера — энтропия дискретного категориального (один из K двоичных) вектора с распределением вероятностной массы , т.е. . Условная информационная энтропия , заданная как ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}$ ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle {\boldsymbol {X}}}$

${\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}$

Эта функция является скалярной случайной величиной. Если имеет симметричное распределение Дирихле со всеми , то ожидаемое значение энтропии (в нац. единицах ) равно ^[14] ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle \alpha _{i}=\alpha }$

${\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}$

Агрегация

Если

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$

тогда, если случайные величины с индексами i и j исключить из вектора и заменить их суммой,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$

Это свойство агрегации может быть использовано для получения предельного распределения, упомянутого выше. ${\displaystyle X_{i}}$

Нейтральность

Если , то вектор  X называется нейтральным ^[15] в том смысле, что X _K не зависит от ^[3] , где ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle X^{(-K)}}$

${\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}$

и аналогично для удаления любого из . Заметим, что любая перестановка X также нейтральна (свойство, которым не обладают выборки, взятые из обобщенного распределения Дирихле ). ^[16] ${\displaystyle X_{2},\ldots ,X_{K-1}}$

Объединяя это со свойством агрегации, следует, что X _j + ... + X _K не зависит от . Фактически, для распределения Дирихле верно, что для , пара , и два вектора и , рассматриваемые как тройка нормализованных случайных векторов, являются взаимно независимыми . Аналогичный результат верен для разбиения индексов {1,2,..., K } на любую другую пару несинглетонных подмножеств. ${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$ ${\displaystyle 3\leq j\leq K-1}$ ${\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)}$ ${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$ ${\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}$

Характерная функция

Характеристическая функция распределения Дирихле является конфлюэнтной формой гипергеометрического ряда Лауричеллы . Она дается Филлипсом как ^[17]

${\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha _{0};is_{1},\ldots ,is_{K-1})}$

где

${\displaystyle \Psi ^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}$

Сумма берется по неотрицательным целым числам и . Филлипс далее утверждает, что эта форма «неудобна для численных вычислений» и дает альтернативу в терминах комплексного интеграла по траектории : ${\displaystyle k_{1},\ldots ,k_{m}}$ ${\displaystyle k=k_{1}+\cdots +k_{m}}$

${\displaystyle \Psi ^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}$

где L обозначает любой путь в комплексной плоскости, начинающийся в , охватывающий в положительном направлении все особенности подынтегральной функции и возвращающийся в . ${\displaystyle -\infty }$ ${\displaystyle -\infty }$

Неравенство

Функция плотности вероятности играет ключевую роль в многофункциональном неравенстве, которое подразумевает различные границы для распределения Дирихле. ^[18] ${\displaystyle f\left(x_{1},\ldots ,x_{K-1};\alpha _{1},\ldots ,\alpha _{K}\right)}$

Связанные дистрибутивы

Для K независимо распределенных гамма-распределений :

${\displaystyle Y_{1}\sim \operatorname {Gamma} (\alpha _{1},\theta ),\ldots ,Y_{K}\sim \operatorname {Gamma} (\alpha _{K},\theta )}$

у нас есть: ^{[19] : 402}

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} \left(\alpha _{0},\theta \right),}$

${\displaystyle X=(X_{1},\ldots ,X_{K})=\left({\frac {Y_{1}}{V}},\ldots ,{\frac {Y_{K}}{V}}\right)\sim \operatorname {Dir} \left(\alpha _{1},\ldots ,\alpha _{K}\right).}$

Хотя X _i не являются независимыми друг от друга, можно увидеть, что они генерируются из набора K независимых гамма- случайных величин. ^{[19] : 594} К сожалению, поскольку сумма V теряется при формировании X (на самом деле можно показать, что V стохастически независима от X ), невозможно восстановить исходные гамма-случайные величины только из этих значений. Тем не менее, поскольку с независимыми случайными величинами работать проще, эта перепараметризация все еще может быть полезна для доказательств свойств распределения Дирихле.

Сопряженное априорное распределение Дирихле

Поскольку распределение Дирихле является экспоненциальным распределением семейства, оно имеет сопряженное априорное распределение. Сопряженное априорное распределение имеет вид: ^[20]

${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}$

Здесь — K -мерный вещественный вектор, а — скалярный параметр. Область определения ограничена набором параметров, для которых указанная выше ненормализованная функция плотности может быть нормализована. (Необходимое и достаточное) условие: ^[21] ${\displaystyle {\boldsymbol {v}}}$ ${\displaystyle \eta }$ ${\displaystyle ({\boldsymbol {v}},\eta )}$

${\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ and }}\;\;\;\;\eta >-1\;\;\;\;{\text{ and }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ or }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }}<1)}$

Свойство сопряжения можно выразить как

если [ априорное : ] и [ наблюдение : ], то [ апостериорное : ]. ${\displaystyle {\boldsymbol {\alpha }}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )}$ ${\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {Dirichlet} (\cdot \mid {\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)}$

В опубликованной литературе не представлено практического алгоритма для эффективного создания выборок из . ${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}$

Возникновение и применение

Байесовские модели

Распределения Дирихле чаще всего используются в качестве априорного распределения категориальных переменных или полиномиальных переменных в моделях байесовской смеси и других иерархических байесовских моделях . (Во многих областях, таких как обработка естественного языка , категориальные переменные часто неточно называются «полиномиальными переменными». Такое использование вряд ли вызовет путаницу, так же как и в случае, когда распределения Бернулли и биномиальные распределения обычно объединяются.)

Вывод по иерархическим байесовским моделям часто делается с использованием выборки Гиббса , и в таком случае примеры распределения Дирихле обычно маргинализируются из модели путем интегрирования случайной величины Дирихле . Это приводит к тому, что различные категориальные переменные, извлеченные из одной и той же случайной величины Дирихле, становятся коррелированными, и совместное распределение по ним предполагает распределение Дирихле-мультиномиала , обусловленное гиперпараметрами распределения Дирихле ( параметрами концентрации ). Одна из причин для этого заключается в том, что выборка Гиббса распределения Дирихле-мультиномиала чрезвычайно проста; см. эту статью для получения дополнительной информации.

Интуитивные интерпретации параметров

Параметр концентрации

Распределения Дирихле очень часто используются в качестве априорных распределений в байесовском выводе . Простейшим и, возможно, наиболее распространенным типом априорного распределения Дирихле является симметричное распределение Дирихле, где все параметры равны. Это соответствует случаю, когда у вас нет априорной информации, чтобы отдать предпочтение одному компоненту перед любым другим. Как описано выше, единственное значение α , которому задаются все параметры, называется параметром концентрации . Если выборочное пространство распределения Дирихле интерпретировать как дискретное распределение вероятностей , то интуитивно параметр концентрации можно рассматривать как определение того, насколько «концентрирована» масса вероятности распределения Дирихле к его центру, что приводит к образцам с массой, распределенной почти равномерно среди всех компонентов, т. е. при значении, намного меньшем 1, масса будет сильно сконцентрирована в нескольких компонентах, а все остальные будут иметь почти нулевую массу, а при значении, намного большем 1, масса будет распределена почти равномерно среди всех компонентов. Для дальнейшего обсуждения см. статью о параметре концентрации .

Резка струны

Одним из примеров использования распределения Дирихле является случай, когда требуется разрезать строки (каждая с начальной длиной 1,0) на K частей разной длины, где каждая часть имеет определенную среднюю длину, но допускает некоторую вариацию в относительных размерах частей. Напомним, что Значения определяют средние длины разрезанных частей строки, полученных в результате распределения. Дисперсия вокруг этого среднего обратно пропорциональна . ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$ ${\displaystyle \alpha _{i}/\alpha _{0}}$ ${\displaystyle \alpha _{0}}$

Пример распределения Дирихле(1/2,1/3,1/6)

урна Полии

Рассмотрим урну, содержащую шары K разных цветов. Первоначально урна содержит α ₁ шаров цвета 1, α ₂ шаров цвета 2 и т. д. Теперь выполним N извлечений из урны, где после каждого извлечения шар помещается обратно в урну с дополнительным шаром того же цвета. В пределе, когда N стремится к бесконечности, доли разноцветных шаров в урне будут распределены как Dir( α ₁ ,..., α _K ). ^[22]

Для формального доказательства отметим, что пропорции разноцветных шаров образуют ограниченный [0,1] ^K -значный мартингал , следовательно, по теореме о сходимости мартингала эти пропорции сходятся почти наверняка и в среднем к предельному случайному вектору. Чтобы увидеть, что этот предельный вектор имеет указанное выше распределение Дирихле, проверьте, что все смешанные моменты совпадают.

Каждое вытягивание из урны изменяет вероятность вытягивания шара любого цвета из урны в будущем. Это изменение уменьшается с числом вытягиваний, поскольку относительный эффект добавления нового шара в урну уменьшается по мере того, как урна накапливает все большее число шаров.

Генерация случайных величин

Из гамма-распределения

Имея источник гамма-распределенных случайных величин, можно легко выбрать случайный вектор из K -мерного распределения Дирихле с параметрами . Сначала выберем K независимых случайных выборок из гамма-распределений, каждая из которых имеет плотность ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ ${\displaystyle y_{1},\ldots ,y_{K}}$

${\displaystyle \operatorname {Gamma} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

а затем установить

${\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}$

[Доказательство]

Совместное распределение независимо выбранных гамма-переменных, , определяется произведением: ${\displaystyle \{y_{i}\}}$

${\displaystyle e^{-\sum _{i}y_{i}}\prod _{i=1}^{K}{\frac {y_{i}^{\alpha _{i}-1}}{\Gamma (\alpha _{i})}}}$

Далее используется замена переменных, параметризуемая в терминах и , и выполняется замена переменных из таким образом, что . Каждая из переменных и аналогично . Затем необходимо использовать формулу замены переменных, в которой есть якобиан преобразования. Записывая y явно как функцию x, получаем Якобиан теперь выглядит как ${\displaystyle \{y_{i}\}}$ ${\displaystyle y_{1},y_{2},\ldots ,y_{K-1}}$ ${\displaystyle \sum _{i=1}^{K}y_{i}}$ ${\displaystyle y\to x}$ ${\displaystyle {\bar {x}}=\textstyle \sum _{i=1}^{K}y_{i},x_{1}={\frac {y_{1}}{\bar {x}}},x_{2}={\frac {y_{2}}{\bar {x}}},\ldots ,x_{K-1}={\frac {y_{K-1}}{\bar {x}}}}$ ${\displaystyle 0\leq x_{1},x_{2},\ldots ,x_{k-1}\leq 1}$ ${\displaystyle 0\leq \textstyle \sum _{i=1}^{K-1}x_{i}\leq 1}$ ${\displaystyle P(x)=P(y(x)){\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$ ${\displaystyle {\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$ ${\displaystyle y_{1}={\bar {x}}x_{1},y_{2}={\bar {x}}x_{2}\ldots y_{K-1}={\bar {x}}x_{K-1},y_{K}={\bar {x}}(1-\textstyle \sum _{i=1}^{K-1}x_{i})}$

${\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\-{\bar {x}}&-{\bar {x}}&\ldots &1-\sum _{i=1}^{K-1}x_{i}\end{vmatrix}}}$

Определитель можно оценить, заметив, что он остается неизменным, если кратные одной строке добавляются к другой строке, и добавив каждую из первых K-1 строк к нижней строке, чтобы получить

${\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\0&0&\ldots &1\end{vmatrix}}}$

который можно разложить по нижней строке, чтобы получить значение определителя . Подставляя x в совместную функцию PDF и включая определитель Якоби, получаем: ${\displaystyle {\bar {x}}^{K-1}}$

${\displaystyle {\begin{aligned}&{\frac {\left[\prod _{i=1}^{K-1}({\bar {x}}x_{i})^{\alpha _{i}-1}\right]\left[{\bar {x}}(1-\sum _{i=1}^{K-1}x_{i})\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\bar {x}}^{K-1}e^{-{\bar {x}}}\\=&{\frac {\Gamma ({\bar {\alpha }})\left[\prod _{i=1}^{K-1}(x_{i})^{\alpha _{i}-1}\right]\left[1-\sum _{i=1}^{K-1}x_{i}\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\times {\frac {{\bar {x}}^{{\bar {\alpha }}_{i}-1}e^{-{\bar {x}}}}{\Gamma ({\bar {\alpha }})}}\end{aligned}}}$

где . Правую часть можно распознать как произведение функции распределения плотности вероятности Дирихле для и функции распределения плотности вероятности гамма-распределения для . Форма произведения показывает, что переменные Дирихле и гамма-распределения независимы, поэтому последнюю можно проинтегрировать, просто опустив ее, чтобы получить: ${\displaystyle {\bar {\alpha }}=\textstyle \sum _{i=1}^{K}\alpha _{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle {\bar {x}}}$

${\displaystyle x_{1},x_{2},\ldots ,x_{K-1}\sim {\frac {(1-\sum _{i=1}^{K-1}x_{i})^{\alpha _{K}-1}\prod _{i=1}^{K-1}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}$

Что эквивалентно

${\displaystyle {\frac {\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}$с поддержкой ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$

Ниже приведен пример кода Python для рисования образца:

параметры  =  [ a1 ,  a2 ,  ... ,  ak ] выборка  =  [ случайная.гаммавариация ( a , 1 ) для a в параметрах ] выборка = [ v / сумма ( выборка ) для v в выборке ]​​             

Эта формулировка верна независимо от того, как параметризованы гамма-распределения (форма/масштаб или форма/скорость), поскольку они эквивалентны, когда масштаб и скорость равны 1,0.

Из предельных бета-распределений

Менее эффективный алгоритм ^[23] основан на том, что одномерные маргинальные и условные распределения являются бета-распределениями, и действует следующим образом. Моделирование из ${\displaystyle x_{1}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}$

Затем моделируйте в следующем порядке. Для моделируйте из ${\displaystyle x_{2},\ldots ,x_{K-1}}$ ${\displaystyle j=2,\ldots ,K-1}$ ${\displaystyle \phi _{j}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}$

и пусть

${\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}$

Наконец, установите

${\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}$

Эта итеративная процедура тесно связана с интуицией «разрезания струны», описанной выше.

Ниже приведен пример кода Python для рисования образца:

параметры  =  [ a1 ,  a2 ,  ... ,  ak ] xs  =  [ случайный.бетавариантный ( параметры [ 0 ], сумма ( параметры [ 1 : ] ))] для j в диапазоне ( 1 , длина ( параметры ) - 1 ) : фи = случайный.бетавариантный ( параметры [ j ] , сумма ( параметры [ j + 1 : ]) ) xs.присоединить ( ( 1 - сумма ( xs ) ) * фи ) xs.присоединить ( 1 - сумма ( xs ) )                     

Когда каждая альфа равна 1

Когда α ₁ = ... = α _K = 1 , выборку из распределения можно найти, случайным образом выбрав набор из K − 1 значений независимо и равномерно из интервала [0, 1] , добавив значения 0 и 1 к набору, чтобы получить K + 1 значений, отсортировав набор и вычислив разницу между каждой парой соседних по порядку значений, чтобы получить x ₁ , ..., x _K .

Когда каждая альфа равна 1/2 и отношение к гиперсфере

Когда α ₁ = ... = α _K = 1/2 , выборку из распределения можно найти, случайным образом выбрав значения K независимо от стандартного нормального распределения, возведя эти значения в квадрат и нормализуя их путем деления на их сумму, чтобы получить x ₁ , ..., x _K .

Точка ( x ₁ , ..., x _K ) может быть равномерно наугад нарисована на ( K −1 )-мерной гиперсфере (которая является поверхностью K -мерного гипершара ) с помощью аналогичной процедуры. Случайно нарисуйте значения K независимо от стандартного нормального распределения и нормализуйте эти значения координат, разделив каждое на константу, которая является квадратным корнем из суммы их квадратов.

Смотрите также

• Обобщенное распределение Дирихле
• Групповое распределение Дирихле
• Обратное распределение Дирихле
• Скрытое распределение Дирихле
• процесс Дирихле
• Матричное распределение Дирихле

Ссылки

1. S. Kotz; N. Balakrishnan; NL Johnson (2000). Непрерывные многомерные распределения. Том 1: Модели и приложения . Нью-Йорк: Wiley. ISBN 978-0-471-18387-7.(Глава 49: Распределение Дирихле и обратное распределение Дирихле)
2. Олкин, Ингрэм; Рубин, Герман (1964). «Многомерные бета-распределения и независимые свойства распределения Уишарта». Анналы математической статистики . 35 (1): 261–269. doi : 10.1214/aoms/1177703748 . JSTOR  2238036.
3. Bela A. Frigyik; Amol Kapila; Maya R. Gupta (2010). "Введение в распределение Дирихле и связанные с ним процессы" (PDF) . Кафедра электротехники Вашингтонского университета. Архивировано из оригинала (Технический отчет UWEETR-2010-006) 19 февраля 2015 г.
4. Уравнение (49.9) на стр. 488 Kotz, Balakrishnan & Johnson (2000). Непрерывные многомерные распределения. Том 1: Модели и приложения. Нью-Йорк: Wiley.
5. Балакриш В. Б. (2005). ""Глава 27. Распределение Дирихле"". Учебник статистических распределений . Хобокен, Нью-Джерси: John Wiley & Sons, Inc. стр. 274. ISBN 978-0-471-42798-8.
6. Делло Скьяво, Лоренцо (2019). «Характерные функционалы мер Дирихле». Electron. J. Probab . 24 : 1–38. arXiv : 1810.09790 . doi : 10.1214/19-EJP371 – через Project Euclid.
7. Делло Скьяво, Лоренцо; Кватрокки, Филиппо (2023). «Многомерные моменты Дирихле и полихроматическая формула выборки Юэнса». arXiv : 2309.11292 [мат.PR].
8. Хоффман, Тилл. "Моменты распределения Дирихле". Архивировано из оригинала 2016-02-14 . Получено 14 февраля 2016 .
9. Кристофер М. Бишоп (17 августа 2006 г.). Распознавание образов и машинное обучение. Springer. ISBN 978-0-387-31073-2.
10. Фэрроу, Малкольм. "MAS3301 Bayesian Statistics" (PDF) . Newcastle University . Получено 10 апреля 2013 г. .
11. Линь, Цзяюй (2016). О распределении Дирихле (PDF) . Кингстон, Канада: Университет Квинс. С. § 2.4.9.
12. Нгуен, Дуй. "УГЛУБЛЕННОЕ ВВЕДЕНИЕ В ВАРИАЦИОННУЮ ЗАМЕТКУ БАЙЕСА". SSRN  4541076. Получено 15 августа 2023 г.
13. Сонг, Кай-Шэн (2001). «Информация Реньи, логарифмическая правдоподобность и внутренняя мера распределения». Журнал статистического планирования и вывода . 93 (325). Elsevier: 51–69. doi :10.1016/S0378-3758(00)00169-5.
14. Неменман, Илья; Шафи, Фариэль; Биалек, Уильям (2002). Энтропия и вывод, пересмотр (PDF) . NIPS 14., ур. 8
15. Коннор, Роберт Дж.; Мосиманн, Джеймс Э. (1969). «Концепции независимости для пропорций с обобщением распределения Дирихле». Журнал Американской статистической ассоциации . 64 (325). Американская статистическая ассоциация: 194–206. doi :10.2307/2283728. JSTOR  2283728.
16. См. Kotz, Balakrishnan & Johnson (2000), раздел 8.5, «Обобщение Коннора и Мосиманна», стр. 519–521.
17. Филлипс, ПЦБ (1988). "Характерная функция Дирихле и многомерное F-распределение" (PDF) . Дискуссионный документ Cowles Foundation 865 .
18. Гриншпан, AZ (2017). «Неравенство для множественных сверток относительно меры вероятности Дирихле». Успехи в прикладной математике . 82 (1): 102–119. doi : 10.1016/j.aam.2016.08.001 .
19. Devroye, Luc (1986). Генерация неравномерных случайных величин. Springer-Verlag. ISBN 0-387-96305-7.
20. Lefkimmiatis, Stamatios; Maragos, Petros; Papandreou, George (2009). «Байесовский вывод на основе многомасштабных моделей для оценки интенсивности Пуассона: применение к ограниченному фотонами шумоподавлению изображений». Труды IEEE по обработке изображений . 18 (8): 1724–1741. Bibcode : 2009ITIP...18.1724L. doi : 10.1109/TIP.2009.2022008. PMID  19414285. S2CID  859561.
21. Андреоли, Жан-Марк (2018). «Сопряженное априорное распределение для распределения Дирихле». arXiv : 1811.05266 [cs.LG].
22. Блэквелл, Дэвид; Маккуин, Джеймс Б. (1973). «Распределения Фергюсона через схемы урн Полиа». Ann. Stat . 1 (2): 353–355. doi : 10.1214/aos/1176342372 .
23. A. Gelman; JB Carlin; HS Stern; DB Rubin (2003). Байесовский анализ данных (2-е изд.). Chapman & Hall/CRC. стр. 582. ISBN 1-58488-388-X.

Внешние ссылки

• «Распределение Дирихле», Энциклопедия математики , EMS Press , 2001 [1994]
• Распределение Дирихле
• Как оценить параметры составного распределения Дирихле (распределения Пойа) с использованием максимизации ожидания (EM)
• Люк Деврой. "Неоднородная генерация случайных величин" . Получено 19 октября 2019 г.
• Случайные меры Дирихле, метод построения с помощью составных случайных величин Пуассона и свойства взаимозаменяемости полученного гамма-распределения
• SciencesPo: пакет R, содержащий функции для моделирования параметров распределения Дирихле.