Распределение Дирихле

Распределение вероятностей

В теории вероятности и статистике распределение Дирихле (в честь Питера Густава Лежена Дирихле ), часто обозначаемое , представляет собой семейство непрерывных многомерных распределений вероятностей , параметризованных вектором положительных действительных чисел . Это многомерное обобщение бета -распределения ^[1] , отсюда и его альтернативное название многомерного бета-распределения (MBD) . ^[2] Распределения Дирихле обычно используются в качестве априорных распределений в байесовской статистике , и фактически распределение Дирихле является сопряженным априорным из категориального распределения и полиномиального распределения . ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}}$

Бесконечномерным обобщением распределения Дирихле является процесс Дирихле .

Определения

Функция плотности вероятности

Иллюстрация того, как изменяется логарифм функции плотности при K  = 3, когда мы меняем вектор α с α  = (0,3, 0,3, 0,3) на (2,0, 2,0, 2,0), сохраняя при этом все отдельные значения равными друг другу. ${\displaystyle \alpha _{i}}$

Распределение Дирихле порядка K  ≥ 2 с параметрами α ₁ , ..., α _K > 0 имеет функцию плотности вероятности относительно меры Лебега на евклидовом пространстве R ^K-1, определяемую выражением

${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

где принадлежат стандартному симплексу , или другими словами: ${\displaystyle \{x_{k}\}_{k=1}^{k=K}}$ ${\displaystyle K-1}$ ${\displaystyle \sum _{i=1}^{K}x_{i}=1{\mbox{ and }}x_{i}\in \left[0,1\right]{\mbox{ for all }}i\in \{1,\dots ,K\}}$

Нормализующая константа — это многомерная бета-функция , которую можно выразить через гамма-функцию :

${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}$

Поддерживать

Носителем распределения Дирихле является набор K -мерных векторов , элементами которых являются действительные числа в интервале [0,1] такие, что , т.е. сумма координат равна 1. Их можно рассматривать как вероятности К -образное категориальное событие. Другой способ выразить это состоит в том, что область распределения Дирихле сама по себе является набором вероятностных распределений , в частности набором K -мерных дискретных распределений . Техническим термином для множества точек, поддерживающих K -мерное распределение Дирихле, является открытый стандартный ( K  − 1)-симплекс ^[3] , который является обобщением треугольника , вложенного в следующее более высокое измерение. Например, при K  = 3 опора представляет собой равносторонний треугольник , вставленный под углом вниз в трехмерное пространство с вершинами в точках (1,0,0), (0,1,0) и (0,0). ,1), т.е. касаясь каждой из осей координат в точке, удаленной на 1 единицу от начала координат. ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle \|{\boldsymbol {x}}\|_{1}=1}$

Особые случаи

Распространенным частным случаем является симметричное распределение Дирихле , где все элементы, составляющие вектор параметров, имеют одинаковое значение. Симметричный случай может быть полезен, например, когда требуется априорное преимущество Дирихле над компонентами, но нет предварительных знаний, отдающих предпочтение одному компоненту перед другим. Поскольку все элементы вектора параметров имеют одинаковое значение, симметричное распределение Дирихле может быть параметризовано одним скалярным значением α , называемым параметром концентрации . В терминах α функция плотности имеет вид ${\displaystyle {\boldsymbol {\alpha }}}$

${\displaystyle f(x_{1},\dots ,x_{K};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$

При α =1 ^[1] симметричное распределение Дирихле эквивалентно равномерному распределению над открытым стандартным ( K  − 1)-симплексом , т. е. оно равномерно по всем точкам своего носителя . Это конкретное распределение известно как плоское распределение Дирихле . Значения параметра концентрации выше 1 отдают предпочтение вариантам с плотным и равномерно распределенным распределением, т. е. все значения в пределах одной выборки подобны друг другу. Значения параметра концентрации ниже 1 отдают предпочтение разреженным распределениям, т.е. большинство значений в пределах одного образца будут близки к 0, а подавляющее большинство массы будет сосредоточено в нескольких значениях.

В более общем смысле вектор параметров иногда записывается как произведение ( скалярного ) параметра концентрации α и ( векторной ) базовой меры , где находится внутри ( K  - 1)-симплекса (т.е. сумма его координат равна единице). Параметр концентрации в этом случае в К раз больше параметра концентрации для описанного выше симметричного распределения Дирихле. Эта конструкция связана с концепцией базовой меры при обсуждении процессов Дирихле и часто используется в литературе по тематическому моделированию. ${\displaystyle \alpha {\boldsymbol {n}}}$ ${\displaystyle {\boldsymbol {n}}=(n_{1},\dots ,n_{K})}$ ${\displaystyle {\boldsymbol {n}}}$ ${\displaystyle n_{i}}$

^ Если мы определим параметр концентрации как сумму параметров Дирихле для каждого измерения, распределение Дирихле с параметром концентрации K , размерностью распределения, будет равномерным распределением на ( K  - 1)-симплексе.

Характеристики

Моменты

Позволять . ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$

Позволять

${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$

Тогда ^{[4] [5]}

${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Кроме того, если ${\displaystyle i\neq j}$

${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Таким образом, матрица является сингулярной .

В более общем смысле моменты случайных величин, распределенных Дирихле, можно выразить как ^[6]

${\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{i})}}.}$

Режим

Модой распределения является ^[7] вектор ( x ₁ , ..., x _K ) с

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}$

Маржинальные распределения

Маргинальные распределения являются бета-распределениями : ^[8]

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$

Сопряжено с категориальным или полиномиальным

Распределение Дирихле представляет собой сопряженное априорное распределение категориального распределения (общее дискретное распределение вероятностей с заданным количеством возможных результатов) и полиномиального распределения (распределение по наблюдаемым значениям каждой возможной категории в наборе категориально распределенных наблюдений). Это означает, что если точка данных имеет категориальное или полиномиальное распределение, а априорное распределение параметра распределения (вектор вероятностей, который генерирует точку данных) распределяется как Дирихле, то апостериорное распределение параметра также является Дирихле. Интуитивно понятно, что в таком случае, начиная с того, что мы знаем о параметре до наблюдения за точкой данных, мы затем можем обновить наши знания на основе точки данных и в конечном итоге получить новое распределение той же формы, что и старое. Это означает, что мы можем последовательно обновлять наши знания о параметре, включая новые наблюдения по одному, не сталкиваясь с математическими трудностями.

Формально это можно выразить следующим образом. Учитывая модель

${\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

тогда имеет место следующее:

${\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}$

Это соотношение используется в байесовской статистике для оценки основного параметра p категориального распределения по набору из N выборок. Интуитивно мы можем рассматривать гиперприорный вектор α как псевдосчетчики , то есть как представляющие количество наблюдений в каждой категории, которые мы уже видели. Затем мы просто добавляем значения всех новых наблюдений (вектор c ), чтобы получить апостериорное распределение.

В моделях байесовской смеси и других иерархических байесовских моделях с компонентами смеси распределения Дирихле обычно используются в качестве априорных распределений для категориальных переменных, появляющихся в моделях. Дополнительную информацию см. в разделе о приложениях ниже.

Связь с полиномиальным распределением Дирихле

В модели, где априорное распределение Дирихле размещается над набором наблюдений с категориальными значениями , предельное совместное распределение наблюдений (т. е. совместное распределение наблюдений с исключенным априорным параметром ) представляет собой полиномиальное распределение Дирихле . Это распределение играет важную роль в иерархических байесовских моделях , поскольку при выполнении выводов по таким моделям с использованием таких методов, как выборка Гиббса или вариационный Байес , априорные распределения Дирихле часто игнорируются. Более подробную информацию можно найти в статье об этом дистрибутиве .

Энтропия

Если X является случайной величиной, дифференциальная энтропия X (в натуральных единицах ) равна ^[9] ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$

${\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$

где - дигамма-функция . ${\displaystyle \psi }$

Следующая формула для может быть использована для получения приведенной выше дифференциальной энтропии . Поскольку функции представляют собой достаточную статистику распределения Дирихле, дифференциальные тождества экспоненциального семейства можно использовать для получения аналитического выражения для ожидания (см. уравнение (2.62) в ^[10] ) и связанной с ним ковариационной матрицы: ${\displaystyle \operatorname {E} [\ln(X_{i})]}$ ${\displaystyle \ln(X_{i})}$ ${\displaystyle \ln(X_{i})}$

${\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$

и

${\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$

где – дигамма-функция , – тригамма-функция , – дельта Кронекера . ${\displaystyle \psi }$ ${\displaystyle \psi '}$ ${\displaystyle \delta _{ij}}$

Спектр информации Реньи для значений, отличных от приведен в ^[11] ${\displaystyle \lambda =1}$

${\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} ({\boldsymbol {\alpha }})+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-K)+K)\right)}$

а информационная энтропия является пределом, равным 1. ${\displaystyle \lambda }$

Другой связанной с этим интересной мерой является энтропия дискретного категориального (один из K двоичного) вектора с распределением вероятностной массы , т.е. Условная информационная энтропия , задана ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}$ ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle {\boldsymbol {X}}}$

${\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}$

Эта функция является скалярной случайной величиной. Если имеет симметричное распределение Дирихле со всеми , ожидаемое значение энтропии (в единицах nat ) равно ^[12] ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle \alpha _{i}=\alpha }$

${\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}$

Агрегация

Если

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$

тогда, если случайные величины с индексами i и j исключить из вектора и заменить их суммой,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$

Это свойство агрегации можно использовать для получения упомянутого выше предельного распределения . ${\displaystyle X_{i}}$

Нейтралитет

Если , то вектор  X называется нейтральным [ ^13] в том смысле, что X _K не зависит от ^[3] где ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle X^{(-K)}}$

${\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}$

и аналогично для удаления любого из . Обратите внимание, что любая перестановка X также нейтральна (свойство, которым не обладают выборки, взятые из обобщенного распределения Дирихле ). ^[14] ${\displaystyle X_{2},\ldots ,X_{K-1}}$

Из этого следует, что X _j + ... + X _K не зависит от . Фактически, кроме того, для распределения Дирихле верно, что для пара и два вектора и , рассматриваемые как тройка нормализованных случайных векторов, являются взаимно независимыми . Аналогичный результат верен для разбиения индексов {1,2,..., K } на любую другую пару неодноэлементных подмножеств. ${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$ ${\displaystyle 3\leq j\leq K-1}$ ${\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)}$ ${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$ ${\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}$

Характеристическая функция

Характеристическая функция распределения Дирихле представляет собой конфлюэнтную форму гипергеометрического ряда Лауричеллы . Филлипс дает это значение как ^[15]

${\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha _{0};is_{1},\ldots ,is_{K-1})}$

где

${\displaystyle \Psi ^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}$

Сумма ведется по неотрицательным целым числам и . Филлипс далее заявляет, что эта форма «неудобна для численных расчетов», и предлагает альтернативу в виде комплексного интеграла по путям : ${\displaystyle k_{1},\ldots ,k_{m}}$ ${\displaystyle k=k_{1}+\cdots +k_{m}}$

${\displaystyle \Psi ^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}$

где L обозначает любой путь в комплексной плоскости, начинающийся в , охватывающий в положительном направлении все особенности подынтегрального выражения и возвращающийся в . ${\displaystyle -\infty }$ ${\displaystyle -\infty }$

Неравенство

Функция плотности вероятности играет ключевую роль в многофункциональном неравенстве, которое подразумевает различные оценки распределения Дирихле. ^[16] ${\displaystyle f\left(x_{1},\ldots ,x_{K-1};\alpha _{1},\ldots ,\alpha _{K}\right)}$

Связанные дистрибутивы

Для K независимо распределенных гамма-распределений :

${\displaystyle Y_{1}\sim \operatorname {Gamma} (\alpha _{1},\theta ),\ldots ,Y_{K}\sim \operatorname {Gamma} (\alpha _{K},\theta )}$

имеем: ^{[17] : 402}

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} \left(\alpha _{0},\theta \right),}$

${\displaystyle X=(X_{1},\ldots ,X_{K})=\left({\frac {Y_{1}}{V}},\ldots ,{\frac {Y_{K}}{V}}\right)\sim \operatorname {Dir} \left(\alpha _{1},\ldots ,\alpha _{K}\right).}$

Хотя X не являются _{независимыми} друг от друга, можно видеть, что они генерируются из набора K независимых гамма- случайных величин. ^{[17] : 594} К сожалению, поскольку сумма V теряется при формировании X (фактически можно показать, что V стохастически не зависит от X ), невозможно восстановить исходные гамма-случайные величины только по этим значениям. Тем не менее, поскольку с независимыми случайными величинами проще работать, эта перепараметризация все равно может быть полезна для доказательства свойств распределения Дирихле.

Сопряженный априор распределения Дирихле

Поскольку распределение Дирихле является экспоненциальным семейным распределением, оно имеет сопряженный априор. Сопряженный априор имеет вид: ^[18]

${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}$

Здесь – K -мерный вещественный вектор и – скалярный параметр. Область ограничена набором параметров, для которых указанная выше ненормированная функция плотности может быть нормализована. Условием (необходимым и достаточным) является: ^[19] ${\displaystyle {\boldsymbol {v}}}$ ${\displaystyle \eta }$ ${\displaystyle ({\boldsymbol {v}},\eta )}$

${\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ and }}\;\;\;\;\eta >-1\;\;\;\;{\text{ and }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ or }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }}<1)}$

Свойство сопряжения можно выразить как

если [ предшествующее : ] и [ наблюдение : ] то [ заднее : ]. ${\displaystyle {\boldsymbol {\alpha }}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )}$ ${\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {Dirichlet} (\cdot \mid {\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)}$

В опубликованной литературе нет практического алгоритма эффективного создания выборок из . ${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}$

Возникновение и применение

Байесовские модели

Распределения Дирихле чаще всего используются в качестве априорного распределения категориальных переменных или полиномиальных переменных в моделях байесовских смесей и других иерархических байесовских моделях . (Во многих областях, например, в обработке естественного языка , категориальные переменные часто неточно называют «мультиномиальными переменными». Такое использование вряд ли вызовет путаницу, так же, как обычно объединяют распределения Бернулли и биномиальные распределения .)

Вывод по иерархическим байесовским моделям часто делается с использованием выборки Гиббса , и в таком случае случаи распределения Дирихле обычно исключаются из модели путем интегрирования случайной величины Дирихле . Это приводит к тому, что различные категориальные переменные, полученные из одной и той же случайной величины Дирихле, становятся коррелированными, и совместное распределение по ним принимает мультиномиальное распределение Дирихле , обусловленное гиперпараметрами распределения Дирихле ( параметрами концентрации ). Одна из причин этого заключается в том, что выборка Гиббса мультиномиального распределения Дирихле чрезвычайно проста; см. эту статью для получения дополнительной информации.

Интуитивная интерпретация параметров

Параметр концентрации

Распределения Дирихле очень часто используются в качестве априорных распределений в байесовском выводе . Самый простой и, возможно, наиболее распространенный тип априорного распределения Дирихле — это симметричное распределение Дирихле, где все параметры равны. Это соответствует случаю, когда у вас нет предварительной информации, позволяющей отдать предпочтение одному компоненту перед любым другим. Как описано выше, единственное значение α , которому установлены все параметры, называется параметром концентрации . Если пространство выборки распределения Дирихле интерпретировать как дискретное распределение вероятностей , то интуитивно параметр концентрации можно рассматривать как определяющий, насколько «концентрирована» вероятностная масса распределения Дирихле в его центре, что приводит к выборкам с массой, распределенной почти одинаково. среди всех компонентов, т. е. при значении много меньше 1 масса будет сильно сконцентрирована в нескольких компонентах, а все остальные почти не будут иметь массы, а при значении много больше 1 масса будет рассеяна почти поровну между всеми компонентами. См. статью о параметре концентрации для дальнейшего обсуждения.

Резка струн

Одним из примеров использования распределения Дирихле является случай, когда кто-то хочет разрезать струны (каждая из начальной длины 1,0) на K частей разной длины, где каждая часть имеет назначенную среднюю длину, но допускает некоторые изменения в относительных размерах частей. Напомним, что значения определяют средние длины отрезанных кусков струны, полученные в результате распределения. Дисперсия вокруг этого среднего значения изменяется обратно пропорционально . ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$ ${\displaystyle \alpha _{i}/\alpha _{0}}$ ${\displaystyle \alpha _{0}}$

Пример распределения Дирихле (1/2,1/3,1/6)

урна Полии

Рассмотрим урну, содержащую шарики K разных цветов. Изначально в урне находится α ₁ шаров цвета 1, α ₂ шаров цвета 2 и так далее. Теперь выполните N розыгрышей из урны, где после каждого розыгрыша шар помещается обратно в урну с дополнительным шаром того же цвета. В пределе, когда N стремится к бесконечности, пропорции шаров разного цвета в урне будут распределяться как Dir( α ₁ ,..., α _K ). ^[20]

Для формального доказательства обратите внимание, что пропорции разноцветных шаров образуют ограниченный [0,1] ^K -значный мартингал , следовательно, по теореме о сходимости мартингала эти пропорции почти наверняка и в среднем сходятся к предельному случайному вектору. Чтобы убедиться, что этот предельный вектор имеет указанное выше распределение Дирихле, проверьте, что все смешанные моменты совпадают.

Каждый вытягивание из урны изменяет вероятность вытягивания из урны шара любого цвета в будущем. Эта модификация уменьшается с увеличением количества розыгрышей, поскольку относительный эффект добавления нового шара в урну уменьшается по мере того, как урна накапливает все большее количество шаров.

Генерация случайной переменной

Из гамма-распределения

Имея источник случайных величин, распределенных по гамма-распределению, можно легко выбрать случайный вектор из K -мерного распределения Дирихле с параметрами . Сначала возьмите K независимых случайных выборок из гамма-распределений, каждая с плотностью ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ ${\displaystyle y_{1},\ldots ,y_{K}}$

${\displaystyle \operatorname {Gamma} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

а затем установить

${\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}$

[Доказательство]

Совместное распределение независимо выбранных гамма-вариантов , определяется произведением: ${\displaystyle \{y_{i}\}}$

${\displaystyle e^{-\sum _{i}y_{i}}\prod _{i=1}^{K}{\frac {y_{i}^{\alpha _{i}-1}}{\Gamma (\alpha _{i})}}}$

Далее используют замену переменных, параметризуя через и , и производят замену переменных из таких, что . Каждая из переменных и аналогично . Затем необходимо использовать формулу замены переменных, в которой происходит преобразование Якобиана. Записывая y явно как функцию от x, получаем, что якобиан теперь выглядит так: ${\displaystyle \{y_{i}\}}$ ${\displaystyle y_{1},y_{2},\ldots ,y_{K-1}}$ ${\displaystyle \sum _{i=1}^{K}y_{i}}$ ${\displaystyle y\to x}$ ${\displaystyle {\bar {x}}=\textstyle \sum _{i=1}^{K}y_{i},x_{1}={\frac {y_{1}}{\bar {x}}},x_{2}={\frac {y_{2}}{\bar {x}}},\ldots ,x_{K-1}={\frac {y_{K-1}}{\bar {x}}}}$ ${\displaystyle 0\leq x_{1},x_{2},\ldots ,x_{k-1}\leq 1}$ ${\displaystyle 0\leq \textstyle \sum _{i=1}^{K-1}x_{i}\leq 1}$ ${\displaystyle P(x)=P(y(x)){\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$ ${\displaystyle {\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$ ${\displaystyle y_{1}={\bar {x}}x_{1},y_{2}={\bar {x}}x_{2}\ldots y_{K-1}={\bar {x}}x_{K-1},y_{K}={\bar {x}}(1-\textstyle \sum _{i=1}^{K-1}x_{i})}$

${\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\-{\bar {x}}&-{\bar {x}}&\ldots &1-\sum _{i=1}^{K-1}x_{i}\end{vmatrix}}}$

Определитель можно вычислить, заметив, что он остается неизменным, если к другой строке добавляются кратные строки, и добавляя каждую из первых строк K-1 к нижней строке, чтобы получить

${\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\0&0&\ldots &1\end{vmatrix}}}$

который можно разложить вокруг нижней строки, чтобы получить значение определителя . Подставив x в совместный PDF-файл и включив определитель Якобиана, получим: ${\displaystyle {\bar {x}}^{K-1}}$

${\displaystyle {\begin{aligned}&{\frac {\left[\prod _{i=1}^{K-1}({\bar {x}}x_{i})^{\alpha _{i}-1}\right]\left[{\bar {x}}(1-\sum _{i=1}^{K-1}x_{i})\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\bar {x}}^{K-1}e^{-{\bar {x}}}\\=&{\frac {\Gamma ({\bar {\alpha }})\left[\prod _{i=1}^{K-1}(x_{i})^{\alpha _{i}-1}\right]\left[1-\sum _{i=1}^{K-1}x_{i}\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\times {\frac {{\bar {x}}^{{\bar {\alpha }}_{i}-1}e^{-{\bar {x}}}}{\Gamma ({\bar {\alpha }})}}\end{aligned}}}$

где . Правую часть можно определить как произведение PDF-файла Дирихле для и гамма-PDF для . Форма произведения показывает, что переменные Дирихле и гамма независимы, поэтому последнюю можно проинтегрировать, просто опустив ее, чтобы получить: ${\displaystyle {\bar {\alpha }}=\textstyle \sum _{i=1}^{K}\alpha _{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle {\bar {x}}}$

${\displaystyle x_{1},x_{2},\ldots ,x_{K-1}\sim {\frac {(1-\sum _{i=1}^{K-1}x_{i})^{\alpha _{K}-1}\prod _{i=1}^{K-1}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}$

Что эквивалентно

${\displaystyle {\frac {\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}$при поддержке ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$

Ниже приведен пример кода Python для рисования образца:

параметры  =  [ a1 ,  a2 ,  ... ,  ak ] образец  =  [ random . гаммапеременная ( a ,  1 )  для  a  в  параметрах ] образец  =  [ v  /  сумма ( выборка )  для  v  в  образце ]

Эта формулировка верна независимо от того, как параметризованы гамма-распределения (форма/масштаб или форма/скорость), поскольку они эквивалентны, когда масштаб и скорость равны 1,0.

Из маргинальных бета-распределений

Менее эффективный алгоритм ^[21] основан на том, что одномерные маргинальные и условные распределения являются бета-версиями, и действует следующим образом. Имитировать из ${\displaystyle x_{1}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}$

Затем смоделируйте по порядку следующим образом. Для моделирования из ${\displaystyle x_{2},\ldots ,x_{K-1}}$ ${\displaystyle j=2,\ldots ,K-1}$ ${\displaystyle \phi _{j}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}$

и разреши

${\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}$

Наконец, установите

${\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}$

Эта итерационная процедура близко соответствует интуиции «перерезания струны», описанной выше.

Ниже приведен пример кода Python для рисования образца:

параметры  =  [ a1 ,  a2 ,  ... ,  ak ] xs  =  [ random . betavariate ( params [ 0 ],  sum ( params [ 1 :]))] для  j  в  диапазоне ( 1 ,  len ( params )  -  1 ):  phi  =  random . бета-переменная ( params [ j ],  sum ( params [ j  +  1  :]))  xs . добавить (( 1  -  сумма ( xs ))  *  фи ) xs . добавить ( 1  -  сумма ( xs ))

Когда каждая альфа равна 1

Когда α ₁ = ... = α _K = 1 , выборку из распределения можно найти, случайным образом вытянув набор значений K − 1 независимо и равномерно из интервала [0, 1] , добавив значения 0 и 1 к набор, чтобы он имел значения K + 1 , сортировку набора и вычисление разницы между каждой парой соседних по порядку значений, чтобы получить x ₁ , ..., x _K .

Когда каждая альфа равна 1/2 и отношение к гиперсфере

Когда α ₁ = ... = α _K = 1/2 , выборку из распределения можно найти, случайным образом выбрав значения K независимо от стандартного нормального распределения, возведя эти значения в квадрат и нормализовав их путем деления на их сумму, чтобы получить х ₁ , ..., х _К .

Точку ( x ₁ , ..., x _K ) можно равномерно случайным образом нарисовать из ( K − 1 )-мерной гиперсферы (которая является поверхностью K -мерного гипершара ) с помощью аналогичной процедуры. Случайным образом нарисуйте значения K независимо от стандартного нормального распределения и нормализуйте эти значения координат, разделив каждое из них на константу, которая является квадратным корнем из суммы их квадратов.

Смотрите также

• Обобщенное распределение Дирихле
• Групповое распределение Дирихле
• Обратное распределение Дирихле
• Скрытое распределение Дирихле
• Процесс Дирихле
• Матричная переменная Распределение Дирихле

Рекомендации

1. С. Коц; Н. Балакришнан; Н.Л. Джонсон (2000). Непрерывные многомерные распределения. Том 1: Модели и приложения . Нью-Йорк: Уайли. ISBN 978-0-471-18387-7.(Глава 49: Дирихле и обращенные распределения Дирихле)
2. Олкин, Ингрэм; Рубин, Герман (1964). «Многомерные бета-распределения и свойства независимости распределения Уишарта». Анналы математической статистики . 35 (1): 261–269. дои : 10.1214/aoms/1177703748 . JSTOR  2238036.
3. Бела А. Фриджик; Амол Капила; Майя Р. Гупта (2010). «Введение в распределение Дирихле и связанные с ним процессы» (PDF) . Факультет электротехники Вашингтонского университета. Архивировано из оригинала (Технический отчет UWEETR-2010-006) 19 февраля 2015 г.
4. Уравнение. (49.9) на странице 488 книги Коц, Балакришнан и Джонсон (2000). Непрерывные многомерные распределения. Том 1: Модели и приложения. Нью-Йорк: Уайли.
5. БалакришВ. Б. (2005). «Глава 27. Распределение Дирихле»». Букварь по статистическим распределениям . Хобокен, Нью-Джерси: John Wiley & Sons, Inc., с. 274. ИСБН 978-0-471-42798-8.
6. Хоффманн, Тилль. «Моменты распределения Дирихле». Архивировано из оригинала 14 февраля 2016 г. Проверено 14 февраля 2016 г.
7. Кристофер М. Бишоп (17 августа 2006 г.). Распознавание образов и машинное обучение. Спрингер. ISBN 978-0-387-31073-2.
8. Фэрроу, Малькольм. «Байесова статистика MAS3301» (PDF) . Университет Ньюкасла . Проверено 10 апреля 2013 г.
9. Линь, Цзяю (2016). О распределении Дирихле (PDF) . Кингстон, Канада: Королевский университет. п. п. 2.4.9.
10. Нгуен, Дуй. «ГЛУБОКОЕ ВВЕДЕНИЕ В ВАРИАЦИОННОЕ ЗАМЕЧАНИЕ». ССНР  4541076 . Проверено 15 августа 2023 г.
11. Сонг, Кай-Шэн (2001). «Информация Реньи, логарифмическое правдоподобие и внутренняя мера распределения». Журнал статистического планирования и выводов . Эльзевир. 93 (325): 51–69. дои : 10.1016/S0378-3758(00)00169-5.
12. Неменман, Илья; Шафи, Фариэль; Бялек, Уильям (2002). Энтропия и вывод, еще раз (PDF) . НИПС 14., экв. 8
13. Коннор, Роберт Дж.; Мосиманн, Джеймс Э. (1969). «Концепции независимости пропорций с обобщением распределения Дирихле». Журнал Американской статистической ассоциации . Американская статистическая ассоциация. 64 (325): 194–206. дои : 10.2307/2283728. JSTOR  2283728.
14. См. Коц, Балакришнан и Джонсон (2000), раздел 8.5, «Обобщение Коннора и Мосиманна», стр. 519–521.
15. Филлипс, PCB (1988). «Характеристическая функция распределения Дирихле и многомерного F-распределения» (PDF) . Документ для обсуждения Фонда Коулза 865 .
16. Гриншпан, Аризона (2017). «Неравенство для множественных сверток относительно вероятностной меры Дирихле». Достижения прикладной математики . 82 (1): 102–119. дои : 10.1016/j.aam.2016.08.001 .
17. Деврой, Люк (1986). Генерация неоднородной случайной переменной. Спрингер-Верлаг. ISBN 0-387-96305-7.
18. Лефкиммиатис, Стаматиос; Марагос, Петрос; Папандреу, Джордж (2009). «Байесовский вывод на многомасштабных моделях для оценки пуассоновской интенсивности: приложения к шумоподавлению изображений с ограничением фотонов». Транзакции IEEE при обработке изображений . 18 (8): 1724–1741. Бибкод : 2009ITIP...18.1724L. дои : 10.1109/TIP.2009.2022008. PMID  19414285. S2CID  859561.
19. Андреоли, Жан-Марк (2018). «Сопряженный априор распределения Дирихле». arXiv : 1811.05266 [cs.LG].
20. Блэквелл, Дэвид; МакКуин, Джеймс Б. (1973). «Распределения Фергюсона через схемы урн Пойа». Анна. Стат . 1 (2): 353–355. дои : 10.1214/aos/1176342372 .
21. А. Гельман; Дж. Б. Карлин; Х.С. Штерн; Д.Б. Рубин (2003). Байесовский анализ данных (2-е изд.). Чепмен и Холл/CRC. стр. 582. ISBN. 1-58488-388-Х.

Внешние ссылки

• «Распределение Дирихле», Математическая энциклопедия , EMS Press , 2001 [1994]
• Распределение Дирихле
• Как оценить параметры составного распределения Дирихле (распределения Полиа) с помощью максимизации ожидания (EM)
• Люк Деврой. «Генерация неоднородных случайных переменных» . Проверено 19 октября 2019 г.
• Случайные меры Дирихле, метод построения с помощью сложных пуассоновских случайных величин и свойства обменности результирующего гамма-распределения
• SciencesPo: пакет R, содержащий функции для моделирования параметров распределения Дирихле.