Дирихле-мультиномиальное распределение

В теории вероятностей и статистике , Дирихле-мультиномиальное распределение представляет собой семейство дискретных многомерных распределений вероятностей на конечном носителе неотрицательных целых чисел. Его также называют составным многочленным распределением Дирихле ( DCM ) или многомерным распределением Полиа (в честь Джорджа Полиа ). Это составное распределение вероятностей , где вектор вероятности p извлекается из распределения Дирихле с вектором параметров , а наблюдение извлекается из многочленного распределения с вектором вероятности p и числом испытаний n . Вектор параметров Дирихле фиксирует априорное убеждение о ситуации и может рассматриваться как псевдосчет: наблюдения каждого результата, которые происходят до того, как собираются фактические данные. Составление соответствует схеме урн Полиа . Оно часто встречается в байесовской статистике , машинном обучении , эмпирических байесовских методах и классической статистике как сверхдисперсное многочленное распределение . ${\displaystyle {\boldsymbol {\alpha }}}$

Он сводится к категориальному распределению как частному случаю при n  = 1. Он также аппроксимирует полиномиальное распределение произвольно хорошо для больших α . Полиномиальное распределение Дирихле является многомерным расширением бета-биномиального распределения , поскольку полиномиальное распределение и распределение Дирихле являются многомерными версиями биномиального распределения и бета-распределения соответственно.

Спецификация

Дирихле-мультиномиал как сложное распределение

Распределение Дирихле является сопряженным распределением к полиномиальному распределению. Этот факт приводит к аналитически трактуемому составному распределению . Для случайного вектора количества категорий , распределенного в соответствии с полиномиальным распределением , предельное распределение получается путем интегрирования по распределению для p , которое можно рассматривать как случайный вектор, следующий распределению Дирихле: ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{K})}$

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})=\int _{\mathbf {p} }\mathrm {Mult} (\mathbf {x} \mid n,\mathbf {p} )\mathrm {Dir} (\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

что приводит к следующей явной формуле:

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}}$

где определяется как сумма . Другая форма для этого же составного распределения, записанная более компактно в терминах бета-функции , B , выглядит следующим образом: ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}=\sum \alpha _{k}}$

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {nB\left(\alpha _{0},n\right)}{\prod _{k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.}$

Последняя форма подчеркивает тот факт, что категории с нулевым количеством можно игнорировать при расчетах — полезный факт, когда количество категорий очень велико и разрежено (например, количество слов в документах).

Обратите внимание, что pdf является бета-биномиальным распределением, когда . Можно также показать, что оно приближается к полиномиальному распределению, когда приближается к бесконечности. Параметр управляет степенью сверхдисперсии или всплесков относительно полиномиального. Альтернативные варианты обозначения, найденные в литературе, — S и A. ${\displaystyle K=2}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}}$

Дирихле-мультиномиал как модель урны

Распределение Дирихле-полиномиальное также может быть мотивировано с помощью модели урны для положительных целочисленных значений вектора , известной как модель урны Пойа . В частности, представьте себе урну, содержащую шары цветов, пронумерованных для цвета i, где производятся случайные жеребьевки. Когда шар случайным образом вытаскивается и наблюдается, то два шара того же цвета возвращаются в урну. Если это выполняется раз, то вероятность наблюдения случайного вектора количества цветов является полиномиальным распределением Дирихле с параметрами и . Если случайные жеребьевки производятся с простой заменой (никакие шары сверх наблюдаемого шара не добавляются в урну), то распределение следует полиномиальному распределению, а если случайные жеребьевки производятся без замены, то распределение следует многомерному гипергеометрическому распределению . ${\displaystyle {\boldsymbol {\alpha }}}$ ${\displaystyle K}$ ${\displaystyle \alpha _{i}}$ ${\displaystyle n}$ ${\displaystyle x}$ ${\displaystyle n}$ ${\displaystyle {\boldsymbol {\alpha }}}$

Характеристики

Моменты

Еще раз, пусть и пусть , тогда ожидаемое количество раз, когда результат i наблюдался в течение n испытаний, равно ${\displaystyle \alpha _{0}=\sum \alpha _{k}}$ ${\displaystyle p_{i}={\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}}}$

${\displaystyle \operatorname {E} (X_{i})=np_{i}=n{\frac {\alpha _{i}}{\alpha _{0}}}.\,}$

Матрица ковариации выглядит следующим образом. Каждый диагональный элемент представляет собой дисперсию бета-биномиально распределенной случайной величины, и поэтому

${\displaystyle \operatorname {var} (X_{i})=np_{i}(1-p_{i})\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,}$

Недиагональные элементы — это ковариации :

${\displaystyle \operatorname {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right)\,}$

для i , j различны.

Все ковариации отрицательны, поскольку при фиксированном n увеличение одного компонента вектора-мультиномиала Дирихле требует уменьшения другого компонента.

Это положительно-полуопределенная матрица размера K × K ранга K  − 1.

Записи соответствующей корреляционной матрицы :

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sqrt {\operatorname {var} (X_{i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{j}(1-p_{j})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}}}=-{\sqrt {\frac {\alpha _{i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.}$

Размер выборки из этого выражения выпадает.

Каждый из k компонентов в отдельности имеет бета-биномиальное распределение.

Носителем полиномиального распределения Дирихле является множество

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}|n_{1}+\cdots +n_{k}=n\}.\,}$

Число его элементов равно

${\displaystyle {n+k-1 \choose k-1}.}$

Матричная запись

В матричной записи,

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

и

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right),\,}$

где p ^T = вектор-строка, транспонированный к вектору-столбцу p . Пусть

${\displaystyle \alpha _{0}={\frac {1-\rho ^{2}}{\rho ^{2}}}\,}$, мы можем написать альтернативно

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,}$

Параметр известен как «внутриклассовая» или «внутрикластерная» корреляция. Именно эта положительная корреляция приводит к сверхдисперсии относительно мультиномиального распределения. ${\displaystyle \rho \!}$

Агрегация

Если

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {DM} (\alpha _{1},\cdots ,\alpha _{K})}$

тогда, если случайные величины с индексами i и j удалить из вектора и заменить их суммой ^{[ требуется ссылка ]} ,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {DM} \left(\alpha _{1},\cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).}$

Это свойство агрегации может быть использовано для получения предельного распределения . ${\displaystyle X_{i}}$

Функция правдоподобия

Концептуально мы делаем N независимых выборок из категориального распределения с K категориями. Давайте представим независимые выборки как случайные категориальные переменные для . Давайте обозначим количество раз, когда конкретная категория была замечена (для ) среди всех категориальных переменных, как , и . Тогда у нас есть два отдельных взгляда на эту проблему: ${\displaystyle z_{n}}$ ${\displaystyle n=1\dots N}$ ${\displaystyle k}$ ${\displaystyle k=1\dots K}$ ${\displaystyle n_{k}}$ ${\displaystyle \sum _{k}n_{k}=N}$

1. Набор категориальных переменных . ${\displaystyle N}$ ${\displaystyle z_{1},\dots ,z_{N}}$
2. Отдельная векторная переменная , распределенная по полиномиальному закону . ${\displaystyle \mathbf {x} =(n_{1},\dots ,n_{K})}$

Первый случай представляет собой набор случайных величин, определяющих каждый отдельный результат, тогда как последний случай представляет собой переменную, определяющую количество результатов каждой из категорий K. Различие важно, поскольку два случая имеют соответственно разные распределения вероятностей.

Параметр категориального распределения — это , где — вероятность получить значение ; также является параметром полиномиального распределения . Вместо того, чтобы указывать его напрямую, мы даем ему сопряженное априорное распределение , и, следовательно, оно выводится из распределения Дирихле с вектором параметров . ${\displaystyle \mathbf {p} =(p_{1},p_{2},\dots ,p_{K}),}$ ${\displaystyle p_{k}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {p} }$ ${\displaystyle P(\mathbf {x} |\mathbf {p} )}$ ${\displaystyle \mathbf {p} }$ ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\alpha _{2},\ldots ,\alpha _{K})}$

Интегрируя out , мы получаем составное распределение. Однако форма распределения различается в зависимости от того, какую точку зрения мы принимаем. ${\displaystyle \mathbf {p} }$

Для набора индивидуальных результатов

Совместное распределение

Для категориальных переменных предельное совместное распределение получается путем интегрирования : ${\displaystyle \mathbb {Z} =z_{1},\dots ,z_{N}}$ ${\displaystyle \mathbf {p} }$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

что приводит к следующей явной формуле:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)}{\Gamma \left(N+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

где гамма -функция , с ${\displaystyle \Gamma }$

${\displaystyle \alpha _{0}=\sum _{k}\alpha _{k}{\text{ and }}N=\sum _{k}n_{k}{\text{, and where }}n_{k}={\text{number of }}z_{n}{\text{'s with the value }}k.}$

Обратите внимание на отсутствие мультиномиального коэффициента, поскольку формула касается вероятности последовательности категориальных переменных, а не вероятности значений внутри каждой категории.

Хотя переменные не появляются явно в приведенной выше формуле, они входят через значения. ^{[ необходимо разъяснение ]} ${\displaystyle z_{1},\dots ,z_{N}}$ ${\displaystyle n_{k}}$

Условное распределение

Другая полезная формула, особенно в контексте выборки Гиббса , спрашивает, какова условная плотность данной переменной , обусловленная всеми другими переменными (которые мы обозначим ). Оказывается, она имеет чрезвычайно простую форму: ${\displaystyle z_{n}}$ ${\displaystyle \mathbb {Z} ^{(-n)}}$

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\propto n_{k}^{(-n)}+\alpha _{k}}$

где указывает количество подсчетов категории, обнаруженных во всех переменных, кроме . ${\displaystyle n_{k}^{(-n)}}$ ${\displaystyle k}$ ${\displaystyle z_{n}}$

Может быть полезно показать, как вывести эту формулу. В общем случае условные распределения пропорциональны соответствующим совместным распределениям , поэтому мы просто начинаем с приведенной выше формулы для совместного распределения всех значений , а затем исключаем любые факторы, не зависящие от рассматриваемого частного . Для этого мы используем обозначение, определенное выше, и ${\displaystyle z_{1},\dots ,z_{N}}$ ${\displaystyle z_{n}}$ ${\displaystyle n_{k}^{(-n)}}$

${\displaystyle n_{j}={\begin{cases}n_{j}^{(-n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{cases}}}$

Мы также используем тот факт, что

${\displaystyle \Gamma (n+1)=n\Gamma (n)}$

Затем:

${\displaystyle {\begin{aligned}&\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\\\propto \ &\Pr(z_{n}=k,\mathbb {Z} ^{(-n)}\mid {\boldsymbol {\alpha }})\\=\ &\ {\frac {\Gamma \left(\alpha _{0}\right)}{\Gamma \left(N+\alpha _{0}\right)}}\prod _{j=1}^{K}{\frac {\Gamma (n_{j}+\alpha _{j})}{\Gamma (\alpha _{j})}}\\\propto \ &\prod _{j=1}^{K}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}^{(-n)}+1+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\Gamma (n_{k}^{(-n)}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\prod _{j}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\\propto \ &n_{k}^{(-n)}+\alpha _{k}\\\end{aligned}}}$

В общем случае не нужно беспокоиться о нормализующей константе во время вывода уравнений для условных распределений. Нормализующая константа будет определена как часть алгоритма выборки из распределения (см. Категориальное распределение#Выборка ). Однако, когда условное распределение записано в простой форме выше, оказывается, что нормализующая константа принимает простую форму:

${\displaystyle \sum _{k}\left(n_{k}^{(-n)}+\alpha _{k}\right)=\alpha _{0}+\sum _{k}n_{k}^{(-n)}=\alpha _{0}+N-1}$

Следовательно

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})={\frac {n_{k}^{(-n)}+\alpha _{k}}{\alpha _{0}+N-1}}}$

Эта формула тесно связана с процессом в китайском ресторане , который получается путем принятия предела как . ${\displaystyle K\to \infty }$

В байесовской сети

В более крупной байесовской сети , в которой категориальные (или так называемые «мультиномиальные») распределения происходят с априорными распределениями Дирихле как частью более крупной сети, все априорные распределения Дирихле могут быть свернуты при условии, что единственными узлами, зависящими от них, являются категориальные распределения. Сворачивание происходит для каждого узла распределения Дирихле отдельно от других и происходит независимо от любых других узлов, которые могут зависеть от категориальных распределений. Это также происходит независимо от того, зависят ли категориальные распределения от узлов, дополнительных к априорным распределениям Дирихле (хотя в таком случае эти другие узлы должны оставаться дополнительными факторами обуславливания). По сути, все категориальные распределения, зависящие от данного узла распределения Дирихле, становятся связанными в единое совместное распределение Дирихле-мультиномиальное, определяемое приведенной выше формулой. Совместное распределение, определенное таким образом, будет зависеть от родителя(ей) интегрированных априорных узлов Дирихле, а также от любого родителя(ей) категориальных узлов, отличных от самих априорных узлов Дирихле.

В следующих разделах мы обсудим различные конфигурации, которые обычно встречаются в байесовских сетях. Мы повторяем плотность вероятности, указанную выше, и определяем ее с помощью символа : ${\displaystyle \operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})}$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

Несколько априорных распределений Дирихле с одним и тем же гиперприорным распределением

Представьте себе, что у нас есть следующая иерархическая модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\end{array}}}$

В таких случаях у нас есть несколько априорных вероятностей Дирихле, каждая из которых генерирует некоторое количество категориальных наблюдений (возможно, разное количество для каждой априорной вероятности). Тот факт, что все они зависят от одного и того же гипераприорного значения, даже если это случайная величина, как указано выше, не имеет значения. Эффект интегрирования априорного значения Дирихле связывает категориальные переменные, прикрепленные к этому априорному значению, совместное распределение которых просто наследует любые факторы обусловливания априорного значения Дирихле. Тот факт, что несколько априорных вероятностей могут совместно использовать гипераприорное значение, не имеет значения:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})}$

где — это просто набор категориальных переменных, зависящих от априорного d . ${\displaystyle \mathbb {Z} _{d}}$

Соответственно, условное распределение вероятностей можно записать следующим образом:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},{\boldsymbol {\alpha }})\ \propto \ n_{k,d}^{(-n)}+\alpha _{k}}$

где конкретно означает количество переменных среди набора , исключая его самого, которые имеют значение . ${\displaystyle n_{k,d}^{(-n)}}$ ${\displaystyle \mathbb {Z} _{d}}$ ${\displaystyle z_{dn}}$ ${\displaystyle k}$

Необходимо подсчитать только те переменные, имеющие значение k , которые связаны с рассматриваемой переменной посредством наличия того же априора. Мы не хотим подсчитывать никакие другие переменные, также имеющие значение k .

Несколько априорных распределений Дирихле с одним и тем же гипераприорным распределением и зависимыми потомками

Теперь представьте себе немного более сложную иерархическую модель, как показано ниже:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{some other distribution}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})\end{array}}}$

Эта модель такая же, как и выше, но в дополнение к этому каждая из категориальных переменных имеет зависимую от нее дочернюю переменную. Это типично для смешанной модели .

Опять же, в совместном распределении только категориальные переменные, зависящие от одного и того же априорного распределения, связаны в один полином Дирихле:

${\displaystyle \Pr(\mathbb {Z} ,\mathbb {W} \mid {\boldsymbol {\alpha }},{\boldsymbol {\phi }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Условное распределение категориальных переменных, зависящих только от их родителей и предков, имело бы идентичную форму, как указано выше, в более простом случае. Однако в выборке Гиббса необходимо определить условное распределение данного узла, зависящее не только от и предков, таких как , но и от всех других параметров. ${\displaystyle z_{dn}}$ ${\displaystyle \mathbb {Z} ^{(-dn)}}$ ${\displaystyle \alpha }$

Упрощенное выражение для условного распределения выводится выше просто путем переписывания выражения для совместной вероятности и удаления постоянных факторов. Следовательно, то же самое упрощение будет применяться в большем выражении для совместной вероятности, таком как в этой модели, составленной из полиномиальных плотностей Дирихле плюс факторы для многих других случайных величин, зависящих от значений категориальных переменных.

Это дает следующее:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha }},{\boldsymbol {\phi }})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Здесь плотность вероятности появляется напрямую. Чтобы сделать случайную выборку по , мы бы вычислили ненормализованные вероятности для всех возможностей K с использованием приведенной выше формулы, затем нормализовали бы их и продолжили бы как обычно, используя алгоритм, описанный в статье о категориальном распределении . ${\displaystyle \operatorname {F} }$ ${\displaystyle z_{dn}}$ ${\displaystyle z_{dn}}$

Корректно говоря, дополнительный фактор, который появляется в условном распределении, выводится не из спецификации модели, а напрямую из совместного распределения. Это различие важно при рассмотрении моделей, где заданный узел с родителем Дирихле-априор имеет несколько зависимых потомков, особенно когда эти потомки зависят друг от друга (например, если они разделяют родителя, который сворачивается). Это обсуждается подробнее ниже.

Множественные априорные распределения Дирихле с изменяющимся априорным членством

Теперь представьте, что у нас есть следующая иерархическая модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\theta }}&\sim &{\text{some distribution}}\\z_{n=1\dots N}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }})\\{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\alpha }})\\w_{n=1\dots N}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{n}})\\\end{array}}}$

Здесь мы имеем сложную ситуацию, когда у нас есть несколько априорных значений Дирихле, как и раньше, и набор зависимых категориальных переменных, но связь между априорными значениями и зависимыми переменными не фиксирована, в отличие от предыдущего. Вместо этого выбор того, какое из них использовать, зависит от другой случайной категориальной переменной. Это происходит, например, в тематических моделях, и действительно, имена переменных выше должны соответствовать именам в скрытом распределении Дирихле . В этом случае набор представляет собой набор слов, каждое из которых взято из одной из возможных тем, где каждая тема является априорным значением Дирихле по словарю возможных слов, определяя частоту различных слов в теме. Однако принадлежность к теме данного слова не фиксирована; скорее, она определяется из набора скрытых переменных . На каждое слово приходится одна скрытая переменная, -мерная категориальная переменная, определяющая тему, к которой принадлежит слово. ${\displaystyle \mathbb {W} }$ ${\displaystyle K}$ ${\displaystyle V}$ ${\displaystyle \mathbb {Z} }$ ${\displaystyle K}$

В этом случае все переменные, зависящие от заданного априора, связаны вместе (т. е. коррелированы ) в группе, как и раньше — в частности, все слова, принадлежащие заданной теме, связаны. Однако в этом случае членство в группе меняется, поскольку слова не привязаны к заданной теме, а тема зависит от значения скрытой переменной, связанной со словом. Однако определение полиномиальной плотности Дирихле на самом деле не зависит от количества категориальных переменных в группе (т. е. количества слов в документе, сгенерированном из заданной темы), а только от количества переменных в группе, имеющих заданное значение (т. е. среди всех токенов слов, сгенерированных из заданной темы, сколько из них являются заданным словом). Следовательно, мы все еще можем написать явную формулу для совместного распределения:

${\displaystyle \Pr(\mathbb {W} \mid {\boldsymbol {\alpha }},\mathbb {Z} )=\prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha }})=\prod _{k=1}^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^{k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v})}{\Gamma (\alpha _{v})}}\right]}$

Здесь мы используем обозначение для обозначения количества словесных токенов, значение которых равно словесному символу v и которые относятся к теме k . ${\displaystyle n_{v}^{k}}$

Условное распределение по-прежнему имеет тот же вид:

${\displaystyle \Pr(w_{n}=v\mid \mathbb {W} ^{(-n)},\mathbb {Z} ,{\boldsymbol {\alpha }})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}}$

Здесь снова связаны только категориальные переменные для слов, принадлежащих данной теме (хотя эта связь будет зависеть от назначений скрытых переменных), и, следовательно, количество слов должно быть только по словам, сгенерированным данной темой. Отсюда символ , который является количеством токенов слов, имеющих символ слова v , но только среди тех, которые сгенерированы темой k , и исключая само слово, распределение которого описывается. ${\displaystyle n_{v}^{k,(-n)}}$

(Причина, по которой необходимо исключить само слово, и почему это вообще имеет смысл, заключается в том, что в контексте выборки Гиббса мы многократно повторно выбираем значения каждой случайной величины после того, как прошли и выбирали все предыдущие переменные. Следовательно, переменная уже будет иметь значение, и нам нужно исключить это существующее значение из различных подсчетов, которые мы используем.)

Комбинированный пример: тематические модели LDA

Теперь мы покажем, как объединить некоторые из вышеприведенных сценариев, чтобы продемонстрировать, как использовать выборку Гиббса для реальной модели, в частности, для сглаженной скрытой тематической модели распределения Дирихле (LDA) .

Модель выглядит следующим образом:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{dn}})\\\end{array}}}$

По сути, мы объединяем предыдущие три сценария: у нас есть категориальные переменные, зависящие от нескольких априорных значений, разделяющих гипераприор; у нас есть категориальные переменные с зависимыми потомками ( скрытые переменные тематических идентичностей); и у нас есть категориальные переменные со смещающимся членством в нескольких априорных значениях, разделяющих гипераприор. В стандартной модели LDA слова полностью наблюдаются, и, следовательно, нам никогда не нужно их повторно выбирать. (Однако выборка Гиббса была бы в равной степени возможна, если бы наблюдались только некоторые слова или ни одного из них. В таком случае мы хотели бы инициализировать распределение по словам каким-то разумным образом — например, из выходных данных некоторого процесса, который генерирует предложения, такого как модель машинного перевода — для того, чтобы результирующие апостериорные распределения скрытых переменных имели какой-то смысл.)

Используя приведенные выше формулы, мы можем напрямую записать условные вероятности:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &(\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\\\end{array}}}$

Здесь мы более подробно определили количество, чтобы четко разделить количество слов и количество тем:

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among topic }}k{\text{ excluding }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{number of topics having value }}k{\text{ among document }}d{\text{ excluding }}z_{dn}\\\end{array}}}$

Как и в сценарии выше с категориальными переменными с зависимыми детьми, условная вероятность этих зависимых детей появляется в определении условной вероятности родителя. В этом случае каждая скрытая переменная имеет только одно зависимое дочернее слово, поэтому появляется только один такой термин. (Если бы было несколько зависимых детей, все они должны были бы появиться в условной вероятности родителя, независимо от того, было ли перекрытие между разными родителями и теми же детьми, т. е. независимо от того, есть ли у зависимых детей данного родителя также другие родители. В случае, когда у ребенка несколько родителей, условная вероятность для этого ребенка появляется в определении условной вероятности каждого из его родителей.)

Определение выше указывает только ненормализованную условную вероятность слов, в то время как условная вероятность темы требует фактической (т.е. нормализованной) вероятности. Следовательно, мы должны нормализовать, суммируя по всем символам слова:

${\displaystyle {\begin{array}{rcl}\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v'})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}}\end{array}}}$

где

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} ^{k}&=&{\text{number of words generated by topic }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}}$

Также стоит остановиться подробнее на другом моменте, который касается второго фактора выше в условной вероятности. Помните, что условное распределение в целом выводится из совместного распределения и упрощается путем удаления членов, не зависящих от области условного (часть слева от вертикальной черты). Когда у узла есть зависимые потомки, в совместном распределении будет один или несколько факторов , которые зависят от . Обычно для каждого зависимого узла есть один фактор, и он имеет ту же функцию плотности, что и распределение, появляющееся в математическом определении. Однако, если у зависимого узла есть еще один родитель (сородитель), и этот сородитель свернут, то узел станет зависимым от всех других узлов, разделяющих этого сородителя, и вместо нескольких членов для каждого такого узла совместное распределение будет иметь только один совместный член. Здесь мы имеем именно такую ​​ситуацию. Несмотря на то, что имеет только одного потомка , у этого потомка есть сородитель Дирихле, которого мы свернули, что индуцирует полином Дирихле по всему набору узлов . ${\displaystyle z}$ ${\displaystyle \operatorname {F} (\dots \mid z)}$ ${\displaystyle z}$ ${\displaystyle z_{dn}}$ ${\displaystyle w_{dn}}$ ${\displaystyle \mathbb {W} ^{k}}$

В этом случае эта проблема не вызывает серьезных проблем, именно из-за однозначного отношения между и . Мы можем переписать совместное распределение следующим образом: ${\displaystyle z_{dn}}$ ${\displaystyle w_{dn}}$

${\displaystyle {\begin{array}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\end{array}}}$

где в наборе (т.е. наборе узлов, исключая ), ни один из узлов не имеет в качестве родителя. Следовательно, его можно исключить как фактор обусловливания (строка 2), что означает, что весь фактор можно исключить из условного распределения (строка 3). ${\displaystyle \mathbb {W} ^{k,(-dn)}}$ ${\displaystyle \mathbb {W} ^{k}}$ ${\displaystyle w_{dn}}$ ${\displaystyle z_{dn}}$

Второй пример: наивная байесовская кластеризация документов

Вот еще одна модель с другим набором проблем. Это реализация неконтролируемой наивной байесовской модели для кластеризации документов. То есть, мы хотели бы классифицировать документы по нескольким категориям (например, « спам » или «не спам», или «статья в научном журнале», «газетная статья о финансах», «газетная статья о политике», «любовное письмо») на основе текстового содержания. Однако мы еще не знаем правильную категорию каких-либо документов; вместо этого мы хотим кластеризовать их на основе взаимного сходства. (Например, набор научных статей будет, как правило, похож друг на друга по использованию слов, но сильно отличаться от набора любовных писем.) Это тип неконтролируемого обучения . (Та же техника может использоваться для выполнения полуконтролируемого обучения , то есть, когда мы знаем правильную категорию некоторой части документов и хотели бы использовать эти знания для кластеризации оставшихся документов.)

Модель выглядит следующим образом:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{d}})\\\end{array}}}$

Во многих отношениях эта модель очень похожа на тематическую модель LDA , описанную выше, но она предполагает одну тему на документ, а не одну тему на слово, при этом документ состоит из смеси тем. Это можно ясно увидеть в приведенной выше модели, которая идентична модели LDA, за исключением того, что на документ приходится только одна скрытая переменная вместо одной на слово. Еще раз, мы предполагаем, что мы сворачиваем все априорные распределения Дирихле.

Условная вероятность для данного слова почти идентична случаю LDA. Опять же, все слова, сгенерированные одним и тем же априором Дирихле, взаимозависимы. В этом случае это означает слова всех документов, имеющих данную метку — опять же, это может меняться в зависимости от назначений меток, но все, что нас волнует, — это общее количество. Следовательно:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\end{array}}}$

где

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among documents with label }}k{\text{ excluding }}w_{dn}\\\end{array}}}$

Однако существует критическое различие в условном распределении скрытых переменных для назначений меток, которое заключается в том, что заданная переменная метки имеет несколько дочерних узлов вместо одного — в частности, узлы для всех слов в документе метки. Это тесно связано с обсуждением выше о факторе, который вытекает из совместного распределения. В этом случае совместное распределение должно быть принято по всем словам во всех документах, содержащих назначение метки, равное значению , и имеет значение распределения Дирихле-мультиномиала. Более того, мы не можем свести это совместное распределение к условному распределению по одному слову. Вместо этого мы можем свести его только к меньшему совместному условному распределению по словам в документе для рассматриваемой метки, и, следовательно, мы не можем упростить его, используя трюк выше, который дает простую сумму ожидаемого количества и априорного значения. Хотя на самом деле можно переписать его как произведение таких отдельных сумм, число факторов очень велико и явно не более эффективно, чем прямое вычисление вероятности распределения Дирихле-мультиномиала. ${\displaystyle \operatorname {F} (\dots \mid z_{d})}$ ${\displaystyle z_{d}}$

Связанные дистрибутивы

Одномерная версия полиномиального распределения Дирихле известна как бета-биномиальное распределение .

Полиномиальное распределение Дирихле имеет связь с отрицательным биномиальным распределением, аналогичную связи полиномиального распределения с распределением Пуассона . ^[2]

Использует

Полиномиальное распределение Дирихле используется в автоматизированной классификации и кластеризации документов , генетике , экономике , моделировании боевых действий и количественном маркетинге.

Смотрите также

• Бета-биномиальное распределение
• Процесс китайского ресторана
• Звезды и полосы (комбинаторика)
• процесс Дирихле
• Обобщенное распределение Дирихле
• Оценка Кричевского–Трофимова
• Дирихле отрицательное мультиномиальное распределение

Ссылки

Цитаты

1. Glüsenkamp, ​​T. (2018). «Вероятностная обработка неопределенности из конечного размера взвешенных данных Монте-Карло». EPJ Plus . 133 (6): 218. arXiv : 1712.01293 . Bibcode : 2018EPJP..133..218G. doi : 10.1140/epjp/i2018-12042-x. S2CID  125665629.
2. Теорема 1 Чжоу, М. (2018). «Непараметрический байесовский отрицательный биномиальный факторный анализ». Байесовский анализ . 13 (4): 1065–1093. arXiv : 1604.07464 . doi : 10.1214/17-BA1070 .

Источники

• Элкан, К. (2006) Кластеризация документов с помощью экспоненциально-семейного приближения сложного мультиномиального распределения Дирихле. ICML, 289–296.
• Джонсон, Н. Л., Коц, С. и Балакришнан, Н. (1997) Дискретные многомерные распределения (т. 165). Нью-Йорк: Wiley.
• Квам, П. и Дэй, Д. (2001) Многомерное распределение Пойа в моделировании боя. Naval Research Logistics, 48, 1–17.
• Мэдсен, Р. Э., Каучак, Д. и Элкан, К. (2005) Моделирование прерывания слов с использованием распределения Дирихле. ICML, 545–552.
• Минка, Т. (2003) Оценка распределения Дирихле. Технический отчет Microsoft Research. Включает код Matlab для подгонки распределений к данным.
• Мосиманн, Дж. Э. (1962) О сложном мультиномиальном распределении, многомерном β-распределении и корреляциях между пропорциями. Биометрика, 49(1–2), 65–82.
• Вагнер, У. и Тодес, А. (1986) Многомерная полиамерная модель выбора бренда и частоты покупок. Маркетинговая наука, 5(3), 219–244.