Полиномиальное распределение Дирихле

В теории вероятностей и статистике мультиномиальное распределение Дирихле представляет собой семейство дискретных многомерных вероятностных распределений на конечном носителе неотрицательных целых чисел. Его также называют составным полиномиальным распределением Дирихле ( DCM ) или многомерным распределением Полиа (в честь Джорджа Полиа ). Это составное распределение вероятностей , где вектор вероятности p получается из распределения Дирихле с вектором параметров , а наблюдение — из полиномиального распределения с вектором вероятности p и количеством испытаний n . Вектор параметров Дирихле отражает априорное мнение о ситуации и может рассматриваться как псевдосчет: наблюдения за каждым результатом, которые происходят до того, как будут собраны фактические данные. Рецептура соответствует схеме урны Полиа . Оно часто встречается в байесовской статистике , машинном обучении , эмпирических методах Байеса и классической статистике как сверхдисперсное полиномиальное распределение . ${\displaystyle {\boldsymbol {\alpha }}}$

Оно сводится к категориальному распределению как частному случаю, когда n  = 1. Оно также сколь угодно хорошо аппроксимирует полиномиальное распределение для больших α . Мультиномиальное распределение Дирихле является многомерным расширением бета-биномиального распределения , поскольку полиномиальное распределение и распределение Дирихле являются многомерными версиями биномиального распределения и бета-распределения соответственно.

Спецификация

Мультином Дирихле как составное распределение

Распределение Дирихле является сопряженным распределением полиномиальному распределению. Этот факт приводит к аналитически определяемому распределению соединений . Для случайного вектора количества категорий , распределенного в соответствии с полиномиальным распределением , предельное распределение получается путем интегрирования распределения для p , которое можно рассматривать как случайный вектор, следующий за распределением Дирихле: ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{K})}$

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})=\int _{\mathbf {p} }\mathrm {Mult} (\mathbf {x} \mid n,\mathbf {p} )\mathrm {Dir} (\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

что приводит к следующей явной формуле:

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}}$

где определяется как сумма . Другая форма этого же составного распределения, более компактно записанная через бета - функцию B , выглядит следующим образом: ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}=\sum \alpha _{k}}$

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {nB\left(\alpha _{0},n\right)}{\prod _{k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.}$

Последняя форма подчеркивает тот факт, что категории с нулевым подсчетом можно игнорировать при расчете - полезный факт, когда количество категорий очень велико и редко (например, подсчет слов в документах).

Обратите внимание, что PDF представляет собой бета-биномиальное распределение, когда . Также можно показать, что оно приближается к полиномиальному распределению при приближении к бесконечности. Параметр управляет степенью избыточной дисперсии или пульсации относительно полинома. Альтернативные варианты обозначения, найденные в литературе, - это S и A. ${\displaystyle K=2}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}}$

Мультином Дирихле как модель урны

Мультиномиальное распределение Дирихле также можно мотивировать с помощью модели урны для положительных целочисленных значений вектора α, известной как модель урны Полиа . В частности, представьте себе урну, содержащую шары K цветов с нумерацией i-го цвета, в которой производятся случайные розыгрыши. Когда шар случайно вытягивается и наблюдается, то в урну возвращаются два шара одного цвета. Если это выполняется n раз, то вероятность наблюдения случайного вектора количества цветов представляет собой мультином Дирихле с параметрами n и α. Если случайные розыгрыши производятся с простой заменой (в урну не добавляются шары сверх наблюдаемого шара), то распределение следует полиномиальному распределению, а если случайные розыгрыши производятся без замены, распределение следует многомерному гипергеометрическому распределению . ${\displaystyle \alpha _{i}}$ ${\displaystyle x}$

Характеристики

Моменты

Еще раз, пусть и пусть , тогда ожидаемое количество раз, когда результат i наблюдался в n испытаниях, равно ${\displaystyle \alpha _{0}=\sum \alpha _{k}}$ ${\displaystyle p_{i}={\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}}}$

${\displaystyle \operatorname {E} (X_{i})=np_{i}=n{\frac {\alpha _{i}}{\alpha _{0}}}.\,}$

Ковариационная матрица выглядит следующим образом. Каждый диагональный элемент представляет собой дисперсию случайной величины с бета-биномиальным распределением и, следовательно,

${\displaystyle \operatorname {var} (X_{i})=np_{i}(1-p_{i})\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,}$

Внедиагональные записи представляют собой ковариации :

${\displaystyle \operatorname {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right)\,}$

для i , j различны.

Все ковариации отрицательны, поскольку при фиксированном n увеличение одного компонента мультиномиального вектора Дирихле требует уменьшения другого компонента.

Это положительно-полуопределенная матрица размера K × K ранга K  − 1.

Элементы соответствующей корреляционной матрицы :

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sqrt {\operatorname {var} (X_{i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{j}(1-p_{j})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}}}=-{\sqrt {\frac {\alpha _{i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.}$

Размер выборки не входит в это выражение.

Каждая из k компонент в отдельности имеет бета-биномиальное распределение.

Носителем полиномиального распределения Дирихле является множество

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}|n_{1}+\cdots +n_{k}=n\}.\,}$

Число его элементов равно

${\displaystyle {n+k-1 \choose k-1}.}$

Матричное обозначение

В матричной записи

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

и

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right),\,}$

где p ^T = вектор-строка, транспонированная вектор-столбцу p . Сдача в аренду

${\displaystyle \alpha _{0}={\frac {1-\rho ^{2}}{\rho ^{2}}}\,}$, мы можем написать альтернативно

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,}$

Этот параметр известен как «внутриклассовая» или «внутрикластерная» корреляция. Именно эта положительная корреляция приводит к чрезмерной дисперсии относительно полиномиального распределения. ${\displaystyle \rho \!}$

Агрегация

Если

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {DM} (\alpha _{1},\cdots ,\alpha _{K})}$

затем, если случайные величины с индексами i и j исключить из вектора и заменить их суммой ^{[ нужна цитация ]} ,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {DM} \left(\alpha _{1},\cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).}$

Это свойство агрегирования можно использовать для получения предельного распределения . ${\displaystyle X_{i}}$

Функция правдоподобия

Концептуально мы делаем N независимых выборок из категориального распределения с K категориями. Представим независимые розыгрыши как случайные категориальные переменные для . Обозначим количество раз, когда определенная категория была замечена (для ) среди всех категориальных переменных как , и . Далее, у нас есть два разных взгляда на эту проблему: ${\displaystyle z_{n}}$ ${\displaystyle n=1\dots N}$ ${\displaystyle k}$ ${\displaystyle k=1\dots K}$ ${\displaystyle n_{k}}$ ${\displaystyle \sum _{k}n_{k}=N}$

1. Набор категориальных переменных . ${\displaystyle N}$ ${\displaystyle z_{1},\dots ,z_{N}}$
2. Одна векторная переменная , распределенная в соответствии с полиномиальным распределением . ${\displaystyle \mathbf {x} =(n_{1},\dots ,n_{K})}$

Первый случай представляет собой набор случайных величин, определяющих каждый отдельный результат, а второй — переменную, определяющую количество результатов каждой из K категорий. Это различие важно, поскольку оба случая имеют соответственно разные распределения вероятностей.

Параметр категориального распределения — где вероятность получить значение ; также является параметром полиномиального распределения . Вместо того, чтобы указывать его напрямую, мы даем ему сопряженное априорное распределение , и, следовательно, оно извлекается из распределения Дирихле с вектором параметров . ${\displaystyle \mathbf {p} =(p_{1},p_{2},\dots ,p_{K}),}$ ${\displaystyle p_{k}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {p} }$ ${\displaystyle P(\mathbf {x} |\mathbf {p} )}$ ${\displaystyle \mathbf {p} }$ ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\alpha _{2},\ldots ,\alpha _{K})}$

Интегрируя , мы получаем сложное распределение. Однако форма распределения различна в зависимости от того, какую точку зрения мы придерживаемся. ${\displaystyle \mathbf {p} }$

Для набора индивидуальных результатов

Совместное распространение

Для категориальных переменных предельное совместное распределение получается путем интегрирования : ${\displaystyle \mathbb {Z} =z_{1},\dots ,z_{N}}$ ${\displaystyle \mathbf {p} }$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

что приводит к следующей явной формуле:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

где гамма - функция , при этом ${\displaystyle \Gamma }$

${\displaystyle A=\sum _{k}\alpha _{k}{\text{ and }}N=\sum _{k}n_{k}{\text{, and where }}n_{k}={\text{number of }}z_{n}{\text{'s with the value }}k.}$

Обратите внимание на отсутствие полиномиального коэффициента, поскольку в формуле речь идет о вероятности последовательности категориальных переменных, а не о вероятности отсчетов внутри каждой категории.

Хотя переменные не фигурируют в приведенной выше формуле явно, они вводятся через значения. ^{[ нужны разъяснения ]} ${\displaystyle z_{1},\dots ,z_{N}}$ ${\displaystyle n_{k}}$

Условное распределение

Другая полезная формула, особенно в контексте выборки Гиббса , спрашивает, какова условная плотность данной переменной , обусловленная всеми другими переменными (которые мы будем обозначать ). Оказывается, он имеет предельно простую форму: ${\displaystyle z_{n}}$ ${\displaystyle \mathbb {Z} ^{(-n)}}$

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\propto n_{k}^{(-n)}+\alpha _{k}}$

где указывает количество счетчиков категории, наблюдаемых во всех переменных, кроме . ${\displaystyle n_{k}^{(-n)}}$ ${\displaystyle k}$ ${\displaystyle z_{n}}$

Возможно, будет полезно показать, как вывести эту формулу. В общем, условные распределения пропорциональны соответствующим совместным распределениям , поэтому мы просто начинаем с приведенной выше формулы совместного распределения всех значений, а затем исключаем любые факторы, не зависящие от рассматриваемой детали. Для этого воспользуемся обозначениями, определенными выше, и ${\displaystyle z_{1},\dots ,z_{N}}$ ${\displaystyle z_{n}}$ ${\displaystyle n_{k}^{(-n)}}$

${\displaystyle n_{j}={\begin{cases}n_{j}^{(-n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{cases}}}$

Мы также используем тот факт, что

${\displaystyle \Gamma (n+1)=n\Gamma (n)}$

Затем:

${\displaystyle {\begin{aligned}&\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\\\propto \ &\Pr(z_{n}=k,\mathbb {Z} ^{(-n)}\mid {\boldsymbol {\alpha }})\\=\ &\ {\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{j=1}^{K}{\frac {\Gamma (n_{j}+\alpha _{j})}{\Gamma (\alpha _{j})}}\\\propto \ &\prod _{j=1}^{K}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}^{(-n)}+1+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\Gamma (n_{k}^{(-n)}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\prod _{j}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\\propto \ &n_{k}^{(-n)}+\alpha _{k}\\\end{aligned}}}$

В общем, не стоит беспокоиться о нормировочной константе при выводе уравнений условных распределений. Нормализующая константа будет определена как часть алгоритма выборки из распределения (см. Категориальное распределение#Sampling ). Однако когда условное распределение записано в простой форме, приведенной выше, оказывается, что нормировочная константа принимает простую форму:

${\displaystyle \sum _{k}\left(n_{k}^{(-n)}+\alpha _{k}\right)=A+\sum _{k}n_{k}^{(-n)}=A+N-1}$

Следовательно

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})={\frac {n_{k}^{(-n)}+\alpha _{k}}{A+N-1}}}$

Эта формула тесно связана с процессом в китайском ресторане , который возникает в результате принятия предела как . ${\displaystyle K\to \infty }$

В байесовской сети

В более крупной байесовской сети , в которой категориальные (или так называемые «мультиномиальные») распределения встречаются с априорами распределения Дирихле как частью более крупной сети, все априоры Дирихле могут быть свернуты при условии, что единственные узлы, зависящие от них, являются категориальными распределениями. Схлопывание происходит для каждого узла распределения Дирихле отдельно от других и происходит независимо от любых других узлов, которые могут зависеть от категориальных распределений. Это также происходит независимо от того, зависят ли категориальные распределения от узлов, дополнительных к априорам Дирихле (хотя в таком случае эти другие узлы должны оставаться в качестве дополнительных обуславливающих факторов). По сути, все категориальные распределения, зависящие от данного узла распределения Дирихле, становятся связанными в одно мультиномиальное совместное распределение Дирихле, определенное приведенной выше формулой. Совместное распределение, определенное таким образом, будет зависеть от родителя(ей) интегрированных априорных узлов Дирише, а также от любого родителя(ей) категориальных узлов, отличных от самих априорных узлов Дирихле.

В следующих разделах мы обсудим различные конфигурации, обычно встречающиеся в байесовских сетях. Повторяем плотность вероятности сверху и определяем ее с помощью символа : ${\displaystyle \operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})}$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

Множественные априоры Дирихле с одним и тем же гиперприором

Представьте, что у нас есть следующая иерархическая модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\end{array}}}$

В подобных случаях у нас есть несколько априорных значений Дирише, каждый из которых генерирует некоторое количество категориальных наблюдений (возможно, разное количество для каждого априорного). Тот факт, что все они зависят от одного и того же гиперприора, даже если это случайная величина, как указано выше, не имеет никакого значения. Эффект интеграции априора Дирихле связывает категориальные переменные, прикрепленные к этому априору, совместное распределение которых просто наследует любые обусловливающие факторы априора Дирихле. Тот факт, что несколько априорных значений могут иметь общий гиперприорный уровень, не имеет значения:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})}$

где — это просто набор категориальных переменных, зависящих от предшествующего значения d . ${\displaystyle \mathbb {Z} _{d}}$

Соответственно, условное распределение вероятностей можно записать следующим образом:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},{\boldsymbol {\alpha }})\ \propto \ n_{k,d}^{(-n)}+\alpha _{k}}$

где конкретно означает количество переменных среди множества , исключая себя, которые имеют значение . ${\displaystyle n_{k,d}^{(-n)}}$ ${\displaystyle \mathbb {Z} _{d}}$ ${\displaystyle z_{dn}}$ ${\displaystyle k}$

Необходимо учитывать только те переменные, имеющие значение k , которые связаны с рассматриваемой переменной тем, что имеют одинаковый априор. Мы не хотим учитывать какие-либо другие переменные, также имеющие значение k .

Множественные априоры Дирихле с одним и тем же гиперприором, с зависимыми детьми

Теперь представьте себе немного более сложную иерархическую модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{some other distribution}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})\end{array}}}$

Эта модель такая же, как и выше, но кроме того, каждая из категориальных переменных имеет зависимую от нее дочернюю переменную. Это типично для смешанной модели .

Опять же, в совместном распределении только категориальные переменные, зависящие от одного и того же априора, связаны в один мультином Дирихле:

${\displaystyle \Pr(\mathbb {Z} ,\mathbb {W} \mid {\boldsymbol {\alpha }},{\boldsymbol {\phi }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Условное распределение категориальных переменных, зависящих только от их родителей и предков, в более простом случае будет иметь ту же форму, что и выше. Однако при выборке Гиббса необходимо определить условное распределение данного узла, зависящее не только от и предков типа , но и от всех остальных параметров. ${\displaystyle z_{dn}}$ ${\displaystyle \mathbb {Z} ^{(-dn)}}$ ${\displaystyle \alpha }$

Упрощенное выражение для условного распределения получено выше путем простого переписывания выражения для совместной вероятности и удаления постоянных факторов. Следовательно, то же упрощение применимо и к более крупному выражению совместной вероятности, такому как выражение в этой модели, состоящее из мультиномиальных плотностей Дирихле плюс коэффициенты для многих других случайных величин, зависящих от значений категориальных переменных.

Это дает следующее:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha }},{\boldsymbol {\phi }})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Здесь непосредственно проявляется плотность вероятности . Чтобы выполнить случайную выборку по , мы должны вычислить ненормализованные вероятности для всех K возможностей использования приведенной выше формулы, затем нормализовать их и продолжить работу как обычно, используя алгоритм, описанный в статье о категориальном распределении . ${\displaystyle \operatorname {F} }$ ${\displaystyle z_{dn}}$ ${\displaystyle z_{dn}}$

Правильно говоря, дополнительный коэффициент, который появляется в условном распределении, выводится не из спецификации модели, а непосредственно из совместного распределения. Это различие важно при рассмотрении моделей, в которых данный узел с родителем, предшествующим Дирихле, имеет несколько зависимых дочерних узлов, особенно когда эти дочерние элементы зависят друг от друга (например, если у них общий родительский узел, который свернут). Это обсуждается подробнее ниже.

Множественные приоры Дирихле со сменой предыдущего членства

Теперь представьте, что у нас есть следующая иерархическая модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\theta }}&\sim &{\text{some distribution}}\\z_{n=1\dots N}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }})\\{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\alpha }})\\w_{n=1\dots N}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{n}})\\\end{array}}}$

Здесь мы имеем сложную ситуацию, когда у нас есть несколько априорных значений Дирихле, как и раньше, и набор зависимых категориальных переменных, но связь между априорными и зависимыми переменными не фиксирована, в отличие от предыдущего. Вместо этого выбор того, какой из них перед использованием, зависит от другой случайной категориальной переменной. Это происходит, например, в тематических моделях, и действительно, имена переменных выше должны соответствовать именам в скрытом распределении Дирихле . В этом случае набор представляет собой набор слов, каждое из которых взято из одной из возможных тем, где каждая тема представляет собой априор Дирихле над словарем возможных слов, определяющий частоту различных слов в теме. Однако принадлежность данного слова к теме не фиксирована; скорее, оно определяется набором скрытых переменных . Для каждого слова существует одна скрытая переменная, -мерная категориальная переменная, определяющая тему, к которой принадлежит слово. ${\displaystyle \mathbb {W} }$ ${\displaystyle K}$ ${\displaystyle V}$ ${\displaystyle \mathbb {Z} }$ ${\displaystyle K}$

В этом случае все переменные, зависящие от заданного априора, связаны (т.е. коррелированы ) в группу, как и раньше — а именно, связаны все слова, принадлежащие данной теме. В этом случае, однако, членство в группе меняется, поскольку слова не привязаны к данной теме, а тема зависит от значения скрытой переменной, связанной со словом. Однако определение мультиномиальной плотности Дирихле на самом деле зависит не от количества категориальных переменных в группе (т. е. от количества слов в документе, сгенерированном по заданной теме), а только от количества переменных в группе. группа имеет заданное значение (т. е. сколько из всех токенов слов, сгенерированных по данной теме, являются данным словом). Следовательно, мы все еще можем написать явную формулу совместного распределения:

${\displaystyle \Pr(\mathbb {W} \mid {\boldsymbol {\alpha }},\mathbb {Z} )=\prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha }})=\prod _{k=1}^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^{k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v})}{\Gamma (\alpha _{v})}}\right]}$

Здесь мы используем обозначение для обозначения количества токенов слов, значением которых является символ слова v и которые принадлежат теме k . ${\displaystyle n_{v}^{k}}$

Условное распределение по-прежнему имеет тот же вид:

${\displaystyle \Pr(w_{n}=v\mid \mathbb {W} ^{(-n)},\mathbb {Z} ,{\boldsymbol {\alpha }})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}}$

Здесь снова связываются только категориальные переменные для слов, принадлежащих данной теме (хотя это связывание будет зависеть от назначений скрытых переменных), и, следовательно, количество слов должно соответствовать только словам, созданным по данной теме. Следовательно, символ представляет собой количество токенов слов, имеющих символ слова v , но только среди тех, которые сгенерированы темой k , и исключая само слово, распределение которого описывается. ${\displaystyle n_{v}^{k,(-n)}}$

(Причина, по которой исключение самого слова необходимо и почему это вообще имеет смысл, заключается в том, что в контексте выборки Гиббса мы неоднократно пересчитываем значения каждой случайной величины после того, как просмотрели и выбрали все предыдущие переменные. Отсюда переменная уже будет иметь значение, и нам нужно исключить это существующее значение из различных счетчиков, которые мы используем.)

Комбинированный пример: тематические модели LDA

Теперь мы покажем, как объединить некоторые из вышеперечисленных сценариев, чтобы продемонстрировать, как Гиббс выбирает реальную модель, в частности, тематическую модель сглаженного латентного распределения Дирихле (LDA) .

Модель следующая:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{dn}})\\\end{array}}}$

По сути, мы объединяем предыдущие три сценария: у нас есть категориальные переменные, зависящие от нескольких априорных значений, разделяющих один гиперприорный; у нас есть категориальные переменные с зависимыми дочерними элементами ( скрытые идентичности тем переменных ); и у нас есть категориальные переменные с меняющимся членством в нескольких априорах, имеющих общий гиперприор. В стандартной модели LDA слова полностью соблюдаются, и, следовательно, нам никогда не требуется их повторная выборка. (Однако выборка Гиббса была бы в равной степени возможна, если бы наблюдались только некоторые слова или ни одно из них. В таком случае мы хотели бы инициализировать распределение по словам каким-то разумным способом - например, на основе результатов некоторого процесса, который генерирует предложения. , например, модель машинного перевода — для того, чтобы результирующие апостериорные распределения скрытых переменных имели какой-либо смысл.)

Используя приведенные выше формулы, мы можем записать условные вероятности напрямую:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &(\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\\\end{array}}}$

Здесь мы определили подсчеты более явно, чтобы четко разделить количество слов и количество тем:

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among topic }}k{\text{ excluding }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{number of topics having value }}k{\text{ among document }}d{\text{ excluding }}z_{dn}\\\end{array}}}$

Как и в приведенном выше сценарии с категориальными переменными с зависимыми дочерними элементами, условная вероятность этих зависимых дочерних элементов появляется в определении условной вероятности родителя. В этом случае каждая скрытая переменная имеет только одно зависимое дочернее слово, поэтому появляется только один такой термин. (Если бы было несколько детей-иждивенцев, все они должны были бы появиться в условной вероятности родителя, независимо от того, было ли перекрытие между разными родителями и одними и теми же детьми, т.е. независимо от того, есть ли у детей-иждивенцев данного родителя также другие родители. В случае, когда у ребенка несколько родителей, условная вероятность для этого ребенка появляется в определении условной вероятности каждого из его родителей.)

Приведенное выше определение определяет только ненормализованную условную вероятность слов, в то время как условная вероятность темы требует фактической (т. е. нормализованной) вероятности. Следовательно, нам нужно нормализовать путем суммирования по всем символам слова:

${\displaystyle {\begin{array}{rcl}\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v'})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}}\end{array}}}$

где

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} ^{k}&=&{\text{number of words generated by topic }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}}$

Также стоит подробно остановиться на еще одном моменте, который касается второго фактора условной вероятности, упомянутого выше. Помните, что условное распределение в целом является производным от совместного распределения и упрощается за счет удаления терминов, не зависящих от области условного распределения (часть слева от вертикальной черты). Если у узла есть зависимые дочерние элементы, в совместном распределении будет один или несколько факторов , которые зависят от . Обычно для каждого зависимого узла имеется один фактор, и он имеет ту же функцию плотности, что и распределение, имеющее математическое определение. Однако, если у зависимого узла есть еще один родительский элемент (сородительский), и этот сородительский узел свернут, тогда узел станет зависимым от всех других узлов, разделяющих этого сородительского узла, и вместо нескольких терминов для В каждом таком узле совместное распределение будет иметь только один общий член. У нас тут именно такая ситуация. Несмотря на то, что у него только один дочерний элемент , у этого дочернего элемента есть сородитель Дирихле, который мы схлопнули, что приводит к мультиному Дирихле по всему набору узлов . ${\displaystyle z}$ ${\displaystyle \operatorname {F} (\dots \mid z)}$ ${\displaystyle z}$ ${\displaystyle z_{dn}}$ ${\displaystyle w_{dn}}$ ${\displaystyle \mathbb {W} ^{k}}$

В этом случае этот вопрос не вызывает серьезных проблем именно из-за взаимно однозначного отношения между и . Мы можем переписать совместное распределение следующим образом: ${\displaystyle z_{dn}}$ ${\displaystyle w_{dn}}$

${\displaystyle {\begin{array}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\end{array}}}$

где в наборе (т.е. наборе узлов, исключая ) ни один из узлов не является родительским. Следовательно, его можно исключить как обуславливающий фактор (строка 2), а это означает, что весь фактор можно исключить из условного распределения (строка 3). ${\displaystyle \mathbb {W} ^{k,(-dn)}}$ ${\displaystyle \mathbb {W} ^{k}}$ ${\displaystyle w_{dn}}$ ${\displaystyle z_{dn}}$

Второй пример: наивная байесовская кластеризация документов.

Вот еще одна модель с другим набором проблем. Это реализация неконтролируемой модели Наивного Байеса для кластеризации документов. То есть мы хотели бы классифицировать документы по нескольким категориям (например, « спам » или «не-спам», или «статья в научном журнале», «газетная статья о финансах», «газетная статья о политике», «любовное письмо»). на основе текстового содержания. Однако мы еще не знаем правильную категорию каких-либо документов; вместо этого мы хотим сгруппировать их на основе взаимного сходства. (Например, наборы научных статей, как правило, похожи друг на друга по использованию слов, но сильно отличаются от набора любовных писем.) Это тип обучения без присмотра . (Тот же метод можно использовать для полуконтролируемого обучения , т. е. когда мы знаем правильную категорию некоторой части документов и хотели бы использовать эти знания для кластеризации оставшихся документов.)

Модель следующая:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{d}})\\\end{array}}}$

Во многих отношениях эта модель очень похожа на описанную выше тематическую модель LDA , но она предполагает одну тему на документ, а не одну тему на слово, при этом документ состоит из смеси тем. Это хорошо видно на приведенной выше модели, которая идентична модели LDA, за исключением того, что в каждом документе имеется только одна скрытая переменная , а не одна в каждом слове. Мы еще раз предполагаем, что мы сжимаем все априоры Дирихле.

Условная вероятность для данного слова почти идентична случаю LDA. Еще раз: все слова, порожденные одним и тем же приором Дирихле, взаимозависимы. В данном случае это означает слова всех документов, имеющих данную метку — опять же, это может варьироваться в зависимости от назначений меток, но все, что нас волнует, — это общее количество. Следовательно:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\end{array}}}$

где

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among documents with label }}k{\text{ excluding }}w_{dn}\\\end{array}}}$

Однако существует критическая разница в условном распределении скрытых переменных для присвоений меток, заключающаяся в том, что данная переменная метки имеет несколько дочерних узлов вместо одного — в частности, узлы для всех слов в документе метки. Это тесно связано с приведенным выше обсуждением фактора , обусловленного совместным распределением. В этом случае совместное распределение должно охватывать все слова во всех документах, содержащих присвоение метки, равное значению и имеющее значение мультиномиального распределения Дирихле. Более того, мы не можем свести это совместное распределение к условному распределению по одному слову. Скорее, мы можем свести его только к меньшему совместному условному распределению по словам в документе для рассматриваемой метки, и, следовательно, мы не можем упростить его, используя описанный выше трюк, который дает простую сумму ожидаемого количества и априора. Хотя на самом деле его можно переписать как произведение таких отдельных сумм, число факторов очень велико, и это явно не более эффективно, чем непосредственное вычисление вероятности мультиномиального распределения Дирихле. ${\displaystyle \operatorname {F} (\dots \mid z_{d})}$ ${\displaystyle z_{d}}$

Связанные дистрибутивы

Одномерная версия мультиномиального распределения Дирихле известна как бета-биномиальное распределение .

Полиномиальное распределение Дирихле имеет связь с отрицательным биномиальным распределением, аналогичную связи полиномиального распределения с распределением Пуассона . ^[2]

Использование

Мультиномиальное распределение Дирихле используется в автоматизированной классификации и кластеризации документов , генетике , экономике , боевом моделировании и количественном маркетинге.

Смотрите также

• Бета-биномиальное распределение
• процесс в китайском ресторане
• Процесс Дирихле
• Обобщенное распределение Дирихле
• Оценка Кричевского–Трофимова
• Отрицательное полиномиальное распределение Дирихле

Рекомендации

Цитаты

1. Глюзенкамп, Т. (2018). «Вероятностная обработка неопределенности конечного размера взвешенных данных Монте-Карло». ЭПЖ Плюс . 133 (6): 218. arXiv : 1712.01293 . Бибкод : 2018EPJP..133..218G. doi : 10.1140/epjp/i2018-12042-x. S2CID  125665629.
2. Теорема 1 Чжоу, М. (2018). «Непараметрический байесовский отрицательный биномиальный факторный анализ». Байесовский анализ . 13 (4): 1065–1093. arXiv : 1604.07464 . дои : 10.1214/17-BA1070 .

Источники

• Элкан, К. (2006) Кластеризация документов с помощью экспоненциальной аппроксимации сложного полиномиального распределения Дирихле. ICML, 289–296.
• Джонсон, Н.Л., Коц, С. и Балакришнан, Н. (1997) Дискретные многомерные распределения (том 165). Нью-Йорк: Уайли.
• Квам П. и Дэй Д. (2001) Многомерное распределение Полиа в боевом моделировании. Логистика военно-морских исследований, 48, 1–17.
• Мэдсен Р.Э., Каучак Д. и Элкан К. (2005) Моделирование разброса слов с использованием распределения Дирихле. ICML, 545–552.
• Минка, Т. (2003) Оценка распределения Дирихле. Технический отчет Microsoft Research. Включает код Matlab для подгонки распределений к данным.
• Мосиманн, Дж. Э. (1962) О сложном полиномиальном распределении, многомерном β-распределении и корреляциях между пропорциями. Биометрика, 49(1–2), 65–82.
• Вагнер У. и Таудес А. (1986) Многомерная полиа-модель выбора бренда и частоты покупок. Маркетинговая наука, 5 (3), 219–244.