В теории вероятностей и статистике параметр концентрации — это особый вид числового параметра параметрического семейства вероятностных распределений . Параметры концентрации встречаются в двух видах распределения: в распределении фон Мизеса-Фишера и в сочетании с распределениями, областью определения которых является вероятностное распределение, например, симметричное распределение Дирихле и процесс Дирихле . Оставшаяся часть статьи посвящена последнему варианту использования.
Чем больше значение параметра концентрации, тем более равномерно распределено результирующее распределение (тем больше оно стремится к равномерному распределению ). Чем меньше значение параметра концентрации, тем более разреженным является результирующее распределение, при этом большинство значений или диапазонов значений имеют вероятность, близкую к нулю (другими словами, чем больше оно стремится к распределению, сконцентрированному в одной точке, тем вырожденнее распределение , определяемое дельта-функцией Дирака ).
В случае многомерных распределений Дирихле возникает некоторая путаница в том, как определить параметр концентрации. В литературе по тематическому моделированию его часто определяют как сумму отдельных параметров Дирихле, [1] при обсуждении симметричных распределений Дирихле (где параметры одинаковы для всех измерений) его часто определяют как значение одного параметра Дирихле. параметр, используемый во всех измерениях . Это второе определение меньше в раз, чем размерность распределения.
Параметр концентрации, равный 1 (или k , размерность распределения Дирихле, согласно определению, используемому в литературе по тематическому моделированию), приводит к тому, что все наборы вероятностей одинаково вероятны, т. е. в этом случае распределение Дирихле размерности k эквивалентно равномерное распределение по k-1 -мерному симплексу . Это не то же самое, что происходит, когда параметр концентрации стремится к бесконечности. В первом случае все полученные распределения равновероятны (распределение по распределениям равномерно). В последнем случае вероятны только почти равномерные распределения (распределение по распределениям имеет сильный пик вокруг равномерного распределения). Между тем, в пределе, когда параметр концентрации стремится к нулю, вероятны только распределения, в которых почти вся масса сосредоточена на одном из их компонентов (распределение по распределениям имеет сильный пик вокруг k возможных дельта-распределений Дирака с центром на одном из компонентов, или в терминах k -мерного симплекса имеет сильно заостренную форму в углах симплекса).
В качестве примера использования разреженного априора (параметр концентрации намного меньше 1) рассмотрим модель темы , которая используется для изучения тем, обсуждаемых в наборе документов, где каждая «тема» описывается с использованием категориального Распределение по словарю слов. Типичный словарь может состоять из 100 000 слов, что приводит к 100 000-мерному категориальному распределению. Априорное распределение параметров категориального распределения, вероятно, будет симметричным распределением Дирихле . Однако связная тема может состоять всего из нескольких сотен слов с сколько-нибудь значительной вероятностной массой. Соответственно, разумная настройка параметра концентрации может составлять 0,01 или 0,001. При большем словарном запасе (около 1 000 000 слов) может подойти еще меньшее значение, например 0,0001.