Категориальное распределение

Дискретное распределение вероятностей

В теории вероятностей и статистике категориальное распределение (также называемое обобщенным распределением Бернулли , мультиноуллиевым распределением ^[1] ) — это дискретное распределение вероятностей , которое описывает возможные результаты случайной величины, которая может принимать одну из K возможных категорий, при этом вероятность каждой категории указывается отдельно. Не существует врожденного базового упорядочения этих результатов, но для удобства описания распределения часто добавляются числовые метки (например, от 1 до K ). K -мерное категориальное распределение является наиболее общим распределением для события с K -путями; любое другое дискретное распределение в пространстве выборки размером K является особым случаем. Параметры, задающие вероятности каждого возможного результата, ограничены только тем фактом, что каждый из них должен находиться в диапазоне от 0 до 1, и все они должны в сумме давать 1.

Категориальное распределение является обобщением распределения Бернулли для категориальной случайной величины, т. е. для дискретной переменной с более чем двумя возможными результатами, например, броском игральной кости . С другой стороны, категориальное распределение является частным случаем полиномиального распределения , поскольку оно дает вероятности потенциальных результатов одного розыгрыша, а не нескольких розыгрышей.

Терминология

Иногда категориальное распределение называют «дискретным распределением». Однако это относится не к одному конкретному семейству распределений, а к общему классу распределений .

В некоторых областях, таких как машинное обучение и обработка естественного языка , категориальное и полиномиальное распределения смешиваются, и принято говорить о «полиномиальном распределении», когда более точным было бы «категориальное распределение». ^[2] Такое неточное использование происходит из того факта, что иногда удобно выражать результат категориального распределения как вектор «1 из K » (вектор с одним элементом, содержащим 1, и всеми остальными элементами, содержащими 0), а не как целое число в диапазоне от 1 до K ; в этой форме категориальное распределение эквивалентно полиномиальному распределению для одного наблюдения (см. ниже).

Однако смешение категориального и полиномиального распределений может привести к проблемам. Например, в распределении Дирихле-полиномиала , которое обычно возникает в моделях обработки естественного языка (хотя обычно не с таким названием) в результате свернутой выборки Гиббса , где распределения Дирихле свернуты из иерархической байесовской модели , очень важно отличать категориальное от полиномиального. Совместное распределение тех же переменных с тем же распределением Дирихле-полиномиала имеет две разные формы в зависимости от того, характеризуется ли оно как распределение, область определения которого находится над отдельными категориальными узлами или над полиномиальными числами узлов в каждой конкретной категории (аналогично различию между набором распределенных Бернулли узлов и одним биномиально-распределенным узлом). Обе формы имеют очень похожие на вид функции вероятностной массы (PMF), которые обе ссылаются на полиномиальные числа узлов в категории. Однако в PMF полиномиального стиля есть дополнительный фактор, полиномиальный коэффициент , который является константой, равной 1 в PMF категориального стиля. Перепутывание этих двух факторов может легко привести к неверным результатам в условиях, где этот дополнительный фактор не является постоянным относительно интересующих распределений. Фактор часто является постоянным в полных условных выражениях, используемых в выборке Гиббса и оптимальных распределениях в вариационных методах .

Формулирование распределений

Категориальное распределение — это дискретное распределение вероятностей, выборочное пространство которого представляет собой набор из k индивидуально идентифицированных элементов. Это обобщение распределения Бернулли для категориальной случайной величины.

В одной из формулировок распределения пространство выборки берется как конечная последовательность целых чисел. Точные целые числа, используемые в качестве меток, не важны; они могут быть {0, 1, ..., k  − 1} или {1, 2, ..., k } или любым другим произвольным набором значений. В следующих описаниях мы используем {1, 2, ..., k } для удобства, хотя это не согласуется с соглашением для распределения Бернулли , которое использует {0, 1}. В этом случае функция массы вероятности f имеет вид:

${\displaystyle f(x=i\mid {\boldsymbol {p}})=p_{i},}$

где , представляет вероятность увидеть элемент i и . ${\displaystyle {\boldsymbol {p}}=(p_{1},\ldots ,p_{k})}$ ${\displaystyle p_{i}}$ ${\displaystyle \textstyle {\sum _{i=1}^{k}p_{i}=1}}$

Другая формулировка, которая кажется более сложной, но облегчает математические манипуляции, выглядит следующим образом, с использованием скобки Айверсона : ^[3]

${\displaystyle f(x\mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{[x=i]},}$

где оценивается как 1, если , 0 в противном случае. Есть различные преимущества этой формулировки, например: ${\displaystyle [x=i]}$ ${\displaystyle x=i}$

• Проще записать функцию правдоподобия набора независимых одинаково распределенных категориальных переменных.
• Он связывает категориальное распределение с соответствующим ему полиномиальным распределением .
• Он показывает, почему распределение Дирихле является сопряженным априорным распределением категориального распределения, и позволяет рассчитать апостериорное распределение параметров.

Еще одна формулировка делает явной связь между категориальным и полиномиальным распределениями , рассматривая категориальное распределение как частный случай полиномиального распределения, в котором параметр n полиномиального распределения (количество выбранных элементов) фиксирован и равен 1. В этой формулировке выборочное пространство можно рассматривать как набор 1-из- K кодированных ^[4] случайных векторов x размерности k, имеющих свойство, что ровно один элемент имеет значение 1, а остальные имеют значение 0. Конкретный элемент, имеющий значение 1, указывает, какая категория была выбрана. Функция массы вероятности f в этой формулировке имеет вид:

${\displaystyle f(\mathbf {x} \mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{x_{i}},}$

где представляет вероятность увидеть элемент i и . Это формулировка, принятая Бишопом . ^{[4] [примечание 1]} ${\displaystyle p_{i}}$ ${\displaystyle \textstyle {\sum _{i}p_{i}=1}}$

Характеристики

Возможные вероятности для категориального распределения с являются 2-симплексом , вложенным в 3-пространство. ${\displaystyle k=3}$ ${\displaystyle p_{1}+p_{2}+p_{3}=1}$

• Распределение полностью задается вероятностями, связанными с каждым числом i : , i = 1,..., k , где . Возможные наборы вероятностей в точности соответствуют тем, что имеются в стандартном -мерном симплексе ; для k = 2 это сводится к возможным вероятностям распределения Бернулли, являющегося 1-симплексом, ${\displaystyle p_{i}=P(X=i)}$ ${\displaystyle \textstyle {\sum _{i}p_{i}=1}}$ ${\displaystyle (k-1)}$ ${\displaystyle p_{1}+p_{2}=1,0\leq p_{1},p_{2}\leq 1.}$
• Распределение является частным случаем «многомерного распределения Бернулли» ^[5], в котором ровно одна из k 0-1 переменных принимает значение единица.
• ${\displaystyle \operatorname {E} \left[\mathbf {x} \right]={\boldsymbol {p}}}$
• Пусть будет реализацией категориального распределения. Определим случайный вектор Y как состоящий из элементов: ${\displaystyle {\boldsymbol {X}}}$

${\displaystyle Y_{i}=I({\boldsymbol {X}}=i),}$

где I — индикаторная функция . Тогда Y имеет распределение, которое является частным случаем полиномиального распределения с параметром . Сумма независимых и одинаково распределенных таких случайных величин Y, построенная из категориального распределения с параметром , полиномиально распределена с параметрами и ${\displaystyle n=1}$ ${\displaystyle n}$ ${\displaystyle {\boldsymbol {p}}}$ ${\displaystyle n}$ ${\displaystyle {\boldsymbol {p}}.}$

• Сопряженное априорное распределение категориального распределения является распределением Дирихле . ^[2] Более подробное обсуждение см. в разделе ниже.
• Достаточная статистика из n независимых наблюдений — это набор подсчетов (или, что то же самое, доля) наблюдений в каждой категории, где общее число испытаний (= n ) фиксировано.
• Индикаторная функция наблюдения, имеющего значение i , эквивалентная скобочной функции Айверсона или дельта -функции Кронекера, распределена по закону Бернулли с параметром ${\displaystyle [x=i]}$ ${\displaystyle \delta _{xi},}$ ${\displaystyle p_{i}.}$

Байесовский вывод с использованием сопряженного априорного распределения

В байесовской статистике распределение Дирихле является сопряженным априорным распределением категориального распределения (а также мультиномиального распределения ). Это означает, что в модели, состоящей из точки данных, имеющей категориальное распределение с неизвестным вектором параметров p , и (в стандартном байесовском стиле) мы решаем рассматривать этот параметр как случайную величину и даем ему априорное распределение, определенное с помощью распределения Дирихле , тогда апостериорное распределение параметра после включения знаний, полученных из наблюдаемых данных, также является распределением Дирихле. Интуитивно, в таком случае, начиная с того, что известно о параметре до наблюдения точки данных, знания затем могут быть обновлены на основе точки данных, что даст новое распределение той же формы, что и старое. Таким образом, знания о параметре могут быть последовательно обновлены путем включения новых наблюдений по одному за раз, не сталкиваясь с математическими трудностями.

Формально это можно выразить следующим образом. Дана модель

${\displaystyle {\begin{array}{lclcl}{\boldsymbol {\alpha }}&=&(\alpha _{1},\ldots ,\alpha _{K})&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&(p_{1},\ldots ,p_{K})&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&(x_{1},\ldots ,x_{N})&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

то справедливо следующее: ^[2]

${\displaystyle {\begin{array}{lclcl}\mathbf {c} &=&(c_{1},\ldots ,c_{K})&=&{\text{number of occurrences of category }}i,{\text{ so that }}c_{i}=\sum _{j=1}^{N}[x_{j}=i]\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} (K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K})\end{array}}}$

Это отношение используется в байесовской статистике для оценки базового параметра p категориального распределения, заданного набором из N образцов. Интуитивно мы можем рассматривать гиперприорный вектор α как псевдосчетчики , т.е. как представляющий количество наблюдений в каждой категории, которые мы уже видели. Затем мы просто добавляем счетчики для всех новых наблюдений (вектор c ), чтобы вывести апостериорное распределение.

Дальнейшая интуиция исходит из ожидаемого значения апостериорного распределения (см. статью о распределении Дирихле ):

${\displaystyle \operatorname {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}]={\frac {c_{i}+\alpha _{i}}{N+\sum _{k}\alpha _{k}}}}$

Это говорит о том, что ожидаемая вероятность увидеть категорию i среди различных дискретных распределений, сгенерированных апостериорным распределением, просто равна доле появлений этой категории, фактически увиденных в данных, включая псевдосчетчики в априорном распределении. Это имеет большой интуитивный смысл: если, например, есть три возможных категории, и категория 1 видна в наблюдаемых данных в 40% случаев, можно было бы ожидать, что в среднем будет видна категория 1 в 40% случаев и в апостериорном распределении.

(Эта интуиция игнорирует эффект априорного распределения. Кроме того, апостериорное распределение является распределением распределений . Апостериорное распределение в целом описывает рассматриваемый параметр, и в этом случае сам параметр является дискретным распределением вероятностей , т. е. фактическим категориальным распределением, которое сгенерировало данные. Например, если в наблюдаемых данных присутствуют 3 категории в соотношении 40:5:55, то, игнорируя эффект априорного распределения, можно было бы ожидать, что истинный параметр — т. е. истинное, базовое распределение, которое сгенерировало наши наблюдаемые данные — будет иметь среднее значение (0,40,0,05,0,55), что и показывает апостериорное распределение. Однако истинное распределение может быть на самом деле (0,35,0,07,0,58) или (0,42,0,04,0,54) или различными другими близкими возможностями. Количество неопределенности, вовлеченное здесь, определяется дисперсией апостериорного распределения, которая контролируется общим числом наблюдений — чем больше наблюдаемых данных, тем (Меньше неопределенности относительно истинного параметра.)

(Технически, априорный параметр на самом деле следует рассматривать как представляющий априорные наблюдения категории . Затем обновленный апостериорный параметр представляет апостериорные наблюдения. Это отражает тот факт, что распределение Дирихле с имеет совершенно плоскую форму — по сути, равномерное распределение по симплексу возможных значений p . Логически, плоское распределение такого рода представляет собой полное невежество, соответствующее отсутствию каких-либо наблюдений. Однако математическое обновление апостериорного параметра работает отлично, если мы игнорируем этот термин и просто думаем о векторе α как о непосредственном представлении набора псевдосчетчиков. Более того, это позволяет избежать проблемы интерпретации значений меньше 1.) ${\displaystyle \alpha _{i}}$ ${\displaystyle \alpha _{i}-1}$ ${\displaystyle i}$ ${\displaystyle c_{i}+\alpha _{i}}$ ${\displaystyle c_{i}+\alpha _{i}-1}$ ${\displaystyle {\boldsymbol {\alpha }}=(1,1,\ldots )}$ ${\displaystyle \cdots -1}$ ${\displaystyle \alpha _{i}}$

Оценка MAP

Максимальная апостериорная оценка параметра p в приведенной выше модели представляет собой просто моду апостериорного распределения Дирихле , т.е. ^[2]

${\displaystyle \operatorname {arg\,max} \limits _{\mathbf {p} }p(\mathbf {p} \mid \mathbb {X} )={\frac {\alpha _{i}+c_{i}-1}{\sum _{i}(\alpha _{i}+c_{i}-1)}},\qquad \forall i\;\alpha _{i}+c_{i}>1}$

Во многих практических приложениях единственный способ гарантировать условие , — это установить для всех i . ${\displaystyle \forall i\;\alpha _{i}+c_{i}>1}$ ${\displaystyle \alpha _{i}>1}$

Незначительная вероятность

В приведенной выше модели предельное правдоподобие наблюдений (т.е. совместное распределение наблюдений с исключенным априорным параметром ) представляет собой распределение Дирихле-мультиномиума : ^[2]

${\displaystyle {\begin{aligned}p(\mathbb {X} \mid {\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p(\mathbb {X} \mid \mathbf {p} )p(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} \\&={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(N+\sum _{k}\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (c_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}\end{aligned}}}$

Это распределение играет важную роль в иерархических байесовских моделях , поскольку при выводе выводов по таким моделям с использованием таких методов, как выборка Гиббса или вариационный Байес , априорные распределения Дирихле часто оказываются не у дел. Подробнее см. статью об этом распределении .

Апостериорное предсказательное распределение

Апостериорное предсказательное распределение нового наблюдения в приведенной выше модели — это распределение, которое новое наблюдение приняло бы при заданном наборе из N категориальных наблюдений. Как показано в статье о Дирихле-мультиномиальном распределении , оно имеет очень простую форму: ^[2] ${\displaystyle {\tilde {x}}}$ ${\displaystyle \mathbb {X} }$

${\displaystyle {\begin{aligned}p({\tilde {x}}=i\mid \mathbb {X} ,{\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p({\tilde {x}}=i\mid \mathbf {p} )\,p(\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }})\,{\textrm {d}}\mathbf {p} \\&=\,{\frac {c_{i}+\alpha _{i}}{N+\sum _{k}\alpha _{k}}}\\&=\,\mathbb {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}]\\&\propto \,c_{i}+\alpha _{i}.\\\end{aligned}}}$

Между этой формулой и предыдущими существуют различные соотношения:

• Апостериорная предиктивная вероятность увидеть определенную категорию совпадает с относительной долей предыдущих наблюдений в этой категории (включая псевдонаблюдения априорных наблюдений). Это имеет логический смысл — интуитивно мы ожидаем увидеть определенную категорию в соответствии с частотой, уже наблюдаемой для этой категории.
• Апостериорная предсказательная вероятность совпадает с ожидаемым значением апостериорного распределения. Это более подробно объясняется ниже.
• В результате эту формулу можно выразить просто как «апостериорная прогностическая вероятность увидеть категорию пропорциональна общему наблюдаемому количеству этой категории» или как « ожидаемое количество категории равно общему наблюдаемому количеству этой категории», где «наблюдаемое количество» подразумевает включение псевдонаблюдений априорного количества.

Причина эквивалентности между апостериорной предсказательной вероятностью и ожидаемым значением апостериорного распределения p становится очевидной при повторном рассмотрении приведенной выше формулы. Как поясняется в статье о апостериорном предсказательном распределении , формула для апостериорной предсказательной вероятности имеет форму ожидаемого значения, взятого относительно апостериорного распределения:

${\displaystyle {\begin{aligned}p({\tilde {x}}=i\mid \mathbb {X} ,{\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p({\tilde {x}}=i\mid \mathbf {p} )\,p(\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }})\,{\textrm {d}}\mathbf {p} \\&=\,\operatorname {E} _{\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}}\left[p({\tilde {x}}=i\mid \mathbf {p} )\right]\\&=\,\operatorname {E} _{\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}}\left[p_{i}\right]\\&=\,\operatorname {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}].\end{aligned}}}$

Решающая строка выше — третья. Вторая напрямую следует из определения ожидаемого значения. Третья строка относится к категориальному распределению и следует из того факта, что в категориальном распределении, в частности, ожидаемое значение наблюдения конкретного значения i напрямую указывается связанным параметром p _i . Четвертая строка — это просто переписывание третьей в другой нотации, с использованием нотации выше для ожидания, взятого по отношению к апостериорному распределению параметров.

Наблюдайте точки данных одну за другой и каждый раз рассматривайте их прогностическую вероятность перед наблюдением точки данных и обновлением апостериорной вероятности. Для любой заданной точки данных вероятность того, что эта точка примет заданную категорию, зависит от количества точек данных, уже находящихся в этой категории. В этом сценарии, если категория имеет высокую частоту появления, то новые точки данных с большей вероятностью присоединятся к этой категории — еще больше обогащая ту же категорию. Этот тип сценария часто называют моделью предпочтительного присоединения (или «богатые становятся еще богаче»). Она моделирует многие процессы реального мира, и в таких случаях выбор, сделанный первыми несколькими точками данных, оказывает огромное влияние на остальные точки данных.

Апостериорное условное распределение

В выборке Гиббса обычно необходимо извлекать данные из условных распределений в многомерных байесовских сетях , где каждая переменная обусловлена ​​всеми остальными. В сетях, которые включают категориальные переменные с априорными значениями Дирихле (например, модели смесей и модели, включающие компоненты смесей), распределения Дирихле часто «сворачиваются» ( выводятся из сети), что вводит зависимости между различными категориальными узлами, зависящими от заданного априорного значения (в частности, их совместное распределение является распределением Дирихле-мультиномиума ). Одна из причин для этого заключается в том, что в таком случае распределение одного категориального узла с учетом других является в точности апостериорным предсказательным распределением оставшихся узлов.

То есть, для набора узлов , если рассматриваемый узел обозначен как , а остаток как , то ${\displaystyle \mathbb {X} }$ ${\displaystyle x_{n}}$ ${\displaystyle \mathbb {X} ^{(-n)}}$

${\displaystyle {\begin{aligned}p(x_{n}=i\mid \mathbb {X} ^{(-n)},{\boldsymbol {\alpha }})&=\,{\frac {c_{i}^{(-n)}+\alpha _{i}}{N-1+\sum _{i}\alpha _{i}}}&\propto \,c_{i}^{(-n)}+\alpha _{i}\end{aligned}}}$

где — количество узлов, имеющих категорию i, среди узлов, отличных от узла n . ${\displaystyle c_{i}^{(-n)}}$

Отбор проб

Существует ряд методов , но наиболее распространенный способ выборки из категориального распределения использует тип выборки с обратным преобразованием :

Предположим, что распределение выражено как "пропорциональное" некоторому выражению с неизвестной нормализующей константой . Перед взятием образцов подготавливаются некоторые значения следующим образом:

1. Вычислите ненормализованное значение распределения для каждой категории.
2. Сложите их и разделите каждое значение на эту сумму, чтобы нормализовать их.
3. Установите некоторый порядок для категорий (например, с помощью индекса от 1 до k , где k — количество категорий).
4. Преобразуйте значения в кумулятивную функцию распределения (CDF), заменив каждое значение суммой всех предыдущих значений. Это можно сделать за время O(k) . Результирующее значение для первой категории будет равно 0.

Затем, каждый раз необходимо производить выборку значения:

1. Выберите равномерно распределенное число от 0 до 1.
2. Найдите наибольшее число в CDF, значение которого меньше или равно только что выбранному числу. Это можно сделать за время O(log(k)) с помощью бинарного поиска .
3. Верните категорию, соответствующую данному значению CDF.

Если необходимо извлечь много значений из одного и того же категориального распределения, более эффективен следующий подход. Он извлекает n выборок за время O(n) (предполагая, что для извлечения значений из биномиального распределения используется приближение O(1) ^[6] ).

функция draw_categorical(n) // где n — количество выборок, которые нужно извлечь из категориального распределения г = 1 с = 0 для i от 1 до k // где k — количество категорий v = извлечь из биномиального (n, p[i] / r) распределения // где p[i] — вероятность категории i для j от 1 до v z[s++] = i // где z — массив, в котором хранятся результаты н = н - в г = г - р[я] перетасовать (случайным образом переупорядочить) элементы в z возвращение z

Выборка по распределению Гумбеля

В машинном обучении обычно параметризуют категориальное распределение с помощью неограниченного представления в , компоненты которого задаются следующим образом: ${\displaystyle p_{1},\ldots ,p_{k}}$ ${\displaystyle \mathbb {R} ^{k}}$

${\displaystyle \gamma _{i}=\log p_{i}+\alpha }$

где — любая действительная константа. При таком представлении можно восстановить с помощью функции softmax , которую затем можно отобрать с помощью описанных выше методов. Однако существует более прямой метод выборки, который использует выборки из распределения Гумбеля . ^[7] Пусть k независимых выборок из стандартного распределения Гумбеля, тогда ${\displaystyle \alpha }$ ${\displaystyle p_{1},\ldots ,p_{k}}$ ${\displaystyle g_{1},\ldots ,g_{k}}$

${\displaystyle c=\operatorname {arg\,max} \limits _{i}\left(\gamma _{i}+g_{i}\right)}$

будет выборкой из желаемого категориального распределения. (Если — выборка из стандартного равномерного распределения , то — выборка из стандартного распределения Гумбеля.) ${\displaystyle u_{i}}$ ${\displaystyle g_{i}=-\log(-\log u_{i})}$

Смотрите также

• Категориальная переменная

Связанные дистрибутивы

• Распределение Дирихле
• Мультиномиальное распределение
• Распределение Бернулли
• Дирихле-мультиномиальное распределение

Примечания

1. Однако Бишоп явно не использует термин «категориальное распределение».

Ссылки

1. Мерфи, К. П. (2012). Машинное обучение: вероятностная перспектива , стр. 35. MIT press. ISBN  0262018020 .
2. Минка, Т. (2003) Байесовский вывод, энтропия и мультиномиальное распределение. Технический отчет Microsoft Research.
3. Минка, Т. (2003), цит. соч. Минка использует дельта- функцию Кронекера, похожую на скобку Айверсона , но менее общую .
4. Bishop, C. (2006) Распознавание образов и машинное обучение , Springer. ISBN 0-387-31073-8 . 
5. Джонсон, Н. Л., Коц, С., Балакришнан, Н. (1997) Дискретные многомерные распределения , Wiley. ISBN 0-471-12844-9 (стр. 105) 
6. Агрести, А., Введение в категориальный анализ данных, Wiley-Interscience, 2007, ISBN 978-0-471-22618-5 , стр. 25 
7. Адамс, Райан. «Прием Гамбеля–Макса для дискретных распределений».