Логит-нормальное распределение

Распределение вероятностей

В теории вероятностей логит -нормальное распределение — это распределение вероятностей случайной величины , логит которой имеет нормальное распределение . Если Y — случайная величина с нормальным распределением, а t — стандартная логистическая функция , то X  =  t ( Y ) имеет логит-нормальное распределение; аналогично, если X распределено логит-нормально, то Y  =  logit ( X )= log ( X /(1- X )) распределено нормально. Оно также известно как логистическое нормальное распределение , ^[1] которое часто относится к версии полиномиального логита (например, ^{[2] [3] [4]} ).

Переменная может быть смоделирована как логит-нормальная, если она представляет собой пропорцию, ограниченную нулем и единицей, и где значения нуля и единицы никогда не встречаются.

Характеристика

Функция плотности вероятности

Функция плотности вероятности (PDF) логарифмически-нормального распределения для 0 < x < 1 имеет вид:

${\displaystyle f_{X}(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,{\frac {1}{x(1-x)}}\,e^{-{\frac {(\operatorname {logit} (x)-\mu )^{2}}{2\sigma ^{2}}}}}$

где μ и σ — среднее значение и стандартное отклонение логита переменной (по определению логит переменной распределен нормально).

Плотность, полученная путем изменения знака μ, симметрична, поскольку она равна f(1-x;- μ , σ ), смещая моду в другую сторону от 0,5 (середина интервала (0,1)).

График логарифмически нормального распределения плотности вероятности для различных комбинаций μ (граней) и σ (цветов)

Моменты

Моменты логарифмически-нормального распределения не имеют аналитического решения. Моменты можно оценить с помощью численного интегрирования , однако численное интегрирование может быть недопустимым, когда значения таковы, что функция плотности расходится к бесконечности в конечных точках ноль и единица. Альтернативой является использование наблюдения, что логарифмически-нормальное распределение является преобразованием нормальной случайной величины. Это позволяет нам аппроксимировать -й момент с помощью следующей квазиоценки Монте-Карло ${\textstyle \mu ,\sigma ^{2}}$ ${\displaystyle n}$ ${\displaystyle E[X^{n}]\approx {\frac {1}{K-1}}\sum _{i=1}^{K-1}\left(P\left(\Phi _{\mu ,\sigma ^{2}}^{-1}(i/K)\right)\right)^{n},}$

где — стандартная логистическая функция, а — обратная кумулятивная функция распределения нормального распределения со средним значением и дисперсией . Когда , это соответствует среднему значению. ${\textstyle P}$ ${\textstyle \Phi _{\mu ,\sigma ^{2}}^{-1}}$ ${\textstyle \mu ,\sigma ^{2}}$ ${\displaystyle n=1}$

Режим или режимы

Когда производная плотности равна 0, то местоположение моды x удовлетворяет следующему уравнению:

${\displaystyle \operatorname {logit} (x)=\sigma ^{2}(2x-1)+\mu .}$

Для некоторых значений параметров существует два решения, т.е. распределение является бимодальным .

Многомерное обобщение

Логистическое нормальное распределение является обобщением логит-нормального распределения на D-мерные векторы вероятностей путем логистического преобразования многомерного нормального распределения. ^{[1] [5] [6]}

Функция плотности вероятности

Функция плотности вероятности имеет вид:

${\displaystyle f_{X}(\mathbf {x} ;{\boldsymbol {\mu }},{\boldsymbol {\Sigma }})={\frac {1}{|2\pi {\boldsymbol {\Sigma }}|^{\frac {1}{2}}}}\,{\frac {1}{\prod \limits _{i=1}^{D}x_{i}}}\,e^{-{\frac {1}{2}}\left\{\log \left({\frac {\mathbf {x} _{-D}}{x_{D}}}\right)-{\boldsymbol {\mu }}\right\}^{\top }{\boldsymbol {\Sigma }}^{-1}\left\{\log \left({\frac {\mathbf {x} _{-D}}{x_{D}}}\right)-{\boldsymbol {\mu }}\right\}}\quad ,\quad \mathbf {x} \in {\mathcal {S}}^{D}\;\;,}$

где обозначает вектор первых (D-1) компонентов и обозначает симплекс D-мерных векторов вероятностей. Это следует из применения аддитивного логистического преобразования для отображения многомерной нормальной случайной величины в симплекс: ${\displaystyle \mathbf {x} _{-D}}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle {\mathcal {S}}^{D}}$ ${\displaystyle \mathbf {y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}\right)\;,\;\mathbf {y} \in \mathbb {R} ^{D-1}}$

${\displaystyle \mathbf {x} =\left[{\frac {e^{y_{1}}}{1+\sum _{i=1}^{D-1}e^{y_{i}}}},\dots ,{\frac {e^{y_{D-1}}}{1+\sum _{i=1}^{D-1}e^{y_{i}}}},{\frac {1}{1+\sum _{i=1}^{D-1}e^{y_{i}}}}\right]^{\top }}$

Гауссовские функции плотности и соответствующие им логистические нормальные функции плотности после логистического преобразования.

Уникальное обратное отображение задается формулой:

${\displaystyle \mathbf {y} =\left[\log \left({\frac {x_{1}}{x_{D}}}\right),\dots ,\log \left({\frac {x_{D-1}}{x_{D}}}\right)\right]^{\top }}$.

Это случай вектора x, компоненты которого в сумме дают единицу. В случае x с сигмоидальными элементами, то есть когда

${\displaystyle \mathbf {y} =\left[\log \left({\frac {x_{1}}{1-x_{1}}}\right),\dots ,\log \left({\frac {x_{D}}{1-x_{D}}}\right)\right]^{\top }}$

у нас есть

${\displaystyle f_{X}(\mathbf {x} ;{\boldsymbol {\mu }},{\boldsymbol {\Sigma }})={\frac {1}{|2\pi {\boldsymbol {\Sigma }}|^{\frac {1}{2}}}}\,{\frac {1}{\prod \limits _{i=1}^{D}\left(x_{i}(1-x_{i})\right)}}\,e^{-{\frac {1}{2}}\left\{\log \left({\frac {\mathbf {x} }{1-\mathbf {x} }}\right)-{\boldsymbol {\mu }}\right\}^{\top }{\boldsymbol {\Sigma }}^{-1}\left\{\log \left({\frac {\mathbf {x} }{1-\mathbf {x} }}\right)-{\boldsymbol {\mu }}\right\}}}$

где логарифм и деление в аргументе берутся поэлементно. Это происходит потому, что матрица Якоби преобразования диагональна с элементами . ${\displaystyle {\frac {1}{x_{i}(1-x_{i})}}}$

Использование в статистическом анализе

Логистическое нормальное распределение является более гибкой альтернативой распределению Дирихле , поскольку оно может улавливать корреляции между компонентами векторов вероятности. Оно также имеет потенциал для упрощения статистического анализа композиционных данных , позволяя отвечать на вопросы о логарифмических отношениях компонентов векторов данных. Часто интересуются отношениями, а не абсолютными значениями компонентов.

Симплекс вероятностей — это ограниченное пространство, что делает стандартные методы, которые обычно применяются к векторам в менее значимыми. Статистик Джон Эйчисон описал проблему ложных отрицательных корреляций при применении таких методов непосредственно к симплициальным векторам. ^[5] Однако отображение композиционных данных в посредством обратного аддитивного логистического преобразования дает действительные данные в . Стандартные методы могут быть применены к этому представлению данных. Этот подход оправдывает использование логистического нормального распределения, которое, таким образом, можно рассматривать как «гауссово распределение симплекса». ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle {\mathcal {S}}^{D}}$ ${\displaystyle \mathbb {R} ^{D-1}}$

Связь с распределением Дирихле

Логистическая нормальная аппроксимация распределения Дирихле

Распределения Дирихле и логистическое нормальное распределение никогда не бывают в точности равными при любом выборе параметров. Однако Эйтчисон описал метод аппроксимации Дирихле логистическим нормальным распределением, при котором их расхождение Кульбака–Лейблера (KL) минимизируется:

${\displaystyle K(p,q)=\int _{{\mathcal {S}}^{D}}p\left(\mathbf {x} \mid {\boldsymbol {\alpha }}\right)\log \left({\frac {p\left(\mathbf {x} \mid {\boldsymbol {\alpha }}\right)}{q\left(\mathbf {x} \mid {\boldsymbol {\mu }},{\boldsymbol {\Sigma }}\right)}}\right)\,d\mathbf {x} }$

Это минимизируется за счет:

${\displaystyle {\boldsymbol {\mu }}^{*}=\mathbf {E} _{p}\left[\log \left({\frac {\mathbf {x} _{-D}}{x_{D}}}\right)\right]\quad ,\quad {\boldsymbol {\Sigma }}^{*}={\textbf {Var}}_{p}\left[\log \left({\frac {\mathbf {x} _{-D}}{x_{D}}}\right)\right]}$

Используя моментные свойства распределения Дирихле, решение можно записать в терминах дигамма- и тригамма -функций: ${\displaystyle \psi }$ ${\displaystyle \psi '}$

${\displaystyle \mu _{i}^{*}=\psi \left(\alpha _{i}\right)-\psi \left(\alpha _{D}\right)\quad ,\quad i=1,\ldots ,D-1}$

${\displaystyle \Sigma _{ii}^{*}=\psi '\left(\alpha _{i}\right)+\psi '\left(\alpha _{D}\right)\quad ,\quad i=1,\ldots ,D-1}$

${\displaystyle \Sigma _{ij}^{*}=\psi '\left(\alpha _{D}\right)\quad ,\quad i\neq j}$

Это приближение особенно точно для больших . Фактически, можно показать, что для , мы имеем, что . ${\displaystyle {\boldsymbol {\alpha }}}$ ${\displaystyle \alpha _{i}\rightarrow \infty ,i=1,\ldots ,D}$ ${\displaystyle p\left(\mathbf {x} \mid {\boldsymbol {\alpha }}\right)\rightarrow q\left(\mathbf {x} \mid {\boldsymbol {\mu }}^{*},{\boldsymbol {\Sigma }}^{*}\right)}$

Смотрите также

• Бета-распределение и распределение Кумарасвами , другие двухпараметрические распределения на ограниченном интервале с похожими формами

Ссылки

1. Aitchison, J.; Shen, SM (1980). "Логистически-нормальные распределения: некоторые свойства и применение". Biometrika . 67 (2): 261. doi :10.2307/2335470. ISSN  0006-3444. JSTOR  2335470.
2. http://people.csail.mit.edu/tomasz/papers/huang_hln_tech_report_2006.pdf ^{[ пустой URL-адрес PDF ]}
3. Питер Хофф, 2003. Ссылка
4. «Логнормальная и логистическо-нормальная терминология — ИИ и социальные науки — Брендан О'Коннор». brenocon.com . Получено 18 апреля 2018 г. .
5. J. Atchison. "Статистический анализ композиционных данных". Монографии по статистике и прикладной теории вероятностей, Chapman and Hall, 1986. Книга
6. Хайнд, Джон (2011). «Логистическое нормальное распределение». В Lovric, Miodrag (ред.). Международная энциклопедия статистических наук . Springer. стр. 754–755. doi :10.1007/978-3-642-04898-2_342. ISBN 978-3-642-04897-5.

Дальнейшее чтение

• Фредерик, П. и Лад, Ф. (2008) Два момента логнормального распределения. Сообщения по статистике-Моделирование и вычисления . 37: 1263-1269
• Мид, Р. (1965). «Обобщенное логит-нормальное распределение». Биометрия . 21 (3): 721–732. doi :10.2307/2528553. JSTOR  2528553. PMID  5858101.

Внешние ссылки

• пакет logitnorm для R