Усеченное нормальное распределение

Тип распределения вероятностей

В теории вероятности и статистике усеченное нормальное распределение — это распределение вероятностей, полученное из распределения нормально распределенной случайной величины путем ограничения случайной величины снизу или сверху (или того и другого). Усеченное нормальное распределение имеет широкое применение в статистике и эконометрике .

Определения

Предположим , имеет нормальное распределение со средним значением и дисперсией и лежит в пределах интервала . Тогда условное значение имеет усеченное нормальное распределение. ${\displaystyle X}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle (a,b),{\text{with}}\;-\infty \leq a<b\leq \infty }$ ${\displaystyle X}$ ${\displaystyle a<X<b}$

Его функция плотности вероятности , , для , определяется выражением ${\displaystyle f}$ ${\displaystyle a\leq x\leq b}$

$${\displaystyle f(x;\mu ,\sigma ,a,b)={\frac {1}{\sigma }}\,{\frac {\varphi ({\frac {x-\mu }{\sigma }})}{\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}}}$$

и иначе. ${\displaystyle f=0}$

Здесь,

$${\displaystyle \varphi (\xi )={\frac {1}{\sqrt {2\pi }}}\exp \left(-{\frac {1}{2}}\xi ^{2}\right)}$$

нормального распределениякумулятивная функция распределения. ${\displaystyle \Phi (\cdot )}$

$${\displaystyle \Phi (x)={\frac {1}{2}}\left(1+\operatorname {erf} (x/{\sqrt {2}})\right).}$$

${\displaystyle b=\infty }$ ${\displaystyle \Phi \left({\tfrac {b-\mu }{\sigma }}\right)=1}$ ${\displaystyle a=-\infty }$ ${\displaystyle \Phi \left({\tfrac {a-\mu }{\sigma }}\right)=0}$

Приведенные выше формулы показывают, что при масштабном параметре усеченного нормального распределения допускается принимать отрицательные значения. Параметр в данном случае мнимый, но функция тем не менее действительная, положительная и нормируемая. Параметр масштаба неусеченного нормального распределения должен быть положительным, поскольку в противном случае распределение не поддавалось бы нормализации. С другой стороны, дважды усеченное нормальное распределение в принципе может иметь отрицательный масштабный параметр (который отличается от дисперсии, см. сводные формулы), поскольку в ограниченной области такие проблемы интегрируемости не возникают. В этом случае распределение, конечно, нельзя интерпретировать как неусеченное нормальное условное выражение на , но все же можно интерпретировать как распределение максимальной энтропии с первым и вторым моментами в качестве ограничений, и оно имеет дополнительную особенность: вместо этого оно представляет два локальных максимума. из одного, расположенного по адресу и . ${\displaystyle -\infty <a<b<+\infty }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \sigma }$ ${\displaystyle f}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle a<X<b}$ ${\displaystyle x=a}$ ${\displaystyle x=b}$

Характеристики

Усеченное нормальное — это одно из двух возможных распределений вероятностей максимальной энтропии для фиксированного среднего и дисперсии, ограниченной интервалом [a,b], второе — усеченное U. ^[2] Усеченные нормали с фиксированной опорой образуют экспоненциальное семейство. Нильсен ^[3] сообщил о формуле закрытой формы для расчета расхождения Кульбака-Лейблера и расстояния Бхаттачарьи между двумя усеченными нормальными распределениями с поддержкой первого распределения, вложенной в поддержку второго распределения.

Моменты

Если случайная величина была усечена только снизу, некоторая вероятностная масса была сдвинута к более высоким значениям, что дало стохастически доминирующее распределение первого порядка и, следовательно, увеличило среднее значение до значения, превышающего среднее значение исходного нормального распределения. Аналогично, если случайная величина была усечена только сверху, усеченное распределение имеет среднее значение меньше, чем ${\displaystyle \mu }$ ${\displaystyle \mu .}$

Независимо от того, ограничена ли случайная величина сверху, снизу или и то, и другое, усечение представляет собой сокращение, сохраняющее среднее значение , в сочетании с жестким сдвигом, изменяющим среднее значение, и, следовательно, дисперсия усеченного распределения меньше, чем дисперсия исходного нормального распределения. . ${\displaystyle \sigma ^{2}}$

Двустороннее усечение ^[4]

Пусть и . Затем: ${\displaystyle \alpha =(a-\mu )/\sigma }$ ${\displaystyle \beta =(b-\mu )/\sigma }$

$${\displaystyle \operatorname {E} (X\mid a<X<b)=\mu -\sigma {\frac {\varphi (\beta )-\varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}}$$

$${\displaystyle \operatorname {Var} (X\mid a<X<b)=\sigma ^{2}\left[1-{\frac {\beta \varphi (\beta )-\alpha \varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}-\left({\frac {\varphi (\beta )-\varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}\right)^{2}\right]}$$

Необходимо соблюдать осторожность при числовом вычислении этих формул, поскольку это может привести к катастрофическому сокращению, если интервал не включает . Есть более эффективные способы их переписать, чтобы избежать этой проблемы. ^[5] ${\displaystyle [a,b]}$ ${\displaystyle \mu }$

Одностороннее усечение (нижнего хвоста) ^[6]

В этом случае тогда ${\displaystyle \;b=\infty ,\;\varphi (\beta )=0,\;\Phi (\beta )=1,}$

$${\displaystyle \operatorname {E} (X\mid X>a)=\mu +\sigma \varphi (\alpha )/Z,\!}$$

и

$${\displaystyle \operatorname {Var} (X\mid X>a)=\sigma ^{2}[1+\alpha \varphi (\alpha )/Z-(\varphi (\alpha )/Z)^{2}],}$$

где ${\displaystyle Z=1-\Phi (\alpha ).}$

Одностороннее усечение (верхнего хвоста)

В этом случае тогда ${\displaystyle \;a=\alpha =-\infty ,\;\varphi (\alpha )=0,\;\Phi (\alpha )=0,}$

$${\displaystyle \operatorname {E} (X\mid X<b)=\mu -\sigma {\frac {\varphi (\beta )}{\Phi (\beta )}},}$$

$${\displaystyle \operatorname {Var} (X\mid X<b)=\sigma ^{2}\left[1-\beta {\frac {\varphi (\beta )}{\Phi (\beta )}}-\left({\frac {\varphi (\beta )}{\Phi (\beta )}}\right)^{2}\right].}$$

Барр и Шеррилл (1999) дают более простое выражение для дисперсии односторонних сокращений. Их формула выражается в виде CDF хи-квадрат, который реализован в стандартных библиотеках программного обеспечения. Бебу и Мэтью (2009) предоставляют формулы для (обобщенных) доверительных интервалов вокруг усеченных моментов.

Рекурсивная формула

Что касается неусеченного случая, то для усеченных моментов существует рекуррентная формула. ^[7]

Многомерный

Вычислить моменты многомерной усеченной нормали сложнее.

Генерация значений из усеченного нормального распределения

Случайная величина, определенная как кумулятивная функция распределения и ее обратная функция, равномерное случайное число на , соответствует распределению, усеченному до диапазона . Это просто метод обратного преобразования для моделирования случайных величин. Хотя этот метод является одним из самых простых, он может либо дать сбой при выборке в хвосте нормального распределения ^[8] , либо оказаться слишком медленным. ^[9] Таким образом, на практике приходится искать альтернативные методы моделирования. ${\displaystyle x}$ ${\displaystyle x=\Phi ^{-1}(\Phi (\alpha )+U\cdot (\Phi (\beta )-\Phi (\alpha )))\sigma +\mu }$ ${\displaystyle \Phi }$ ${\displaystyle \Phi ^{-1}}$ ${\displaystyle U}$ ${\displaystyle (0,1)}$ ${\displaystyle (a,b)}$

Один из таких усеченных нормальных генераторов (реализованных в Matlab и R (язык программирования) как trandn.R ) основан на идее отказа от принятия, предложенной Марсальей. ^[10] Несмотря на несколько неоптимальную скорость принятия Марсальи (1964) по сравнению с Робертом (1995), метод Марсальи обычно быстрее, ^[9] потому что он не требует дорогостоящей численной оценки экспоненциальной функции.

Подробнее о моделировании усеченного нормального распределения см. Robert (1995), Lynch (2007), Devroye (1986). В пакете MSM в R есть функция rtnorm, которая вычисляет отрисовку на основе усеченной нормали. Пакет truncnorm в R также имеет функции для рисования усеченной нормали.

Шопен (2011) предложил (arXiv) алгоритм, вдохновленный алгоритмом Зиккурата Марсальи и Цанга (1984, 2000), который обычно считается самым быстрым гауссовским сэмплером, а также очень близок к алгоритму Аренса (1995). Реализации можно найти на C, C++, Matlab и Python.

Выборка из многомерного усеченного нормального распределения значительно сложнее. ^[11] Точное или идеальное моделирование возможно только в случае усечения нормального распределения до многогранной области. ^{[11] [12]} В более общих случаях Дэмиен и Уокер (2001) представляют общую методологию выборки усеченных плотностей в рамках системы выборки Гиббса . Их алгоритм вводит одну скрытую переменную и в рамках системы выборки Гиббса он более эффективен в вычислительном отношении, чем алгоритм Роберта (1995).

Смотрите также

• Свернутое нормальное распределение
• Полунормальное распределение
• Модифицированное полунормальное распределение ^[13] с PDF на имеет вид , где обозначает пси-функцию Фокса–Райта . ${\displaystyle (0,\infty )}$ ${\displaystyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}x^{\alpha -1}\exp(-\beta x^{2}+\gamma x)}{\Psi {\left({\frac {\alpha }{2}},{\frac {\gamma }{\sqrt {\beta }}}\right)}}}}$ ${\displaystyle \Psi (\alpha ,z)={}_{1}\Psi _{1}\left({\begin{matrix}\left(\alpha ,{\frac {1}{2}}\right)\\(1,0)\end{matrix}};z\right)}$
• Нормальное распределение
• Выпрямленное распределение Гаусса
• Усеченное распространение
• Распределение PERT

Примечания

1. «Лекция 4: Выбор» (PDF) . web.ist.utl.pt. _ Высший технический институт . 11 ноября 2002 г. с. 1 . Проверено 14 июля 2015 г.
2. Доусон, Д.; Рэгг, А. (сентябрь 1973 г.). «Распределения максимальной энтропии с заданными первым и вторым моментами (Корресп.)». Транзакции IEEE по теории информации . 19 (5): 689–693. дои : 10.1109/TIT.1973.1055060. ISSN  1557-9654.
3. Фрэнк Нильсен (2022). «Статистические расхождения между плотностями усеченных экспоненциальных семейств с вложенными носителями: расхождения дуэта Брегмана и дуэта Дженсена». Энтропия . МДПИ. 24 (3): 421. Бибкод : 2022Entrp..24..421N. дои : 10.3390/e24030421 . ПМЦ 8947456 . ПМИД  35327931. 
4. Джонсон, Норман Ллойд; Коц, Сэмюэл; Балакришнан, Н. (1994). Непрерывные одномерные распределения. Том. 1 (2-е изд.). Нью-Йорк: Уайли. Раздел 10.1. ISBN 0-471-58495-9. ОСЛК  29428092.
5. Фернандес-де-Коссио-Диас, Хорхе (06 декабря 2017 г.), TruncatedNormal.jl: Вычисление среднего значения и дисперсии одномерного усеченного нормального распределения (работает вдали от пика) , получено 6 декабря 2017 г.
6. Грин, Уильям Х. (2003). Эконометрический анализ (5-е изд.). Прентис Холл. ISBN 978-0-13-066189-0.
7. Документ Эрика Орджебина, «https://people.smp.uq.edu.au/YoniNazarathy/teaching_projects/studentWork/EricOrjebin_TruncatedNormalMoments.pdf»
8. Крозе, ДП ; Таймре, Т.; Ботев, З.И. (2011). Справочник по методам Монте-Карло . Джон Уайли и сыновья.
9. Ботев, З.И.; Л'Экуйер, П. (2017). «Моделирование нормального распределения, усеченного до интервала в хвосте». 10-я Международная конференция EAI по методологиям и инструментам оценки эффективности . 25–28 октября 2016 г. Таормина, Италия: ACM. стр. 23–29. дои : 10.4108/eai.25-10-2016.2266879. ISBN 978-1-63190-141-6.{{cite conference}}: CS1 maint: location (link)
10. Марсалья, Джордж (1964). «Генерация переменной из хвоста нормального распределения». Технометрика . 6 (1): 101–102. дои : 10.2307/1266749. JSTOR  1266749.
11. Ботев, З.И. (2016). «Нормальный закон при линейных ограничениях: моделирование и оценка с помощью минимаксного наклона». Журнал Королевского статистического общества, серия B. 79 : 125–148. arXiv : 1603.04166 . дои : 10.1111/rssb.12162. S2CID  88515228.
12. Ботев, Здравко и Л'Экуйер, Пьер (2018). «Глава 8: Моделирование хвоста одномерного и многомерного нормального распределения». В Пулиафито, Антонио (ред.). Системное моделирование: методологии и инструменты. EAI/Springer Инновации в области связи и вычислений . Спрингер, Чам. стр. 115–132. дои : 10.1007/978-3-319-92378-9_8. ISBN 978-3-319-92377-2. S2CID  125554530.
13. Сунь, Цзинчао; Конг, Майинг; Пал, Субхадип (22 июня 2021 г.). «Модифицированное полунормальное распределение: свойства и эффективная схема выборки». Коммуникации в статистике - теория и методы . 52 (5): 1591–1613. дои : 10.1080/03610926.2021.1934700. ISSN  0361-0926. S2CID  237919587.

Рекомендации

• Ботев, Здравко и Л'Экуйер, Пьер (2018). «Глава 8: Моделирование хвоста одномерного и многомерного нормального распределения». В Пулиафито, Антонио (ред.). Системное моделирование: методологии и инструменты . EAI/Springer Инновации в области связи и вычислений. Спрингер, Чам. стр. 115–132. дои : 10.1007/978-3-319-92378-9_8. ISBN 978-3-319-92377-2. S2CID  125554530.
• Деврой, Люк (1986). Генерация неравномерных случайных переменных (PDF) . Нью-Йорк: Springer-Verlag. Архивировано из оригинала (PDF) 18 августа 2014 г. Проверено 12 апреля 2012 г.
• Грин, Уильям Х. (2003). Эконометрический анализ (5-е изд.) . Прентис Холл. ISBN 978-0-13-066189-0.
• Норман Л. Джонсон и Сэмюэл Коц (1970). Непрерывные одномерные распределения-1 , глава 13. John Wiley & Sons.
• Линч, Скотт (2007). Введение в прикладную байесовскую статистику и оценку для социологов. Нью-Йорк: Спрингер. ISBN 978-1-4419-2434-6.
• Роберт, Кристиан П. (1995). «Моделирование усеченных нормальных переменных». Статистика и вычисления . 5 (2): 121–125. arXiv : 0907.4010 . дои : 10.1007/BF00143942. S2CID  15943491.
• Барр, Дональд Р.; Шерилл, Э.Тодд (1999). «Среднее значение и дисперсия усеченного нормального распределения». Американский статистик . 53 (4): 357–361. дои : 10.1080/00031305.1999.10474490.
• Бебу, Ионут; Мэтью, Томас (2009). «Доверительные интервалы для ограниченных моментов и усеченных моментов в нормальных и логнормальных моделях». Статистика и вероятностные буквы . 79 (3): 375–380. дои : 10.1016/j.spl.2008.09.006.
• Дэмиен, Пол; Уокер, Стивен Г. (2001). «Отбор усеченных нормальных, бета- и гамма-плотностей». Журнал вычислительной и графической статистики . 10 (2): 206–215. дои : 10.1198/10618600152627906. S2CID  123156320.
• Шопен, Николя (01 апреля 2011 г.). «Быстрое моделирование усеченных гауссовских распределений». Статистика и вычисления . 21 (2): 275–288. arXiv : 1201.6140 . doi : 10.1007/s11222-009-9168-1. ISSN  1573-1375.
• Буркардт, Джон. «Усеченное нормальное распределение» (PDF) . Сайт Департамента научных вычислений . Университет штата Флорида . Проверено 15 февраля 2018 г.