распределение Лапласа

Распределение вероятностей

В теории вероятностей и статистике распределение Лапласа — это непрерывное распределение вероятностей, названное в честь Пьера-Симона Лапласа . Иногда его также называют двойным экспоненциальным распределением , поскольку его можно рассматривать как два экспоненциальных распределения (с дополнительным параметром местоположения), соединенных вместе вдоль оси абсцисс , хотя этот термин иногда используется для обозначения распределения Гумбеля . Разница между двумя независимыми одинаково распределенными экспоненциальными случайными величинами регулируется распределением Лапласа, как и броуновское движение, оцененное в экспоненциально распределенное случайное время ^{[ требуется ссылка ]} . Приращения движения Лапласа или процесса дисперсии гамма , оцененные по шкале времени, также имеют распределение Лапласа.

Определения

Функция плотности вероятности

Случайная величина имеет распределение , если ее функция плотности вероятности равна ${\displaystyle \operatorname {Laplace} (\mu ,b)}$

${\displaystyle f(x\mid \mu ,b)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right),}$

где — параметр местоположения , а , который иногда называют «разнообразием», — параметр масштаба . Если и , то положительная полупрямая — это в точности экспоненциальное распределение, масштабированное на 1/2. ${\displaystyle \mu }$ ${\displaystyle b>0}$ ${\displaystyle \mu =0}$ ${\displaystyle b=1}$

Функция плотности вероятности распределения Лапласа также напоминает нормальное распределение ; однако, в то время как нормальное распределение выражается через квадрат разности от среднего , плотность Лапласа выражается через абсолютную разность от среднего. Следовательно, распределение Лапласа имеет более толстые хвосты, чем нормальное распределение. Это особый случай обобщенного нормального распределения и гиперболического распределения . Непрерывные симметричные распределения, которые имеют экспоненциальные хвосты, как распределение Лапласа, но которые имеют функции плотности вероятности, дифференцируемые в моде, включают логистическое распределение , гиперболическое секансное распределение и распределение Чамперноуна . ${\displaystyle \mu }$

Кумулятивная функция распределения

Распределение Лапласа легко интегрируется ( если различать два симметричных случая) благодаря использованию функции абсолютного значения . Его кумулятивная функция распределения выглядит следующим образом:

${\displaystyle {\begin{aligned}F(x)&=\int _{-\infty }^{x}\!\!f(u)\,\mathrm {d} u={\begin{cases}{\frac {1}{2}}\exp \left({\frac {x-\mu }{b}}\right)&{\mbox{if }}x<\mu \\1-{\frac {1}{2}}\exp \left(-{\frac {x-\mu }{b}}\right)&{\mbox{if }}x\geq \mu \end{cases}}\\&={\tfrac {1}{2}}+{\tfrac {1}{2}}\operatorname {sgn}(x-\mu )\left(1-\exp \left(-{\frac {|x-\mu |}{b}}\right)\right).\end{aligned}}}$

Обратная кумулятивная функция распределения определяется как

${\displaystyle F^{-1}(p)=\mu -b\,\operatorname {sgn}(p-0.5)\,\ln(1-2|p-0.5|).}$

Характеристики

Моменты

${\displaystyle \mu _{r}'={\bigg (}{\frac {1}{2}}{\bigg )}\sum _{k=0}^{r}{\bigg [}{\frac {r!}{(r-k)!}}b^{k}\mu ^{(r-k)}\{1+(-1)^{k}\}{\bigg ]}.}$

Связанные дистрибутивы

• Если тогда . ${\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)}$ ${\displaystyle kX+c\sim {\textrm {Laplace}}(k\mu +c,|k|b)}$
• Если тогда . ${\displaystyle X\sim {\textrm {Laplace}}(0,1)}$ ${\displaystyle bX\sim {\textrm {Laplace}}(0,b)}$
• Если то ( экспоненциальное распределение ). ${\displaystyle X\sim {\textrm {Laplace}}(0,b)}$ ${\displaystyle \left|X\right|\sim {\textrm {Exponential}}\left(b^{-1}\right)}$
• Если тогда ． ${\displaystyle X,Y\sim {\textrm {Exponential}}(\lambda )}$ ${\displaystyle X-Y\sim {\textrm {Laplace}}\left(0,\lambda ^{-1}\right)}$
• Если тогда . ${\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)}$ ${\displaystyle \left|X-\mu \right|\sim {\textrm {Exponential}}(b^{-1})}$
• Если то ( экспоненциальное распределение мощности ). ${\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)}$ ${\displaystyle X\sim {\textrm {EPD}}(\mu ,b,1)}$
• Если ( нормальное распределение ), то и . ${\displaystyle X_{1},...,X_{4}\sim {\textrm {N}}(0,1)}$ ${\displaystyle X_{1}X_{2}-X_{3}X_{4}\sim {\textrm {Laplace}}(0,1)}$ ${\displaystyle (X_{1}^{2}-X_{2}^{2}+X_{3}^{2}-X_{4}^{2})/2\sim {\textrm {Laplace}}(0,1)}$
• Если то ( распределение хи-квадрат ). ${\displaystyle X_{i}\sim {\textrm {Laplace}}(\mu ,b)}$ ${\displaystyle {\frac {\displaystyle 2}{b}}\sum _{i=1}^{n}|X_{i}-\mu |\sim \chi ^{2}(2n)}$
• Если то . ( F-распределение ) ${\displaystyle X,Y\sim {\textrm {Laplace}}(\mu ,b)}$ ${\displaystyle {\tfrac {|X-\mu |}{|Y-\mu |}}\sim \operatorname {F} (2,2)}$
• Если ( равномерное распределение ), то . ${\displaystyle X,Y\sim {\textrm {U}}(0,1)}$ ${\displaystyle \log(X/Y)\sim {\textrm {Laplace}}(0,1)}$
• Если и ( распределение Бернулли ) независимы от , то . ${\displaystyle X\sim {\textrm {Exponential}}(\lambda )}$ ${\displaystyle Y\sim {\textrm {Bernoulli}}(0.5)}$ ${\displaystyle X}$ ${\displaystyle X(2Y-1)\sim {\textrm {Laplace}}\left(0,\lambda ^{-1}\right)}$
• Если и не зависит от , то ． ${\displaystyle X\sim {\textrm {Exponential}}(\lambda )}$ ${\displaystyle Y\sim {\textrm {Exponential}}(\nu )}$ ${\displaystyle X}$ ${\displaystyle \lambda X-\nu Y\sim {\textrm {Laplace}}(0,1)}$
• Если имеет распределение Радемахера и тогда . ${\displaystyle X}$ ${\displaystyle Y\sim {\textrm {Exponential}}(\lambda )}$ ${\displaystyle XY\sim {\textrm {Laplace}}(0,1/\lambda )}$
• Если и не зависит от , то . ${\displaystyle V\sim {\textrm {Exponential}}(1)}$ ${\displaystyle Z\sim N(0,1)}$ ${\displaystyle V}$ ${\displaystyle X=\mu +b{\sqrt {2V}}Z\sim \mathrm {Laplace} (\mu ,b)}$
• Если ( геометрически устойчивое распределение ), то . ${\displaystyle X\sim {\textrm {GeometricStable}}(2,0,\lambda ,0)}$ ${\displaystyle X\sim {\textrm {Laplace}}(0,\lambda )}$
• Распределение Лапласа является предельным случаем гиперболического распределения .
• Если с ( распределением Рэлея ), то . Обратите внимание, что если , то с , что в свою очередь равно экспоненциальному распределению . ${\displaystyle X|Y\sim {\textrm {N}}(\mu ,Y^{2})}$ ${\displaystyle Y\sim {\textrm {Rayleigh}}(b)}$ ${\displaystyle X\sim {\textrm {Laplace}}(\mu ,b)}$ ${\displaystyle Y\sim {\textrm {Rayleigh}}(b)}$ ${\displaystyle Y^{2}\sim {\textrm {Gamma}}(1,2b^{2})}$ ${\displaystyle {\textrm {E}}(Y^{2})=2b^{2}}$ ${\displaystyle {\textrm {Exp}}(1/(2b^{2}))}$
• Дано целое число , если ( гамма-распределение , с использованием характеризации), то ( бесконечная делимость ) ^[2] ${\displaystyle n\geq 1}$ ${\displaystyle X_{i},Y_{i}\sim \Gamma \left({\frac {1}{n}},b\right)}$ ${\displaystyle k,\theta }$ ${\displaystyle \sum _{i=1}^{n}\left({\frac {\mu }{n}}+X_{i}-Y_{i}\right)\sim {\textrm {Laplace}}(\mu ,b)}$
• Если X имеет распределение Лапласа, то Y = e ^X имеет логарифмическое распределение Лапласа; и наоборот, если X имеет логарифмическое распределение Лапласа, то его логарифм имеет распределение Лапласа.

Вероятность того, что один Лаплас больше другого

Пусть — независимые случайные величины Лапласа: и , и мы хотим вычислить . ${\displaystyle X,Y}$ ${\displaystyle X\sim {\textrm {Laplace}}(\mu _{X},b_{X})}$ ${\displaystyle Y\sim {\textrm {Laplace}}(\mu _{Y},b_{Y})}$ ${\displaystyle P(X>Y)}$

Вероятность можно уменьшить (используя приведенные ниже свойства) до , где . Эта вероятность равна ${\displaystyle P(X>Y)}$ ${\displaystyle P(\mu +bZ_{1}>Z_{2})}$ ${\displaystyle Z_{1},Z_{2}\sim {\textrm {Laplace}}(0,1)}$

${\displaystyle P(\mu +bZ_{1}>Z_{2})={\begin{cases}{\frac {b^{2}e^{\mu /b}-e^{\mu }}{2(b^{2}-1)}},&{\text{when }}\mu <0\\1-{\frac {b^{2}e^{-\mu /b}-e^{-\mu }}{2(b^{2}-1)}},&{\text{when }}\mu >0\\\end{cases}}}$

При , оба выражения заменяются их пределом следующим образом : ${\displaystyle b=1}$ ${\displaystyle b\to 1}$

${\displaystyle P(\mu +Z_{1}>Z_{2})={\begin{cases}e^{\mu }{\frac {(2-\mu )}{4}},&{\text{when }}\mu <0\\1-e^{-\mu }{\frac {(2+\mu )}{4}},&{\text{when }}\mu >0\\\end{cases}}}$

Чтобы вычислить случай для , обратите внимание, что ${\displaystyle \mu >0}$ ${\displaystyle P(\mu +Z_{1}>Z_{2})=1-P(\mu +Z_{1}<Z_{2})=1-P(-\mu -Z_{1}>-Z_{2})=1-P(-\mu +Z_{1}>Z_{2})}$

с каких пор . ${\displaystyle Z\sim -Z}$ ${\displaystyle Z\sim {\textrm {Laplace}}(0,1)}$

Отношение к экспоненциальному распределению

Случайную величину Лапласа можно представить как разность двух независимых и одинаково распределенных ( iid ) экспоненциальных случайных величин. ^[2] Один из способов показать это — использовать подход характеристической функции . Для любого набора независимых непрерывных случайных величин, для любой линейной комбинации этих переменных, ее характеристическая функция (которая однозначно определяет распределение) может быть получена путем умножения соответствующих характеристических функций.

Рассмотрим две случайные величины iid . Характеристические функции для являются ${\displaystyle X,Y\sim {\textrm {Exponential}}(\lambda )}$ ${\displaystyle X,-Y}$

${\displaystyle {\frac {\lambda }{-it+\lambda }},\quad {\frac {\lambda }{it+\lambda }}}$

соответственно. При умножении этих характеристических функций (эквивалентных характеристической функции суммы случайных величин ) результат будет ${\displaystyle X+(-Y)}$

${\displaystyle {\frac {\lambda ^{2}}{(-it+\lambda )(it+\lambda )}}={\frac {\lambda ^{2}}{t^{2}+\lambda ^{2}}}.}$

Это то же самое, что и характеристическая функция для , которая равна ${\displaystyle Z\sim {\textrm {Laplace}}(0,1/\lambda )}$

${\displaystyle {\frac {1}{1+{\frac {t^{2}}{\lambda ^{2}}}}}.}$

Распределения Саргана

Распределения Саргана — это система распределений, в которой распределение Лапласа является основным элементом. Распределение Саргана th-го порядка имеет плотность ^{[3] [4]} ${\displaystyle p}$

${\displaystyle f_{p}(x)={\tfrac {1}{2}}\exp(-\alpha |x|){\frac {\displaystyle 1+\sum _{j=1}^{p}\beta _{j}\alpha ^{j}|x|^{j}}{\displaystyle 1+\sum _{j=1}^{p}j!\beta _{j}}},}$

для параметров . Результаты распределения Лапласа для . ${\displaystyle \alpha \geq 0,\beta _{j}\geq 0}$ ${\displaystyle p=0}$

Статистический вывод

При наличии независимых и одинаково распределенных выборок оценка максимального правдоподобия (MLE) представляет собой медиану выборки , ^[5] ${\displaystyle n}$ ${\displaystyle x_{1},x_{2},...,x_{n}}$ ${\displaystyle \mu }$

${\displaystyle {\hat {\mu }}=\mathrm {med} (x).}$

Оценка MLE представляет собой среднее абсолютное отклонение от медианы, ^{[ необходима ссылка ]} ${\displaystyle b}$

${\displaystyle {\hat {b}}={\frac {1}{n}}\sum _{i=1}^{n}|x_{i}-{\hat {\mu }}|.}$

выявление связи между распределением Лапласа и наименьшими абсолютными отклонениями . Поправка для малых выборок может быть применена следующим образом:

${\displaystyle {\hat {b}}^{*}={\hat {b}}\cdot n/(n-2)}$

(см.: экспоненциальное распределение#Оценка параметров ).

Возникновение и применение

Распределение Лапласа использовалось в распознавании речи для моделирования априорных значений коэффициентов DFT ^[6] и в сжатии изображений JPEG для моделирования коэффициентов AC ^[7], генерируемых с помощью DCT .

• Добавление шума, полученного из распределения Лапласа, с параметром масштабирования, соответствующим чувствительности функции, к выходным данным статистического запроса базы данных является наиболее распространенным способом обеспечения дифференциальной конфиденциальности в статистических базах данных.

Подогнанное распределение Лапласа к максимальным однодневным осадкам ^[8]

• В регрессионном анализе оценка наименьшего абсолютного отклонения возникает как оценка максимального правдоподобия, если ошибки имеют распределение Лапласа.
• Лассо можно рассматривать как байесовскую регрессию с лапласовским априорным распределением для коэффициентов. ^[9]
• В гидрологии распределение Лапласа применяется к экстремальным событиям, таким как годовые максимальные однодневные осадки и речные сбросы. Синяя картинка, сделанная с помощью CumFreq , иллюстрирует пример подгонки распределения Лапласа к ранжированным годовым максимальным однодневным осадкам, показывая также 90% доверительный пояс на основе биномиального распределения . Данные об осадках представлены путем построения позиций в рамках анализа кумулятивной частоты .
• Распределение Лапласа имеет применение в финансах. Например, С. Г. Коу разработал модель цен на финансовые инструменты, включающую распределение Лапласа (в некоторых случаях асимметричное распределение Лапласа ) для решения проблем перекоса , эксцесса и улыбки волатильности , которые часто возникают при использовании нормального распределения для ценообразования этих инструментов. ^{[10] [11]}

Распределение Лапласа, являясь составным или двойным распределением, применимо в ситуациях, когда более низкие значения возникают при иных внешних условиях, чем более высокие, так что они следуют другой схеме. ^[12]

Генерация случайных величин

Дана случайная величина, взятая из равномерного распределения в интервале , случайная величина ${\displaystyle U}$ ${\displaystyle \left(-1/2,1/2\right)}$

${\displaystyle X=\mu -b\,\operatorname {sgn}(U)\,\ln(1-2|U|)}$

имеет распределение Лапласа с параметрами и . Это следует из обратной кумулятивной функции распределения, приведенной выше. ${\displaystyle \mu }$ ${\displaystyle b}$

Переменная может быть также сгенерирована как разность двух iid случайных величин. Эквивалентно, может быть также сгенерирована как логарифм отношения двух iid равномерных случайных величин. ${\displaystyle {\textrm {Laplace}}(0,b)}$ ${\displaystyle {\textrm {Exponential}}(1/b)}$ ${\displaystyle {\textrm {Laplace}}(0,1)}$

История

Это распределение часто называют «первым законом ошибок Лапласа». Он опубликовал его в 1774 году, смоделировав частоту ошибки как экспоненциальную функцию ее величины, если ее знак не принимался во внимание. Позже Лаплас заменил эту модель своим «вторым законом ошибок», основанным на нормальном распределении, после открытия центральной предельной теоремы . ^{[13] [14]}

В 1911 году Кейнс опубликовал статью, основанную на его более ранней диссертации, в которой он показал, что распределение Лапласа минимизирует абсолютное отклонение от медианы. ^[15]

Смотрите также

• Обобщенное нормальное распределение#Симметричная версия
• Многомерное распределение Лапласа
• Мера Бесова , обобщение распределения Лапласа на функциональные пространства
• Распределение Коши , также называемое «распределением Лоренца», т.е. преобразование Фурье Лапласа
• Характеристическая функция (теория вероятностей)

Ссылки

1. Нортон, Мэтью; Хохлов, Валентин; Урясев, Стэн (2019). «Вычисление CVaR и bPOE для общих распределений вероятностей с применением к оптимизации портфеля и оценке плотности» (PDF) . Annals of Operations Research . 299 (1–2). Springer: 1281–1315. doi :10.1007/s10479-019-03373-1 . Получено 27.02.2023 .
2. Kotz, Samuel; Kozubowski, Tomasz J.; Podgórski, Krzysztof (2001). Распределение Лапласа и обобщения: пересмотр с приложениями к коммуникациям, экономике, инжинирингу и финансам. Birkhauser. стр. 23 (Предложение 2.2.2, Уравнение 2.2.8). ISBN 9780817641665.
3. Эверитт, Б.С. (2002) Кембриджский словарь статистики , CUP. ISBN 0-521-81099-X 
4. Джонсон, Н. Л., Коц С., Балакришнан, Н. (1994) Непрерывные одномерные распределения , Wiley. ISBN 0-471-58495-9 . стр. 60 
5. Роберт М. Нортон (май 1984 г.). «Двойное экспоненциальное распределение: использование исчисления для поиска оценки максимального правдоподобия». Американский статистик . 38 (2). Американская статистическая ассоциация: 135–136. doi :10.2307/2683252. JSTOR  2683252.
6. Элтофт, Т.; Тэсу Ким; Те-Вон Ли (2006). «О многомерном распределении Лапласа» (PDF) . IEEE Signal Processing Letters . 13 (5): 300–303. doi :10.1109/LSP.2006.870353. S2CID  1011487. Архивировано из оригинала (PDF) 2013-06-06 . Получено 2012-07-04 .
7. Minguillon, J.; Pujol, J. (2001). "Моделирование ошибки равномерного квантования стандарта JPEG с приложениями к последовательным и прогрессивным режимам работы" (PDF) . Journal of Electronic Imaging . 10 (2): 475–485. doi :10.1117/1.1344592. hdl : 10609/6263 .
8. CumFreq для подгонки распределения вероятностей
9. Пардо, Скотт (2020). Статистический анализ эмпирических методов данных для прикладных наук. Springer. стр. 58. ISBN 978-3-030-43327-7.
10. Коу, С.Г. (8 августа 2002 г.). «Модель скачка-диффузии для ценообразования опционов». Management Science . 48 (8): 1086–1101. doi :10.1287/mnsc.48.8.1086.166. JSTOR  822677 . Получено 01.03.2022 .
11. Чэнь, Цзянь (2018). Метод общего равновесия опционов: теоретическое и эмпирическое исследование . Springer. стр. 70. ISBN 9789811074288.
12. Коллекция составных распределений
13. Лаплас, PS. (1774). Память о вероятностях причин событий. Mémoires de l'Academie Royale des Sciences Presentés par Divers Savan, 6, 621–656
14. Уилсон, Эдвин Бидвелл (1923). «Первый и второй законы ошибок». Журнал Американской статистической ассоциации . 18 (143). Informa UK Limited: 841–851. doi : 10.1080/01621459.1923.10502116. ISSN  0162-1459. В данной статье использован текст из этого источника, находящегося в общественном достоянии .
15. Кейнс, Дж. М. (1911). «Основные средние значения и законы ошибок, приводящие к ним». Журнал Королевского статистического общества . 74 (3). JSTOR: 322–331. doi : 10.2307/2340444. ISSN  0952-8385. JSTOR  2340444.

Внешние ссылки

• «Распределение Лапласа», Энциклопедия математики , EMS Press , 2001 [1994]