Экспоненциальное распределение

Распределение вероятностей

В теории вероятностей и статистике экспоненциальное распределение или отрицательное экспоненциальное распределение — это распределение вероятностей расстояния между событиями в точечном процессе Пуассона , т. е. процессе, в котором события происходят непрерывно и независимо с постоянной средней скоростью; параметр расстояния может быть любой значимой одномерной мерой процесса, такой как время между производственными ошибками или длина вдоль рулона ткани в процессе ткацкого производства. ^[1] Это частный случай гамма-распределения . Это непрерывный аналог геометрического распределения , и его ключевым свойством является отсутствие памяти . ^[2] Помимо использования для анализа точечных процессов Пуассона, оно встречается в различных других контекстах. ^[3]

Экспоненциальное распределение не то же самое, что класс экспоненциальных семейств распределений. Это большой класс распределений вероятностей, который включает экспоненциальное распределение как один из своих членов, но также включает много других распределений, таких как нормальное , биномиальное , гамма и распределение Пуассона . ^[3]

Определения

Функция плотности вероятности

Функция плотности вероятности (pdf) экспоненциального распределения равна

${\displaystyle f(x;\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}}$

Здесь λ > 0 — параметр распределения, часто называемый параметром скорости . Распределение поддерживается на интервале  [0, ∞) . Если случайная величина X имеет это распределение, мы пишем  X ~ Exp( λ ) .

Экспоненциальное распределение демонстрирует бесконечную делимость .

Кумулятивная функция распределения

Кумулятивная функция распределения определяется как

${\displaystyle F(x;\lambda )={\begin{cases}1-e^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}}$

Альтернативная параметризация

Экспоненциальное распределение иногда параметризуется с помощью параметра масштаба β = 1/ λ , который также является средним значением: $${\displaystyle f(x;\beta )={\begin{cases}{\frac {1}{\beta }}e^{-x/\beta }&x\geq 0,\\0&x<0.\end{cases}}\qquad \qquad F(x;\beta )={\begin{cases}1-e^{-x/\beta }&x\geq 0,\\0&x<0.\end{cases}}}$$

Характеристики

Среднее, дисперсия, моменты и медиана

Среднее значение — это центр масс вероятности, то есть первый момент .

Медиана — это прообраз F ⁻¹ (1/2).

Среднее или ожидаемое значение экспоненциально распределенной случайной величины X с параметром скорости λ определяется по формуле $${\displaystyle \operatorname {E} [X]={\frac {1}{\lambda }}.}$$

В свете приведенных ниже примеров это имеет смысл: человек, который получает в среднем два телефонных звонка в час, может ожидать, что время между последовательными звонками составит 0,5 часа или 30 минут.

Дисперсия X определяется по формуле, поэтому стандартное отклонение равно среднему значению. $${\displaystyle \operatorname {Var} [X]={\frac {1}{\lambda ^{2}}},}$$

Моменты X для определяются как​ ${\displaystyle n\in \mathbb {N} }$ $${\displaystyle \operatorname {E} \left[X^{n}\right]={\frac {n!}{\lambda ^{n}}}.}$$

Центральные моменты X для определяются как , где ! n — субфакториал n ${\displaystyle n\in \mathbb {N} }$ $${\displaystyle \mu _{n}={\frac {!n}{\lambda ^{n}}}={\frac {n!}{\lambda ^{n}}}\sum _{k=0}^{n}{\frac {(-1)^{k}}{k!}}.}$$

Медиана X определяется как где ln относится к натуральному логарифму . Таким образом, абсолютная разница между средним значением и медианой равна $${\displaystyle \operatorname {m} [X]={\frac {\ln(2)}{\lambda }}<\operatorname {E} [X],}$$ $${\displaystyle \left|\operatorname {E} \left[X\right]-\operatorname {m} \left[X\right]\right|={\frac {1-\ln(2)}{\lambda }}<{\frac {1}{\lambda }}=\operatorname {\sigma } [X],}$$

в соответствии с медианно-средним неравенством .

Свойство отсутствия памяти у экспоненциальной случайной величины

Экспоненциально распределенная случайная величина T подчиняется соотношению $${\displaystyle \Pr \left(T>s+t\mid T>s\right)=\Pr(T>t),\qquad \forall s,t\geq 0.}$$

Это можно увидеть, рассмотрев дополнительную кумулятивную функцию распределения : $${\displaystyle {\begin{aligned}\Pr \left(T>s+t\mid T>s\right)&={\frac {\Pr \left(T>s+t\cap T>s\right)}{\Pr \left(T>s\right)}}\\[4pt]&={\frac {\Pr \left(T>s+t\right)}{\Pr \left(T>s\right)}}\\[4pt]&={\frac {e^{-\lambda (s+t)}}{e^{-\lambda s}}}\\[4pt]&=e^{-\lambda t}\\[4pt]&=\Pr(T>t).\end{aligned}}}$$

Когда T интерпретируется как время ожидания события относительно некоторого начального времени, это отношение подразумевает, что если T обусловлено неспособностью наблюдать событие в течение некоторого начального периода времени s , распределение оставшегося времени ожидания совпадает с исходным безусловным распределением. Например, если событие не произошло в течение 30 секунд, условная вероятность того, что возникновение займет не менее 10 секунд, равна безусловной вероятности наблюдения события более чем через 10 секунд после начального времени.

Экспоненциальное распределение и геометрическое распределение являются единственными распределениями вероятностей без памяти .

Следовательно, экспоненциальное распределение также является единственным непрерывным распределением вероятностей, имеющим постоянную интенсивность отказов .

Квантили

Критерии Тьюки для аномалий. ^{[ необходима ссылка ]}

Функция квантиля (обратная кумулятивная функция распределения) для Exp( λ ) имеет вид $${\displaystyle F^{-1}(p;\lambda )={\frac {-\ln(1-p)}{\lambda }},\qquad 0\leq p<1}$$

Таким образом , квартили следующие :

• первый квартиль: ln(4/3)/ λ
• медиана : ln(2)/ λ
• третий квартиль: ln(4)/ λ

И, как следствие, межквартильный размах равен ln(3)/ λ .

Условная стоимость под риском (ожидаемый дефицит)

Условное значение риска (CVaR), также известное как ожидаемый дефицит или суперквантиль для Exp( λ ), выводится следующим образом: ^[4]

$${\displaystyle {\begin{aligned}{\bar {q}}_{\alpha }(X)&={\frac {1}{1-\alpha }}\int _{\alpha }^{1}q_{p}(X)dp\\&={\frac {1}{(1-\alpha )}}\int _{\alpha }^{1}{\frac {-\ln(1-p)}{\lambda }}dp\\&={\frac {-1}{\lambda (1-\alpha )}}\int _{1-\alpha }^{0}-\ln(y)dy\\&={\frac {-1}{\lambda (1-\alpha )}}\int _{0}^{1-\alpha }\ln(y)dy\\&={\frac {-1}{\lambda (1-\alpha )}}[(1-\alpha )\ln(1-\alpha )-(1-\alpha )]\\&={\frac {-\ln(1-\alpha )+1}{\lambda }}\\\end{aligned}}}$$

Буферизованная вероятность превышения (bPOE)

Буферизованная вероятность превышения равна единице минус уровень вероятности, при котором CVaR равен порогу . Она выводится следующим образом: ^[4] ${\displaystyle x}$

$${\displaystyle {\begin{aligned}{\bar {p}}_{x}(X)&=\{1-\alpha |{\bar {q}}_{\alpha }(X)=x\}\\&=\{1-\alpha |{\frac {-\ln(1-\alpha )+1}{\lambda }}=x\}\\&=\{1-\alpha |\ln(1-\alpha )=1-\lambda x\}\\&=\{1-\alpha |e^{\ln(1-\alpha )}=e^{1-\lambda x}\}=\{1-\alpha |1-\alpha =e^{1-\lambda x}\}=e^{1-\lambda x}\end{aligned}}}$$

Расхождение Кульбака–Лейблера

Направленное расхождение Кульбака–Лейблера в нат («приближенное» распределение ) от («истинного» распределения) определяется выражением ${\displaystyle e^{\lambda }}$ ${\displaystyle e^{\lambda _{0}}}$ $${\displaystyle {\begin{aligned}\Delta (\lambda _{0}\parallel \lambda )&=\mathbb {E} _{\lambda _{0}}\left(\log {\frac {p_{\lambda _{0}}(x)}{p_{\lambda }(x)}}\right)\\&=\mathbb {E} _{\lambda _{0}}\left(\log {\frac {\lambda _{0}e^{\lambda _{0}x}}{\lambda e^{\lambda x}}}\right)\\&=\log(\lambda _{0})-\log(\lambda )-(\lambda _{0}-\lambda )E_{\lambda _{0}}(x)\\&=\log(\lambda _{0})-\log(\lambda )+{\frac {\lambda }{\lambda _{0}}}-1.\end{aligned}}}$$

Максимальное распределение энтропии

Среди всех непрерывных распределений вероятностей с носителем [0, ∞) и средним μ экспоненциальное распределение с λ = 1/ μ имеет наибольшую дифференциальную энтропию . Другими словами, это распределение вероятности с максимальной энтропией для случайной величины X , которая больше или равна нулю и для которой E[ X ] фиксировано. ^[5]

Распределение минимума показательных случайных величин

Пусть X ₁ , ..., X _n — независимые экспоненциально распределенные случайные величины с параметрами скорости λ ₁ , ..., λ _n . Тогда также экспоненциально распределена с параметром $${\displaystyle \min \left\{X_{1},\dotsc ,X_{n}\right\}}$$ $${\displaystyle \lambda =\lambda _{1}+\dotsb +\lambda _{n}.}$$

Это можно увидеть, рассмотрев дополнительную кумулятивную функцию распределения : $${\displaystyle {\begin{aligned}&\Pr \left(\min\{X_{1},\dotsc ,X_{n}\}>x\right)\\={}&\Pr \left(X_{1}>x,\dotsc ,X_{n}>x\right)\\={}&\prod _{i=1}^{n}\Pr \left(X_{i}>x\right)\\={}&\prod _{i=1}^{n}\exp \left(-x\lambda _{i}\right)=\exp \left(-x\sum _{i=1}^{n}\lambda _{i}\right).\end{aligned}}}$$

Индекс переменной, достигающей минимума, распределяется в соответствии с категориальным распределением $${\displaystyle \Pr \left(X_{k}=\min\{X_{1},\dotsc ,X_{n}\}\right)={\frac {\lambda _{k}}{\lambda _{1}+\dotsb +\lambda _{n}}}.}$$

Доказательство можно увидеть, если допустить . Тогда, ${\displaystyle I=\operatorname {argmin} _{i\in \{1,\dotsb ,n\}}\{X_{1},\dotsc ,X_{n}\}}$ $${\displaystyle {\begin{aligned}\Pr(I=k)&=\int _{0}^{\infty }\Pr(X_{k}=x)\Pr(\forall _{i\neq k}X_{i}>x)\,dx\\&=\int _{0}^{\infty }\lambda _{k}e^{-\lambda _{k}x}\left(\prod _{i=1,i\neq k}^{n}e^{-\lambda _{i}x}\right)dx\\&=\lambda _{k}\int _{0}^{\infty }e^{-\left(\lambda _{1}+\dotsb +\lambda _{n}\right)x}dx\\&={\frac {\lambda _{k}}{\lambda _{1}+\dotsb +\lambda _{n}}}.\end{aligned}}}$$

Обратите внимание, что распределение не является экспоненциальным, если X ₁ , ..., X _n не все имеют параметр 0. ^[6] $${\displaystyle \max\{X_{1},\dotsc ,X_{n}\}}$$

Совместные моменты статистик экспоненциального порядка iid

Пусть — независимые и одинаково распределенные экспоненциальные случайные величины с параметром скорости λ . Пусть обозначают соответствующую порядковую статистику . Для совместный момент порядковых статистик и определяется как ${\displaystyle X_{1},\dotsc ,X_{n}}$ ${\displaystyle n}$ ${\displaystyle X_{(1)},\dotsc ,X_{(n)}}$ ${\displaystyle i<j}$ ${\displaystyle \operatorname {E} \left[X_{(i)}X_{(j)}\right]}$ ${\displaystyle X_{(i)}}$ ${\displaystyle X_{(j)}}$ $${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{(i)}X_{(j)}\right]&=\sum _{k=0}^{j-1}{\frac {1}{(n-k)\lambda }}\operatorname {E} \left[X_{(i)}\right]+\operatorname {E} \left[X_{(i)}^{2}\right]\\&=\sum _{k=0}^{j-1}{\frac {1}{(n-k)\lambda }}\sum _{k=0}^{i-1}{\frac {1}{(n-k)\lambda }}+\sum _{k=0}^{i-1}{\frac {1}{((n-k)\lambda )^{2}}}+\left(\sum _{k=0}^{i-1}{\frac {1}{(n-k)\lambda }}\right)^{2}.\end{aligned}}}$$

Это можно увидеть, применив закон полного ожидания и свойство отсутствия памяти: $${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{(i)}X_{(j)}\right]&=\int _{0}^{\infty }\operatorname {E} \left[X_{(i)}X_{(j)}\mid X_{(i)}=x\right]f_{X_{(i)}}(x)\,dx\\&=\int _{x=0}^{\infty }x\operatorname {E} \left[X_{(j)}\mid X_{(j)}\geq x\right]f_{X_{(i)}}(x)\,dx&&\left({\textrm {since}}~X_{(i)}=x\implies X_{(j)}\geq x\right)\\&=\int _{x=0}^{\infty }x\left[\operatorname {E} \left[X_{(j)}\right]+x\right]f_{X_{(i)}}(x)\,dx&&\left({\text{by the memoryless property}}\right)\\&=\sum _{k=0}^{j-1}{\frac {1}{(n-k)\lambda }}\operatorname {E} \left[X_{(i)}\right]+\operatorname {E} \left[X_{(i)}^{2}\right].\end{aligned}}}$$

Первое уравнение следует из закона полного ожидания . Второе уравнение использует тот факт, что как только мы ставим условие на , должно следовать, что . Третье уравнение опирается на свойство отсутствия памяти, которое заменяется на . ${\displaystyle X_{(i)}=x}$ ${\displaystyle X_{(j)}\geq x}$ ${\displaystyle \operatorname {E} \left[X_{(j)}\mid X_{(j)}\geq x\right]}$ ${\displaystyle \operatorname {E} \left[X_{(j)}\right]+x}$

Сумма двух независимых экспоненциальных случайных величин

Функция распределения вероятностей (ПРВ) суммы двух независимых случайных величин является сверткой их индивидуальных ФВ . Если и являются независимыми экспоненциальными случайными величинами с соответствующими параметрами скорости , а тогда плотность вероятности определяется выражением Энтропия этого распределения доступна в замкнутой форме: предполагая (без потери общности), что где — константа Эйлера-Маскерони , а — дигамма-функция . ^[7] ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2},}$ ${\displaystyle Z=X_{1}+X_{2}}$ $${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }f_{X_{1}}(x_{1})f_{X_{2}}(z-x_{1})\,dx_{1}\\&=\int _{0}^{z}\lambda _{1}e^{-\lambda _{1}x_{1}}\lambda _{2}e^{-\lambda _{2}(z-x_{1})}\,dx_{1}\\&=\lambda _{1}\lambda _{2}e^{-\lambda _{2}z}\int _{0}^{z}e^{(\lambda _{2}-\lambda _{1})x_{1}}\,dx_{1}\\&={\begin{cases}{\dfrac {\lambda _{1}\lambda _{2}}{\lambda _{2}-\lambda _{1}}}\left(e^{-\lambda _{1}z}-e^{-\lambda _{2}z}\right)&{\text{ if }}\lambda _{1}\neq \lambda _{2}\\[4pt]\lambda ^{2}ze^{-\lambda z}&{\text{ if }}\lambda _{1}=\lambda _{2}=\lambda .\end{cases}}\end{aligned}}}$$ ${\displaystyle \lambda _{1}>\lambda _{2}}$ $${\displaystyle {\begin{aligned}H(Z)&=1+\gamma +\ln \left({\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}\lambda _{2}}}\right)+\psi \left({\frac {\lambda _{1}}{\lambda _{1}-\lambda _{2}}}\right),\end{aligned}}}$$ ${\displaystyle \gamma }$ ${\displaystyle \psi (\cdot )}$

В случае равных параметров скорости результатом является распределение Эрланга с формой 2 и параметром , которое в свою очередь является частным случаем гамма-распределения . ${\displaystyle \lambda ,}$

Сумма n независимых Exp( λ) экспоненциальных случайных величин распределена по закону Гамма(n, λ) .

Связанные дистрибутивы

• Если X ~ Лапласа(μ, β ⁻¹ ) , то | Икс - мкм| ~ Эксп(β).
• Если X ~ Парето(1, λ) , то log( X ) ~ Exp(λ).
• Если X ~ SkewLogistic(θ) , то . ${\displaystyle \log \left(1+e^{-X}\right)\sim \operatorname {Exp} (\theta )}$
• Если X _i ~ U (0, 1), то $${\displaystyle \lim _{n\to \infty }n\min \left(X_{1},\ldots ,X_{n}\right)\sim \operatorname {Exp} (1)}$$
• Экспоненциальное распределение является пределом масштабированного бета-распределения : $${\displaystyle \lim _{n\to \infty }n\operatorname {Beta} (1,n)=\operatorname {Exp} (1).}$$
• Экспоненциальное распределение является частным случаем распределения Пирсона типа 3 .
• Экспоненциальное распределение является частным случаем гамма-распределения с параметром формы 1.
• Если X ~ Exp(λ) и X _i ~ Exp(λ _i ), то:
  • ${\displaystyle kX\sim \operatorname {Exp} \left({\frac {\lambda }{k}}\right)}$, закрытие при масштабировании на положительный фактор.
  • 1 +  X ~ БенктандерВейбулл (λ, 1), что сводится к усеченному экспоненциальному распределению.
  • ke ^X ~ Парето ( k , λ).
  • е ^−X ~ Бета (λ, 1).
  • ⁠1/к⁠ e ^X ~ степенной закон ( k , λ)
  • ${\displaystyle {\sqrt {X}}\sim \operatorname {Rayleigh} \left({\frac {1}{\sqrt {2\lambda }}}\right)}$, распределение Рэлея
  • ${\displaystyle X\sim \operatorname {Weibull} \left({\frac {1}{\lambda }},1\right)}$, распределение Вейбулла
  • ${\displaystyle X^{2}\sim \operatorname {Weibull} \left({\frac {1}{\lambda ^{2}}},{\frac {1}{2}}\right)}$
  • µ − β log(λ X ) ∼ Гумбел (µ, β) .
  • ${\displaystyle \lfloor X\rfloor \sim \operatorname {Geometric} \left(1-e^{-\lambda }\right)}$, геометрическое распределение на 0,1,2,3,...
  • ${\displaystyle \lceil X\rceil \sim \operatorname {Geometric} \left(1-e^{-\lambda }\right)}$, геометрическое распределение на 1,2,3,4,...
  • Если также Y ~ Erlang( n , λ) или тогда ${\displaystyle Y\sim \Gamma \left(n,{\frac {1}{\lambda }}\right)}$ ${\displaystyle {\frac {X}{Y}}+1\sim \operatorname {Pareto} (1,n)}$
  • Если также λ ~ Gamma ( k , θ) (параметризация формы, масштаба), то маргинальное распределение X равно Lomax ( k , 1/θ), гамма- смесь
  • λ ₁ Икс ₁ - λ ₂ Y ₂ ~ Лаплас(0, 1) .
  • min{ X ₁ , ..., X _n } ~ Exp(λ ₁ + ... + λ _n ).
  • Если также λ _i = λ, то:
    • ${\displaystyle X_{1}+\cdots +X_{k}=\sum _{i}X_{i}\sim }$ Эрланг ( k , λ) = Гамма ( k , λ ⁻¹ ) = Гамма( k , λ) (в параметризации ( k , θ) и (α, β) соответственно) с целочисленным параметром формы k. ^[8]
    • Если , то . ${\displaystyle T=(X_{1}+\cdots +X_{n})=\sum _{i=1}^{n}X_{i}}$ ${\displaystyle 2\lambda T\sim \chi _{2n}^{2}}$
    • X _i − X _j ~ Лаплас(0, λ ⁻¹ ).
  • Если также X _i независимы, то:
    • ${\displaystyle {\frac {X_{i}}{X_{i}+X_{j}}}}$~ У (0, 1)
    • ${\displaystyle Z={\frac {\lambda _{i}X_{i}}{\lambda _{j}X_{j}}}}$имеет функцию плотности вероятности . Это можно использовать для получения доверительного интервала для . ${\displaystyle f_{Z}(z)={\frac {1}{(z+1)^{2}}}}$ ${\displaystyle {\frac {\lambda _{i}}{\lambda _{j}}}}$
  • Если также λ = 1:
    • ${\displaystyle \mu -\beta \log \left({\frac {e^{-X}}{1-e^{-X}}}\right)\sim \operatorname {Logistic} (\mu ,\beta )}$, логистическое распределение
    • ${\displaystyle \mu -\beta \log \left({\frac {X_{i}}{X_{j}}}\right)\sim \operatorname {Logistic} (\mu ,\beta )}$
    • μ − σ log( X ) ~ GEV(μ, σ, 0) .
    • Далее, если то ( K-распределение ) ${\displaystyle Y\sim \Gamma \left(\alpha ,{\frac {\beta }{\alpha }}\right)}$ ${\displaystyle {\sqrt {XY}}\sim \operatorname {K} (\alpha ,\beta )}$
  • Если также λ = 1/2, то X ∼ χ²
    ₂; т.е. X имеет распределение хи-квадрат с 2 степенями свободы . Следовательно: $${\displaystyle \operatorname {Exp} (\lambda )={\frac {1}{2\lambda }}\operatorname {Exp} \left({\frac {1}{2}}\right)\sim {\frac {1}{2\lambda }}\chi _{2}^{2}\Rightarrow \sum _{i=1}^{n}\operatorname {Exp} (\lambda )\sim {\frac {1}{2\lambda }}\chi _{2n}^{2}}$$
• Если и ~ Пуассон( X ) то ( геометрическое распределение ) ${\displaystyle X\sim \operatorname {Exp} \left({\frac {1}{\lambda }}\right)}$ ${\displaystyle Y\mid X}$ ${\displaystyle Y\sim \operatorname {Geometric} \left({\frac {1}{1+\lambda }}\right)}$
• Распределение Хойта можно получить из экспоненциального распределения и арксинусного распределения.
• Экспоненциальное распределение является пределом κ -экспоненциального распределения в данном случае. ${\displaystyle \kappa =0}$
• Экспоненциальное распределение является пределом κ-обобщенного гамма-распределения в случаях : ${\displaystyle \alpha =1}$ ${\displaystyle \nu =1}$

  ${\displaystyle \lim _{(\alpha ,\nu )\to (0,1)}p_{\kappa }(x)=(1+\kappa \nu )(2\kappa )^{\nu }{\frac {\Gamma {\Big (}{\frac {1}{2\kappa }}+{\frac {\nu }{2}}{\Big )}}{\Gamma {\Big (}{\frac {1}{2\kappa }}-{\frac {\nu }{2}}{\Big )}}}{\frac {\alpha \lambda ^{\nu }}{\Gamma (\nu )}}x^{\alpha \nu -1}\exp _{\kappa }(-\lambda x^{\alpha })=\lambda e^{-\lambda x}}$

Другие похожие дистрибутивы:

• Гиперэкспоненциальное распределение – распределение, плотность которого представляет собой взвешенную сумму экспоненциальных плотностей.
• Гипоэкспоненциальное распределение – распределение генеральной суммы экспоненциальных случайных величин.
• Распределение exGaussian – сумма экспоненциального распределения и нормального распределения .

Статистический вывод

Предположим далее, что случайная величина X распределена экспоненциально с параметром скорости λ и представляет собой n независимых выборок из X со средним значением выборки . ${\displaystyle x_{1},\dotsc ,x_{n}}$ ${\displaystyle {\bar {x}}}$

Оценка параметров

Оценка максимального правдоподобия для λ строится следующим образом.

Функция правдоподобия для λ, учитывая независимую и одинаково распределенную выборку x = ( x ₁ , ..., x _n ), взятую из переменной, имеет вид: $${\displaystyle L(\lambda )=\prod _{i=1}^{n}\lambda \exp(-\lambda x_{i})=\lambda ^{n}\exp \left(-\lambda \sum _{i=1}^{n}x_{i}\right)=\lambda ^{n}\exp \left(-\lambda n{\overline {x}}\right),}$$

где: — выборочное среднее. $${\displaystyle {\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$$

Производная логарифма функции правдоподобия равна: $${\displaystyle {\frac {d}{d\lambda }}\ln L(\lambda )={\frac {d}{d\lambda }}\left(n\ln \lambda -\lambda n{\overline {x}}\right)={\frac {n}{\lambda }}-n{\overline {x}}\ {\begin{cases}>0,&0<\lambda <{\frac {1}{\overline {x}}},\\[8pt]=0,&\lambda ={\frac {1}{\overline {x}}},\\[8pt]<0,&\lambda >{\frac {1}{\overline {x}}}.\end{cases}}}$$

Следовательно, оценка максимального правдоподобия для параметра скорости составляет: $${\displaystyle {\widehat {\lambda }}_{\text{mle}}={\frac {1}{\overline {x}}}={\frac {n}{\sum _{i}x_{i}}}}$$

Это не является несмещенной оценкой , хотя является несмещенной ^[9] оценкой MLE ^[10] и среднего значения распределения. ${\displaystyle \lambda ,}$ ${\displaystyle {\overline {x}}}$ ${\displaystyle 1/\lambda }$

Смещение равно, что дает оценку максимального правдоподобия с поправкой на смещение ${\displaystyle {\widehat {\lambda }}_{\text{mle}}}$ $${\displaystyle B\equiv \operatorname {E} \left[\left({\widehat {\lambda }}_{\text{mle}}-\lambda \right)\right]={\frac {\lambda }{n-1}}}$$ $${\displaystyle {\widehat {\lambda }}_{\text{mle}}^{*}={\widehat {\lambda }}_{\text{mle}}-B.}$$

Приблизительный минимизатор среднеквадратической ошибки (см. также: компромисс смещения и дисперсии ) может быть найден, предполагая, что размер выборки больше двух, с поправочным коэффициентом к MLE: Он выводится из среднего значения и дисперсии обратного гамма-распределения , [ ^11] $${\displaystyle {\widehat {\lambda }}=\left({\frac {n-2}{n}}\right)\left({\frac {1}{\bar {x}}}\right)={\frac {n-2}{\sum _{i}x_{i}}}}$$ ${\textstyle {\mbox{Inv-Gamma}}(n,\lambda )}$

Информация о Фишере

Информация Фишера , обозначаемая , для оценки параметра скорости задается как: ${\displaystyle {\mathcal {I}}(\lambda )}$ ${\displaystyle \lambda }$ $${\displaystyle {\mathcal {I}}(\lambda )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \lambda }}\log f(x;\lambda )\right)^{2}\right|\lambda \right]=\int \left({\frac {\partial }{\partial \lambda }}\log f(x;\lambda )\right)^{2}f(x;\lambda )\,dx}$$

Подставляя распределение и решая, получаем: $${\displaystyle {\mathcal {I}}(\lambda )=\int _{0}^{\infty }\left({\frac {\partial }{\partial \lambda }}\log \lambda e^{-\lambda x}\right)^{2}\lambda e^{-\lambda x}\,dx=\int _{0}^{\infty }\left({\frac {1}{\lambda }}-x\right)^{2}\lambda e^{-\lambda x}\,dx=\lambda ^{-2}.}$$

Это определяет объем информации, которую несет каждая независимая выборка экспоненциального распределения о неизвестном параметре скорости . ${\displaystyle \lambda }$

Доверительные интервалы

Точный доверительный интервал 100(1 − α)% для параметра скорости экспоненциального распределения определяется выражением: ^[12] что также равно где χ $${\displaystyle {\frac {2n}{{\widehat {\lambda }}_{\textrm {mle}}\chi _{{\frac {\alpha }{2}},2n}^{2}}}<{\frac {1}{\lambda }}<{\frac {2n}{{\widehat {\lambda }}_{\textrm {mle}}\chi _{1-{\frac {\alpha }{2}},2n}^{2}}}\,,}$$ $${\displaystyle {\frac {2n{\overline {x}}}{\chi _{{\frac {\alpha }{2}},2n}^{2}}}<{\frac {1}{\lambda }}<{\frac {2n{\overline {x}}}{\chi _{1-{\frac {\alpha }{2}},2n}^{2}}}\,,}$$²
_{п , в}это 100( p ) процентиль распределения хи-квадрат с v степенями свободы , n это количество наблюдений, а x-bar это выборочное среднее. Простая аппроксимация точных конечных точек интервала может быть получена с использованием нормальной аппроксимации χ²
_{п , в}Распределение. Это приближение дает следующие значения для 95% доверительного интервала: $${\displaystyle {\begin{aligned}\lambda _{\text{lower}}&={\widehat {\lambda }}\left(1-{\frac {1.96}{\sqrt {n}}}\right)\\\lambda _{\text{upper}}&={\widehat {\lambda }}\left(1+{\frac {1.96}{\sqrt {n}}}\right)\end{aligned}}}$$

Это приближение может быть приемлемым для образцов, содержащих не менее 15–20 элементов. ^[13]

Байесовский вывод

Сопряженным априорным распределением для экспоненциального распределения является гамма-распределение (частным случаем которого является экспоненциальное распределение). Следующая параметризация функции плотности вероятности гамма-распределения полезна:

$${\displaystyle \operatorname {Gamma} (\lambda ;\alpha ,\beta )={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\lambda ^{\alpha -1}\exp(-\lambda \beta ).}$$

Апостериорное распределение p затем можно выразить через функцию правдоподобия, определенную выше, и априорную гамму:

$${\displaystyle {\begin{aligned}p(\lambda )&\propto L(\lambda )\Gamma (\lambda ;\alpha ,\beta )\\&=\lambda ^{n}\exp \left(-\lambda n{\overline {x}}\right){\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\lambda ^{\alpha -1}\exp(-\lambda \beta )\\&\propto \lambda ^{(\alpha +n)-1}\exp(-\lambda \left(\beta +n{\overline {x}}\right)).\end{aligned}}}$$

Теперь апостериорная плотность p определена с точностью до отсутствующей нормирующей константы. Поскольку она имеет форму гамма-pdf, ее можно легко заполнить, и получится:

$${\displaystyle p(\lambda )=\operatorname {Gamma} (\lambda ;\alpha +n,\beta +n{\overline {x}}).}$$

Здесь гиперпараметр α можно интерпретировать как число предыдущих наблюдений, а β — как сумму предыдущих наблюдений. Апостериорное среднее здесь: $${\displaystyle {\frac {\alpha +n}{\beta +n{\overline {x}}}}.}$$

Возникновение и применение

Возникновение событий

Экспоненциальное распределение возникает естественным образом при описании длительностей интервалов между прибытиями в однородном пуассоновском процессе .

Экспоненциальное распределение можно рассматривать как непрерывный аналог геометрического распределения , которое описывает число испытаний Бернулли, необходимых для того, чтобы дискретный процесс изменил состояние. Напротив, экспоненциальное распределение описывает время, необходимое для того, чтобы непрерывный процесс изменил состояние.

В реальных сценариях предположение о постоянной частоте (или вероятности за единицу времени) редко выполняется. Например, частота входящих телефонных звонков различается в зависимости от времени суток. Но если мы сосредоточимся на временном интервале, в течение которого частота примерно постоянна, например, с 14:00 до 16:00 в рабочие дни, экспоненциальное распределение можно использовать в качестве хорошей приблизительной модели для времени до следующего телефонного звонка. Аналогичные оговорки применимы к следующим примерам, которые дают приблизительно экспоненциально распределенные переменные:

• Время до распада радиоактивной частицы , или время между щелчками счетчика Гейгера
• Время между получением одного телефонного звонка и следующего
• Время до дефолта (по выплате держателям долга компании) в сокращенной форме моделирования кредитного риска

Экспоненциальные переменные также можно использовать для моделирования ситуаций, в которых определенные события происходят с постоянной вероятностью на единицу длины, например, расстояние между мутациями в цепи ДНК или между сбитыми животными на данной дороге.

В теории очередей время обслуживания агентов в системе (например, сколько времени требуется кассиру банка и т. д. для обслуживания клиента) часто моделируется как экспоненциально распределенные переменные. (Например, прибытие клиентов также моделируется распределением Пуассона , если прибытие независимо и распределено одинаково.) Длительность процесса, который можно рассматривать как последовательность нескольких независимых задач, следует распределению Эрланга (которое является распределением суммы нескольких независимых экспоненциально распределенных переменных). Теория надежности и техника надежности также широко используют экспоненциальное распределение. Из-за свойства отсутствия памяти этого распределения оно хорошо подходит для моделирования части постоянной интенсивности рисков кривой ванны , используемой в теории надежности. Это также очень удобно, потому что так легко добавлять интенсивности отказов в модель надежности. Однако экспоненциальное распределение не подходит для моделирования общего срока службы организмов или технических устройств, потому что «интенсивности отказов» здесь не постоянны: больше отказов происходит для очень молодых и очень старых систем.

Подогнанное кумулятивное экспоненциальное распределение к годовому максимуму однодневных осадков с использованием CumFreq ^[14]

В физике , если вы наблюдаете газ при фиксированной температуре и давлении в однородном гравитационном поле , высоты различных молекул также следуют приблизительному экспоненциальному распределению, известному как Барометрическая формула . Это является следствием свойства энтропии, упомянутого ниже.

В гидрологии экспоненциальное распределение используется для анализа экстремальных значений таких переменных, как месячные и годовые максимальные значения суточных осадков и объемов речного стока. ^[15]

Синяя картинка иллюстрирует пример подгонки экспоненциального распределения к ранжированным ежегодным максимальным однодневным осадкам, показывая также 90% доверительный пояс на основе биномиального распределения . Данные об осадках представлены путем построения позиций в рамках кумулятивного частотного анализа .

В управлении операционными — распределение продолжительности хирургических операций для категории операций без типичного содержания работы (например, в отделении неотложной помощи, охватывающем все типы хирургических операций).

Прогноз

Наблюдая выборку из n точек данных из неизвестного экспоненциального распределения, общая задача состоит в том, чтобы использовать эти выборки для прогнозирования будущих данных из того же источника. Распространенным предсказательным распределением для будущих выборок является так называемое подключаемое распределение, сформированное путем включения подходящей оценки для параметра скорости λ в экспоненциальную функцию плотности. Обычный выбор оценки — это тот, который предоставляется принципом максимального правдоподобия, и использование этого дает предсказательную плотность для будущей выборки x _{n +1} , обусловленную наблюдаемыми выборками x = ( x ₁ , ..., x _n ), заданными как $${\displaystyle p_{\rm {ML}}(x_{n+1}\mid x_{1},\ldots ,x_{n})=\left({\frac {1}{\overline {x}}}\right)\exp \left(-{\frac {x_{n+1}}{\overline {x}}}\right).}$$

Байесовский подход обеспечивает прогнозное распределение, которое учитывает неопределенность оцениваемого параметра, хотя это может существенно зависеть от выбора априорной вероятности.

Предсказательное распределение, свободное от проблем выбора априорных данных, возникающих при субъективном байесовском подходе,

$${\displaystyle p_{\rm {CNML}}(x_{n+1}\mid x_{1},\ldots ,x_{n})={\frac {n^{n+1}\left({\overline {x}}\right)^{n}}{\left(n{\overline {x}}+x_{n+1}\right)^{n+1}}},}$$

что можно рассматривать как

1. частотное распределение доверия , полученное из распределения основной величины ; ^[16] ${\displaystyle {x_{n+1}}/{\overline {x}}}$
2. прогнозируемая вероятность профиля, полученная путем исключения параметра λ из совместной вероятности x _{n +1} и λ путем максимизации; ^[17]
3. объективное байесовское предсказательное апостериорное распределение, полученное с использованием неинформативного априорного распределения Джеффриса 1/ λ ;
4. Условное нормализованное максимальное правдоподобие (CNML) прогнозное распределение, исходя из соображений теории информации. ^[18]

Точность предсказательного распределения может быть измерена с использованием расстояния или расхождения между истинным экспоненциальным распределением с параметром скорости λ ₀ и предсказательным распределением, основанным на выборке x . Расхождение Кульбака–Лейблера является широко используемой, свободной от параметризации мерой различия между двумя распределениями. Позволяя Δ( λ ₀ || p ) обозначать расхождение Кульбака–Лейблера между экспоненциальным распределением с параметром скорости λ ₀ и предсказательным распределением p , можно показать, что

$${\displaystyle {\begin{aligned}\operatorname {E} _{\lambda _{0}}\left[\Delta (\lambda _{0}\parallel p_{\rm {ML}})\right]&=\psi (n)+{\frac {1}{n-1}}-\log(n)\\\operatorname {E} _{\lambda _{0}}\left[\Delta (\lambda _{0}\parallel p_{\rm {CNML}})\right]&=\psi (n)+{\frac {1}{n}}-\log(n)\end{aligned}}}$$

где ожидание берется относительно экспоненциального распределения с параметром скорости λ ₀ ∈ (0, ∞) , а ψ( · ) — дигамма-функция. Очевидно, что предсказательное распределение CNML строго превосходит максимальное правдоподобное подключаемое распределение с точки зрения средней дивергенции Кульбака–Лейблера для всех размеров выборки n > 0 .

Генерация случайных величин

Концептуально очень простой метод генерации экспоненциальных переменных основан на обратном преобразовании выборки : дана случайная переменная U, взятая из равномерного распределения на единичном интервале (0, 1) , переменная

$${\displaystyle T=F^{-1}(U)}$$

имеет экспоненциальное распределение, где F ⁻¹ — функция квантиля , определяемая как

$${\displaystyle F^{-1}(p)={\frac {-\ln(1-p)}{\lambda }}.}$$

Более того, если U равномерно на (0, 1), то так же равномерно и 1 − U. Это означает, что можно генерировать экспоненциальные переменные следующим образом:

$${\displaystyle T={\frac {-\ln(U)}{\lambda }}.}$$

Другие методы генерации экспоненциальных переменных обсуждаются Кнутом ^{[19] и Девроем [20]} .

Также доступен быстрый метод генерации набора готовых упорядоченных экспоненциальных переменных без использования процедуры сортировки. ^[20]

Смотрите также

• Мертвое время – применение экспоненциального распределения к анализу детектора частиц.
• Распределение Лапласа , или «двойное показательное распределение».
• Взаимосвязи между распределениями вероятностей
• Экспоненциальное распределение Маршалла-Олкина

Ссылки

1. "7.2: Экспоненциальное распределение". Статистика LibreTexts . 2021-07-15 . Получено 2024-10-11 .
2. "Экспоненциальное распределение | математика | Britannica". www.britannica.com . Получено 2024-10-11 .
3. Weisstein, Eric W. "Экспоненциальное распределение". mathworld.wolfram.com . Получено 11 октября 2024 г.
4. Нортон, Мэтью; Хохлов, Валентин; Урясев, Стэн (2019). «Расчет CVaR и bPOE для общих распределений вероятностей с применением к оптимизации портфеля и оценке плотности» (PDF) . Annals of Operations Research . 299 (1–2). Springer: 1281–1315. doi :10.1007/s10479-019-03373-1. Архивировано из оригинала (PDF) 2023-03-31 . Получено 2023-02-27 .
5. Park, Sung Y.; Bera, Anil K. (2009). "Модель условной гетероскедастичности с максимальной энтропией авторегрессии" (PDF) . Journal of Econometrics . 150 (2). Elsevier: 219–230. doi :10.1016/j.jeconom.2008.12.014. Архивировано из оригинала (PDF) 2016-03-07 . Получено 2011-06-02 .
6. Майкл, Луго. "Ожидаемое значение максимума экспонент" (PDF) . Архивировано из оригинала (PDF) 20 декабря 2016 г. . Получено 13 декабря 2016 г. .
7. Экфорд, Эндрю В.; Томас, Питер Дж. (2016). «Энтропия суммы двух независимых, неидентично распределенных экспоненциальных случайных величин». arXiv : 1609.02911 [cs.IT].
8. Айб, Оливер С. (2014). Основы прикладной вероятности и случайных процессов (2-е изд.). Academic Press. стр. 128. ISBN 9780128010358.
9. Ричард Арнольд Джонсон; Дин В. Вихерн (2007). Прикладной многомерный статистический анализ. Pearson Prentice Hall. ISBN 978-0-13-187715-3. Получено 10 августа 2012 г.
10. Электронный справочник статистических методов NIST/SEMATECH
11. Эльфесси, Абдулазиз; Рейнеке, Дэвид М. (2001). «Байесовский взгляд на классическую оценку: экспоненциальное распределение». Журнал статистического образования . 9 (1). doi : 10.1080/10691898.2001.11910648 .
12. Росс, Шелдон М. (2009). Введение в вероятность и статистику для инженеров и ученых (4-е изд.). Associated Press. стр. 267. ISBN 978-0-12-370483-2.
13. Герриеро, В. (2012). «Распределение степенного закона: метод многомасштабной инференциальной статистики». Журнал современной математики Frontier . 1 : 21–28.
14. «Cumfreq, бесплатная компьютерная программа для кумулятивного частотного анализа».
15. Ritzema, HP, ред. (1994). Анализ частоты и регрессии. Глава 6 в: Принципы и применение дренажа, публикация 16, Международный институт мелиорации и улучшения земель (ILRI), Вагенинген, Нидерланды. стр. 175–224. ISBN 90-70754-33-9.
16. Лоулесс, Дж. Ф.; Фредетт, М. (2005). «Интервалы предсказаний частот и предсказательные распределения». Biometrika . 92 (3): 529–542. doi :10.1093/biomet/92.3.529.
17. Бьорнстад, Дж. Ф. (1990). «Предсказательная вероятность: обзор». Statist. Sci . 5 (2): 242–254. doi : 10.1214/ss/1177012175 .
18. DF Schmidt и E. Makalic, «Универсальные модели для экспоненциального распределения», IEEE Transactions on Information Theory , том 55, номер 7, стр. 3087–3090, 2009 doi :10.1109/TIT.2009.2018331
19. Дональд Э. Кнут (1998). Искусство программирования , том 2: Получисленные алгоритмы , 3-е изд. Бостон: Addison–Wesley. ISBN 0-201-89684-2 . См. раздел 3.4.1, стр. 133. 
20. Luc Devroye (1986). Неоднородная генерация случайных величин . Нью-Йорк: Springer-Verlag. ISBN 0-387-96305-7 . См. главу IX, раздел 2, стр. 392–401. 

Внешние ссылки

• «Экспоненциальное распределение», Энциклопедия математики , EMS Press , 2001 [1994]
• Онлайн-калькулятор экспоненциального распределения