Взаимосвязи между распределениями вероятностей

Тема по теории вероятностей и статистике

Взаимосвязи между некоторыми одномерными распределениями вероятностей проиллюстрированы соединенными линиями. Пунктирные линии означают приблизительную взаимосвязь. Дополнительная информация: ^[1]

Отношения между одномерными распределениями вероятностей в ProbOnto . ^[2]

В теории вероятностей и статистике существует несколько соотношений между распределениями вероятностей . Эти соотношения можно разделить на следующие группы:

• Одно распределение является частным случаем другого с более широким пространством параметров.
• Преобразования (функция случайной величины);
• Комбинации (функции нескольких переменных);
• Приближенные (предельные) соотношения;
• Сложные отношения (полезны для байесовского вывода);
• Двойственность ^{[ требуется разъяснение ]} ;
• Сопряженные априорные распределения .

Частный случай параметризации распределения

• Биномиальное распределение с параметрами n = 1 и p является распределением Бернулли с параметром p .
• Отрицательное биномиальное распределение с параметрами n = 1 и p является геометрическим распределением с параметром p .
• Гамма -распределение с параметром формы α = 1 и параметром скорости β является экспоненциальным распределением с параметром скорости β .
• Гамма -распределение с параметром формы α = v /2 и параметром скорости β = 1/2 является распределением хи-квадрат с ν степенями свободы .
• Распределение хи-квадрат с 2 степенями свободы ( k = 2) представляет собой экспоненциальное распределение со средним значением 2 (скорость λ = 1/2).
• Распределение Вейбулла с параметром формы k = 1 и параметром скорости β является экспоненциальным распределением с параметром скорости β .
• Бета -распределение с параметрами формы α = β = 1 представляет собой непрерывное равномерное распределение по действительным числам от 0 до 1.
• Бета -биномиальное распределение с параметром n и параметрами формы α = β = 1 представляет собой дискретное равномерное распределение по целым числам от 0 до n .
• Распределение Стьюдента с одной степенью свободы ( v = 1) представляет собой распределение Коши с параметром местоположения x = 0 и параметром масштаба γ = 1.
• Распределение Бёрра с параметрами c = 1 и k (и масштабом λ ) является распределением Ломакса с формой k (и масштабом λ ).

Преобразование переменной

Множество случайной величины

Умножение переменной на любую положительную действительную константу дает масштабирование исходного распределения. Некоторые из них являются самовоспроизводящимися, что означает, что масштабирование дает то же семейство распределений, хотя и с другим параметром: нормальное распределение , гамма-распределение , распределение Коши , экспоненциальное распределение , распределение Эрланга , распределение Вейбулла , логистическое распределение , распределение ошибок , степенное распределение , распределение Рэлея .

Пример:

• Если X — гамма-случайная величина с параметрами формы и скорости ( α , β ), то Y  =  aX — гамма-случайная величина с параметрами ( α , β / a ).

• Если X — гамма-случайная величина с параметрами формы и масштаба ( k , θ ), то Y  =  aX — гамма-случайная величина с параметрами ( k , aθ ).

Линейная функция случайной величины

Аффинное преобразование ax + b дает перемещение и масштабирование исходного распределения. Следующие распределения являются самовоспроизводящимися: Нормальное распределение , Распределение Коши , Логистическое распределение , Распределение ошибок , Распределение мощности , Распределение Рэлея .

Пример:

• Если Z — нормальная случайная величина с параметрами ( μ = m , σ ² = s ² ), то X = aZ + b — нормальная случайная величина с параметрами ( μ = am + b , σ ² = a ² s ² ).

Обратная величина случайной величины

Обратная величина 1/ X случайной величины X является членом того же семейства распределений, что и X , в следующих случаях: распределение Коши , F-распределение , логарифмическое логистическое распределение .

Примеры:

• Если X является случайной величиной Коши ( μ , σ ), то 1/ X ^{является} случайной величиной Коши ( ^μ / C , σ / C ) , где C = μ2 + σ2 .
• Если X является случайной величиной типа F ( ν ₁ , ν ₂ ), то 1/ X является случайной величиной типа F ( ν ₂ , ν ₁ ).

Другие случаи

Некоторые распределения инвариантны относительно определенного преобразования.

Пример:

• Если X является бета ( α , β ) случайной величиной, то (1 − X ) является бета ( β , α ) случайной величиной.
• Если X — биномиальная ( n , p ) случайная величина, то ( n − X ) — биномиальная ( n , 1 −  p ) случайная величина.
• Если X имеет кумулятивную функцию распределения F _X , то обратная функция кумулятивного распределения F
  _Х( X ) — стандартная равномерная (0,1) случайная величина
• Если X — нормальная ( μ , σ2 ) случайная величина, то ^eX — логнормальная ( μ , σ2 ^{) случайная} величина.

И наоборот, если X является логнормальной ( μ , σ ² ) случайной величиной, то log  X является нормальной ( μ , σ ² ) случайной величиной.

• Если X — экспоненциальная случайная величина со средним значением β , то X ^{1/ γ} — случайная величина Вейбулла ( γ , β ).
• Квадрат стандартной нормальной случайной величины имеет распределение хи-квадрат с одной степенью свободы.
• Если X — случайная величина Стьюдента с ν степенями свободы, то X ² — случайная величина F (1, ν ).
• Если X — двойная экспоненциальная случайная величина со средним значением 0 и масштабом λ , то | X | — экспоненциальная случайная величина со средним значением λ .
• Геометрическая случайная величина представляет собой нижнюю границу экспоненциальной случайной величины.
• Прямоугольная случайная величина представляет собой нижнюю границу равномерной случайной величины.
• Обратная случайная величина — это экспонента равномерной случайной величины.

Функции многих переменных

Сумма переменных

Распределение суммы независимых случайных величин является сверткой их распределений. Предположим, что есть сумма независимых случайных величин, каждая из которых имеет функции массы вероятности . Тогда ${\displaystyle Z}$ ${\displaystyle n}$ ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle f_{X_{i}}(x)}$

$${\displaystyle Z=\sum _{i=1}^{n}{X_{i}}.}$$

Если распределение принадлежит тому же семейству распределений, что и исходные переменные, то говорят, что это семейство распределений замкнуто относительно свертки . Часто (всегда?) эти распределения также являются устойчивыми распределениями (см. также Дискретно-устойчивое распределение ).

Примерами таких одномерных распределений являются: нормальное распределение , распределение Пуассона , биномиальное распределение (с общей вероятностью успеха), отрицательное биномиальное распределение (с общей вероятностью успеха), гамма-распределение (с общим параметром скорости ), распределение хи-квадрат , распределение Коши , гиперэкспоненциальное распределение .

Примеры: ^{[3] [4]}

• • Если X ₁ и X ₂ являются случайными величинами Пуассона со средним значением μ ₁ и μ ₂ соответственно, то X ₁ + X ₂ является случайной величиной Пуассона со средним значением μ ₁ + μ ₂ .
  • Сумма гамма- ( αi , β ) случайных величин имеет гамма- распределение ( Σαi _{, β} ).
  • Если X ₁ является случайной величиной Коши ( μ ₁ , σ _{1 ), а} X ₂ является случайной величиной Коши ( μ ₂ , σ ₂ ), то X ₁ + X ₂ является случайной величиной Коши ( μ ₁ + μ ₂ , σ ₁ + σ ₂ ).
  • Если X ₁ и X ₂ являются хи-квадрат случайными величинами с ν ₁ и ν ₂ степенями свободы соответственно, то X ₁ + X ₂ является хи-квадрат случайной величиной с ν ₁ + ν ₂ степенями свободы.
  • Если X ₁ является нормальным ( µ ₁ , σ²
    ₁) случайная величина и X ₂ является нормальной ( µ ₂ , σ²
    ₂) случайная величина, то X ₁ + X ₂ является нормальной ( µ ₁ + µ ₂ , σ²
    ₁+ σ²
    ₂) случайная величина.
  • Сумма N случайных величин хи-квадрат (1) имеет распределение хи-квадрат с N степенями свободы.

Другие распределения не замкнуты относительно свертки, но их сумма имеет известное распределение:

• Сумма n бернуллиевских (p) случайных величин является биномиальной ( n , p ) случайной величиной.
• Сумма n геометрических случайных величин с вероятностью успеха p является отрицательной биномиальной случайной величиной с параметрами n и p .
• Сумма n экспоненциальных ( β ) случайных величин является гамма ( n , β ) случайной величиной. Поскольку n — целое число, гамма-распределение также является распределением Эрланга .
• Сумма квадратов N стандартных нормальных случайных величин имеет распределение хи-квадрат с N степенями свободы.

Произведение переменных

Произведение независимых случайных величин X и Y может принадлежать к тому же семейству распределений, что и X и Y : распределению Бернулли и логнормальному распределению .

Пример:

• Если X ₁ и X ₂ — независимые логнормальные случайные величины с параметрами ( μ ₁ , σ²
  ₁) и ( μ ₂ , σ²
  ₂) соответственно, то X ₁ X ₂ является логнормальной случайной величиной с параметрами ( μ ₁ + μ ₂ , σ²
  ₁+ σ²
  ₂).

(См. также Распространение продукции .)

Минимум и максимум независимых случайных величин

Для некоторых распределений минимальное значение нескольких независимых случайных величин является членом одного и того же семейства с разными параметрами: распределение Бернулли , геометрическое распределение , экспоненциальное распределение , распределение экстремальных значений , распределение Парето , распределение Рэлея , распределение Вейбулла .

Примеры:

• Если X ₁ и X ₂ — независимые геометрические случайные величины с вероятностью успеха p ₁ и p ₂ соответственно, то min( X ₁ , X ₂ ) — геометрическая случайная величина с вероятностью успеха p = p ₁ + p ₂ − p ₁ p ₂ . Соотношение упрощается, если выразить его через вероятность неудачи: q = q ₁ q ₂ .
• Если X ₁ и X ₂ — независимые экспоненциальные случайные величины со скоростью μ ₁ и μ ₂ соответственно, то min( X ₁ , X ₂ ) — экспоненциальная случайная величина со скоростью μ = μ ₁ + μ ₂ .

Аналогично, распределения, для которых максимальное значение нескольких независимых случайных величин является членом одного и того же семейства распределений, включают: распределение Бернулли , степенное распределение.

Другой

• Если X и Y — независимые стандартные нормальные случайные величины, то X / Y — случайная величина Коши (0,1).
• Если X ₁ и X ₂ являются независимыми случайными величинами хи-квадрат с ν ₁ и ν ₂ степенями свободы соответственно, то ( X ₁ / ν ₁ )/( X ₂ / ν ₂ ) является случайной величиной типа F ( ν ₁ , ν ₂ ).
• Если X — стандартная нормальная случайная величина, а U — независимая хи-квадрат случайная величина с ν степенями свободы, то — случайная величина Стьюдента t ( ν ). ${\displaystyle {\frac {X}{\sqrt {(U/\nu )}}}}$
• Если X ₁ является гамма ( α ₁ , 1) случайной величиной, а X ₂ является независимой гамма (α ₂ , 1) случайной величиной, то X ₁ /( X ₁ + X ₂ ) является бета ( α ₁ , α ₂ ) случайной величиной. В более общем смысле, если X ₁ является гамма ( α ₁ , β ₁ ) случайной величиной, а X ₂ является независимой гамма ( α ₂ , β ₂ ) случайной величиной, то β ₂ X ₁ /( β ₂ X ₁ + β ₁ X ₂ ) является бета ( α ₁ , α ₂ ) случайной величиной.
• Если X и Y — независимые экспоненциальные случайные величины со средним значением μ, то X  −  Y — двойная экспоненциальная случайная величина со средним значением 0 и масштабом μ.
• Если X _i — независимые случайные величины Бернулли , то их четность (XOR) является переменной Бернулли, описываемой леммой о накоплении .

(См. также распределение коэффициентов .)

Приблизительные (предельные) соотношения

Приблизительное или предельное отношение означает

• либо комбинация бесконечного числа независимых случайных величин стремится к некоторому распределению,
• или что предел, при котором параметр стремится к некоторому значению, приближается к другому распределению.

Комбинация независимых случайных величин:

• При определенных условиях сумма (следовательно, и среднее значение) достаточно большого числа случайных величин iid, каждая из которых имеет конечное среднее значение и дисперсию, будет приблизительно нормально распределена. Это центральная предельная теорема (ЦПТ).

Частный случай параметризации распределения:

• X — гипергеометрическая ( m , N , n ) случайная величина. Если n и m велики по сравнению с N , а p = m / N не близко к 0 или 1, то X приблизительно имеет биномиальное ( n , p ) распределение.
• X — это бета-биномиальная случайная величина с параметрами ( n , α , β ). Пусть p = α /( α + β ) и предположим, что α + β велико, тогда X приблизительно имеет биномиальное ( n , p ) распределение.
• Если X является биномиальной ( n , p ) случайной величиной и если n велико, а np мало, то X приблизительно имеет распределение Пуассона ( np ).
• Если X — отрицательная биномиальная случайная величина с большим r , P, близким к 1, и r (1 −  P ) = λ , то X приблизительно имеет распределение Пуассона со средним λ .

Последствия CLT:

• Если X — случайная величина Пуассона с большим средним значением, то для целых чисел j и k P( j ≤ X ≤ k ) приблизительно равно P ( j − 1/2 ≤ Y ≤ k + 1/2), где Y — нормальное распределение с теми же средним значением и дисперсией , что и X.
• Если X — биномиальная ( n , p ) случайная величина с большими np и n (1 −  p ), то для целых чисел j и k P( j ≤ X ≤ k ) приблизительно равно P( j − 1/2 ≤ Y ≤ k + 1/2), где Y — нормальная случайная величина с теми же средним значением и дисперсией, что и X , т. е. np и np (1 −  p ).
• Если X является бета- случайной величиной с равными и большими параметрами α и β , то X приблизительно имеет нормальное распределение с теми же средним значением и дисперсией, т.е. средним значением α /( α + β ) и дисперсией αβ /(( α + β ) ² ( α + β + 1)).
• Если X является гамма- ( α , β ) случайной величиной и параметр формы α велик по сравнению с параметром масштаба β , то X приблизительно имеет нормальную случайную величину с тем же средним значением и дисперсией.
• Если X является случайной величиной Стьюдента с большим числом степеней свободы ν , то X приблизительно имеет стандартное нормальное распределение.
• Если X является случайной величиной типа F ( ν , ω ) с большим ω , то νX приблизительно распределена как случайная величина хи-квадрат с ν степенями свободы.

Сложные (или байесовские) отношения

Когда один или несколько параметров распределения являются случайными величинами, составное распределение является предельным распределением переменной.

Примеры:

• Если X  |  N — биномиальная ( N , p ) случайная величина, где параметр N — случайная величина с отрицательно-биномиальным ( m , r ) распределением, то X распределена как отрицательно-биномиальная ( m , r /( p + qr )).
• Если X  |  N — биномиальная ( N , p ) случайная величина, где параметр N — случайная величина с распределением Пуассона ( μ ), то X распределена как Пуассон ( μp ).
• Если X  |  μ — случайная величина Пуассона ( μ ), а параметр μ — случайная величина с гамма- распределением ( m , θ ) (где θ — параметр масштаба), то X распределено как отрицательное биномиальное распределение ( m , θ /(1 +  θ )), иногда называемое гамма-пуассоновским распределением .

Некоторые распределения были специально названы как составные: бета-биномиальное распределение , бета-отрицательное биномиальное распределение , гамма-нормальное распределение .

Примеры:

• Если X является биномиальной ( n , p ) случайной величиной, а параметр p является случайной величиной с бета-распределением ( α , β ), то X распределено как бета-биномиальное ( α , β , n ).
• Если X является отрицательной биномиальной ( r , p ) случайной величиной, а параметр p является случайной величиной с бета-распределением ( α , β ), то X распределено как бета-отрицательное биномиальное распределение ( r , α , β ).

Смотрите также

• Центральная предельная теорема
• Составное распределение вероятностей
• Список сверток распределений вероятностей

Ссылки

1. LEEMIS, Lawrence M.; Jacquelyn T. MCQUESTON (февраль 2008 г.). «Одномерные распределительные связи» (PDF) . American Statistician . 62 (1): 45–53. doi :10.1198/000313008x270448. S2CID  9367367.
2. Swat, MJ; Grenon, P; Wimalaratne, S (2016). «ProbOnto: онтология и база знаний вероятностных распределений». Биоинформатика . 32 (17): 2719–21. doi :10.1093/bioinformatics/btw170. PMC 5013898. PMID  27153608 . 
3. Кук, Джон Д. «Схема распределительных отношений».
4. Динов, Иво Д.; Сигрист, Кайл; Перл, Деннис; Калинин, Алекс; Христу, Николас (2015). «Probability Distributome: веб-вычислительная инфраструктура для исследования свойств, взаимосвязей и приложений распределений вероятностей». Computational Statistics . 594 (2): 249–271. doi :10.1007/s00180-015-0594-6. PMC 4856044 . PMID  27158191. 

Внешние ссылки

• Интерактивная графика: Одномерные распределительные соотношения
• ProbOnto - Онтология и база знаний вероятностных распределений: ProbOnto
• Проект Probability Distributome включает в себя калькуляторы, симуляторы, эксперименты и навигаторы для межраспределенных преобразований и метаданных распределения.