Совместное распределение вероятностей

Тип распределения вероятностей

При наличии двух случайных величин , определенных на одном и том же вероятностном пространстве , ^[1] совместное распределение вероятностей является соответствующим распределением вероятностей для всех возможных пар выходов. Совместное распределение может быть рассмотрено для любого заданного числа случайных величин. Совместное распределение кодирует маргинальные распределения , т. е. распределения каждой из отдельных случайных величин и условные распределения вероятностей , которые имеют дело с тем, как распределяются выходы одной случайной величины, когда дана информация о выходах другой случайной величины(ей).

В формальной математической установке теории меры совместное распределение задается прямой мерой , картой, полученной путем объединения вместе заданных случайных величин, вероятностной меры выборочного пространства .

В случае действительных случайных величин совместное распределение, как частное многомерное распределение, может быть выражено многомерной кумулятивной функцией распределения или многомерной функцией плотности вероятности вместе с многомерной функцией массы вероятности . В частном случае непрерывных случайных величин достаточно рассмотреть функции плотности вероятности, а в случае дискретных случайных величин достаточно рассмотреть функции массы вероятности.

Примеры

Вытягивает из урны

Каждая из двух урн содержит в два раза больше красных шаров, чем синих, и никаких других, и один шар случайным образом выбирается из каждой урны, причем два вытягивания независимы друг от друга. Пусть и будут дискретными случайными величинами, связанными с результатами вытягивания из первой и второй урн соответственно. Вероятность вытягивания красного шара из любой из урн составляет 2/3, а вероятность вытягивания синего шара составляет 1/3. Совместное распределение вероятностей представлено в следующей таблице: ${\displaystyle A}$ ${\displaystyle B}$

Каждая из четырех внутренних ячеек показывает вероятность определенной комбинации результатов двух розыгрышей; эти вероятности являются совместным распределением. В любой ячейке вероятность возникновения определенной комбинации равна (поскольку розыгрыши независимы) произведению вероятности указанного результата для A и вероятности указанного результата для B. Вероятности в этих четырех ячейках в сумме дают 1, как и во всех распределениях вероятностей.

Более того, последняя строка и последний столбец дают предельное распределение вероятностей для A и предельное распределение вероятностей для B соответственно. Например, для A первая из этих ячеек дает сумму вероятностей для A быть красным, независимо от того, какая возможность для B в столбце над ячейкой имеет место, как 2/3. Таким образом, предельное распределение вероятностей для дает вероятности , безусловные для , на полях таблицы. ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle B}$

Подбрасывание монеты

Рассмотрим подбрасывание двух честных монет ; пусть и будут дискретными случайными величинами, связанными с результатами первого и второго подбрасывания монеты соответственно. Каждое подбрасывание монеты является испытанием Бернулли и имеет распределение Бернулли . Если монета показывает «орел», то соответствующая случайная величина принимает значение 1, и принимает значение 0 в противном случае. Вероятность каждого из этих результатов равна 1/2, поэтому предельные (безусловные) функции плотности распределения имеют вид ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle P(A)=1/2\quad {\text{for}}\quad A\in \{0,1\};}$

${\displaystyle P(B)=1/2\quad {\text{for}}\quad B\in \{0,1\}.}$

Совместная функция вероятности массы и определяет вероятности для каждой пары результатов. Все возможные результаты ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle (A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1).}$

Поскольку каждый результат равновероятен, совместная функция массы вероятности становится

${\displaystyle P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Поскольку подбрасывания монеты независимы, совместная функция вероятностной массы представляет собой произведение маргинальных значений:

${\displaystyle P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Бросание игральной кости

Рассмотрим бросок честной кости и пусть , если число четное (т. е. 2, 4 или 6) и в противном случае. Кроме того, пусть , если число простое (т. е. 2, 3 или 5) и в противном случае. ${\displaystyle A=1}$ ${\displaystyle A=0}$ ${\displaystyle B=1}$ ${\displaystyle B=0}$

Тогда совместное распределение и , выраженное как функция массы вероятности, равно ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle \mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\quad \quad \mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},}$

${\displaystyle \mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\quad \quad \mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.}$

Сумма этих вероятностей обязательно равна 1, поскольку вероятность возникновения некоторой комбинации и равна 1. ${\displaystyle A}$ ${\displaystyle B}$

Распределение предельной вероятности

Если в случайном эксперименте определено более одной случайной величины, важно различать совместное распределение вероятностей X и Y и распределение вероятностей каждой переменной по отдельности. Индивидуальное распределение вероятностей случайной величины называется ее предельным распределением вероятностей. В общем случае предельное распределение вероятностей X можно определить из совместного распределения вероятностей X и других случайных величин.

Если совместная функция плотности вероятности случайных величин X и Y равна , то предельная функция плотности вероятности X и Y, которая определяет предельное распределение , определяется как: ${\displaystyle f_{X,Y}(x,y)}$

${\displaystyle f_{X}(x)=\int f_{X,Y}(x,y)\;dy}$
${\displaystyle f_{Y}(y)=\int f_{X,Y}(x,y)\;dx}$

где первый интеграл берется по всем точкам в диапазоне (X,Y), для которых X=x, а второй интеграл берется по всем точкам в диапазоне (X,Y), для которых Y=y. ^[2]

Совместная кумулятивная функция распределения

Для пары случайных величин совместная кумулятивная функция распределения (CDF) определяется по формуле ^{[3] : стр. 89} ${\displaystyle X,Y}$ ${\displaystyle F_{X,Y}}$

где правая часть представляет собой вероятность того, что случайная величина примет значение, меньшее или равное , и что случайная величина примет значение, меньшее или равное . ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle Y}$ ${\displaystyle y}$

Для случайных величин совместная функция CDF определяется как ${\displaystyle N}$ ${\displaystyle X_{1},\ldots ,X_{N}}$ ${\displaystyle F_{X_{1},\ldots ,X_{N}}}$

Интерпретация случайных величин как случайного вектора дает более короткую запись: ${\displaystyle N}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{N})^{T}}$

${\displaystyle F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}$

Совместная функция плотности или функция масс

Дискретный случай

Совместная функция вероятностной массы двух дискретных случайных величин имеет вид: ${\displaystyle X,Y}$

или записано в терминах условных распределений

${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$

где вероятность того , что . ${\displaystyle \mathrm {P} (Y=y\mid X=x)}$ ${\displaystyle Y=y}$ ${\displaystyle X=x}$

Обобщением предыдущего случая с двумя переменными является совместное распределение вероятностей дискретных случайных величин, которое имеет вид: ${\displaystyle n\,}$ ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$

или эквивалентно

${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})&=\mathrm {P} (X_{1}=x_{1})\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\dots \\&\cdot P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$.

Это тождество известно как цепное правило вероятности .

Поскольку это вероятности, в случае двух переменных

${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}$

что обобщает для дискретных случайных величин ${\displaystyle n\,}$ ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$

${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$

Непрерывный случай

Совместная функция плотности вероятности для двух непрерывных случайных величин определяется как производная совместной кумулятивной функции распределения (см. уравнение 1 ): ${\displaystyle f_{X,Y}(x,y)}$

Это равно:

${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$

где и — условные распределения данных и данных соответственно, а и — предельные распределения для и соответственно. ${\displaystyle f_{Y\mid X}(y\mid x)}$ ${\displaystyle f_{X\mid Y}(x\mid y)}$ ${\displaystyle Y}$ ${\displaystyle X=x}$ ${\displaystyle X}$ ${\displaystyle Y=y}$ ${\displaystyle f_{X}(x)}$ ${\displaystyle f_{Y}(y)}$ ${\displaystyle X}$ ${\displaystyle Y}$

Определение естественным образом распространяется на более чем две случайные величины:

Опять же, поскольку это распределения вероятностей, то

${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$

соответственно

${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$

Смешанный случай

«Смешанная совместная плотность» может быть определена, когда одна или несколько случайных величин являются непрерывными, а другие случайные величины являются дискретными. С одной переменной каждого типа

${\displaystyle {\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).\end{aligned}}}$

Один пример ситуации, в которой может потребоваться найти кумулятивное распределение одной случайной величины, которая является непрерывной, и другой случайной величины, которая является дискретной, возникает, когда требуется использовать логистическую регрессию для прогнозирования вероятности бинарного результата Y, обусловленного значением непрерывно распределенного результата . Необходимо использовать «смешанную» совместную плотность при нахождении кумулятивного распределения этого бинарного результата, поскольку входные переменные изначально были определены таким образом, что нельзя было совместно назначить им либо функцию плотности вероятности, либо функцию массы вероятности. Формально, является функцией плотности вероятности относительно меры произведения на соответствующих носителях и . Любое из этих двух разложений затем может быть использовано для восстановления совместной кумулятивной функции распределения: ${\displaystyle X}$ ${\displaystyle (X,Y)}$ ${\displaystyle f_{X,Y}(x,y)}$ ${\displaystyle (X,Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds.\end{aligned}}}$

Определение обобщается на смесь произвольного числа дискретных и непрерывных случайных величин.

Дополнительные свойства

Совместное распределение для независимых переменных

В общем случае две случайные величины и независимы тогда и только тогда , когда совместная кумулятивная функция распределения удовлетворяет условию ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$

Две дискретные случайные величины и являются независимыми тогда и только тогда, когда совместная функция вероятностной массы удовлетворяет условию ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle P(X=x\ {\mbox{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$

для всех и . ${\displaystyle x}$ ${\displaystyle y}$

В то время как число независимых случайных событий растет, связанное с ними значение совместной вероятности быстро уменьшается до нуля по отрицательному экспоненциальному закону.

Аналогично, две абсолютно непрерывные случайные величины независимы тогда и только тогда, когда

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$

для всех и . Это означает, что получение любой информации о значении одной или нескольких случайных величин приводит к условному распределению любой другой переменной, которое идентично ее безусловному (предельному) распределению; таким образом, ни одна переменная не предоставляет никакой информации о какой-либо другой переменной. ${\displaystyle x}$ ${\displaystyle y}$

Совместное распределение для условно зависимых переменных

Если подмножество переменных условно зависимо от другого подмножества этих переменных, то функция массы вероятности совместного распределения равна . равна . Следовательно, ее можно эффективно представить с помощью распределений вероятности меньшей размерности и . Такие условные отношения независимости можно представить с помощью байесовской сети или копула-функций . ${\displaystyle A}$ ${\displaystyle X_{1},\cdots ,X_{n}}$ ${\displaystyle B}$ ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ ${\displaystyle P(B)\cdot P(A\mid B)}$ ${\displaystyle P(B)}$ ${\displaystyle P(A\mid B)}$

Ковариация

Когда две или более случайных переменных определены в вероятностном пространстве, полезно описать, как они изменяются вместе; то есть полезно измерить связь между переменными. Общей мерой связи между двумя случайными переменными является ковариация. Ковариация является мерой линейной связи между случайными переменными. Если связь между случайными переменными нелинейна, ковариация может быть нечувствительна к связи, что означает, что она не связывает корреляцию между двумя переменными.

Ковариация между случайными величинами X и Y, обозначаемая как cov(X,Y), равна:

${\displaystyle \sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)-\mu _{x}\mu _{y}}$^[4]

Корреляция

Существует еще одна мера взаимосвязи между двумя случайными величинами, которую часто легче интерпретировать, чем ковариацию.

Корреляция просто масштабирует ковариацию на произведение стандартного отклонения каждой переменной. Следовательно, корреляция является безразмерной величиной, которую можно использовать для сравнения линейных отношений между парами переменных в разных единицах. Если точки в совместном распределении вероятностей X и Y, которые получают положительную вероятность, имеют тенденцию попадать вдоль линии положительного (или отрицательного) наклона, ρ _XY близко к +1 (или −1). Если ρ _XY равно +1 или −1, можно показать, что точки в совместном распределении вероятностей, которые получают положительную вероятность, попадают точно вдоль прямой линии. Две случайные величины с ненулевой корреляцией называются коррелированными. Подобно ковариации, корреляция является мерой линейной связи между случайными величинами.

Корреляция между случайными величинами X и Y, обозначаемая как

${\displaystyle \rho _{XY}={\frac {cov(X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$

Важные именованные дистрибутивы

Названные совместные распределения, которые часто встречаются в статистике, включают многомерное нормальное распределение , многомерное устойчивое распределение , полиномиальное распределение , отрицательное полиномиальное распределение , многомерное гипергеометрическое распределение и эллиптическое распределение .

Смотрите также

• Байесовское программирование
• Дерево Чоу-Лю
• Условная вероятность
• Копула (теория вероятностей)
• Теорема распада
• Многомерная статистика
• Статистическое вмешательство
• Попарно независимое распределение

Ссылки

1. Феллер, Уильям (1957). Введение в теорию вероятностей и ее приложения, т. 1, 3-е издание . С. 217–218. ISBN 978-0471257080.
2. Монтгомери, Дуглас К. (19 ноября 2013 г.). Прикладная статистика и вероятность для инженеров . Рангер, Джордж К. (Шестое изд.). Хобокен, Нью-Джерси. ISBN 978-1-118-53971-2. OCLC  861273897.{{cite book}}: CS1 maint: location missing publisher (link)
3. Пак, Кун Ил (2018). Основы теории вероятностей и стохастических процессов с приложениями к коммуникациям . Springer. ISBN 978-3-319-68074-3.
4. Монтгомери, Дуглас К. (19 ноября 2013 г.). Прикладная статистика и вероятность для инженеров . Рангер, Джордж К. (Шестое изд.). Хобокен, Нью-Джерси. ISBN 978-1-118-53971-2. OCLC  861273897.{{cite book}}: CS1 maint: location missing publisher (link)

Внешние ссылки

• «Совместное распределение», Энциклопедия математики , EMS Press , 2001 [1994]
• «Многомерное распределение», Энциклопедия математики , EMS Press , 2001 [1994]
• Современное введение в вероятность и статистику: понимание почему и как . Деккинг, Мишель, 1946-. Лондон: Springer. 2005. ISBN 978-1-85233-896-1 . OCLC  262680588. 
• «Совместная непрерывная функция плотности». PlanetMath .
• Mathworld: Совместная функция распределения