Совместное распределение вероятностей

Тип распределения вероятностей

Учитывая две случайные величины , которые определены в одном и том же вероятностном пространстве , ^[1] совместное распределение вероятностей представляет собой соответствующее распределение вероятностей для всех возможных пар выходных данных. Совместное распределение с тем же успехом можно рассматривать для любого заданного числа случайных величин. Совместное распределение кодирует маргинальные распределения , то есть распределения каждой из отдельных случайных величин и распределения условных вероятностей , которые имеют дело с тем, как распределяются выходные данные одной случайной величины, когда предоставляется информация о выходных данных другой случайной величины (ов). .

В формальной математической структуре теории меры совместное распределение задается мерой прямого действия , картой, полученной путем объединения в пары данных случайных величин, вероятностной меры выборочного пространства .

В случае вещественных случайных величин совместное распределение, как конкретное многомерное распределение, может быть выражено многомерной кумулятивной функцией распределения или многомерной функцией плотности вероятности вместе с многомерной функцией массы вероятности . В частном случае непрерывных случайных величин достаточно рассмотреть функции плотности вероятности, а в случае дискретных случайных величин достаточно рассмотреть функции массы вероятности.

Примеры

Рисует из урны

В каждой из двух урн содержится в два раза больше красных шаров, чем синих шаров, и никаких других, и из каждой урны случайным образом выбирается один шар, при этом два розыгрыша независимы друг от друга. Пусть и – дискретные случайные величины, связанные с результатами розыгрыша первой и второй урны соответственно. Вероятность вытащить красный шар из любой из урн равна 2/3, а вероятность вытащить синий шар – 1/3. Совместное распределение вероятностей представлено в следующей таблице: ${\displaystyle A}$ ${\displaystyle B}$

Каждая из четырех внутренних ячеек показывает вероятность определенной комбинации результатов двух розыгрышей; эти вероятности представляют собой совместное распределение. В любой ячейке вероятность появления определенной комбинации равна (поскольку розыгрыши независимы) произведению вероятности указанного результата для A и вероятности указанного результата для B. Сумма вероятностей в этих четырех ячейках равна 1, как и все распределения вероятностей.

Более того, последняя строка и последний столбец дают предельное распределение вероятностей для A и предельное распределение вероятностей для B соответственно. Например, для A первая из этих ячеек дает сумму вероятностей того, что A будет красным, независимо от того, какая вероятность B в столбце над ячейкой возникает, как 2/3. Таким образом, предельное распределение вероятностей для дает безусловные вероятности на , на краю таблицы. ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle B}$

Подбрасывание монеты

Рассмотрим подбрасывание двух честных монет ; пусть и будут дискретными случайными величинами, связанными с результатами первого и второго подбрасывания монеты соответственно. Каждый подбрасывание монеты представляет собой испытание Бернулли и имеет распределение Бернулли . Если на монете изображен «орёл», то соответствующая случайная величина принимает значение 1, в противном случае — значение 0. Вероятность каждого из этих исходов равна 1/2, поэтому маргинальные (безусловные) функции плотности равны ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle P(A)=1/2\quad {\text{for}}\quad A\in \{0,1\};}$

${\displaystyle P(B)=1/2\quad {\text{for}}\quad B\in \{0,1\}.}$

Совместная функция массы вероятности и определяет вероятности для каждой пары результатов. Все возможные исходы ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle (A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1).}$

Поскольку каждый исход одинаково вероятен, совместная функция массы вероятности принимает вид

${\displaystyle P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Поскольку подбрасывания монеты независимы, совместная функция массы вероятности является произведением маргинальных значений:

${\displaystyle P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Бросок кости

Рассмотрим бросок честной кости и определим , если число четное (т. е. 2, 4 или 6), и в противном случае. Кроме того, пусть, если число простое (т. е. 2, 3 или 5) и в противном случае. ${\displaystyle A=1}$ ${\displaystyle A=0}$ ${\displaystyle B=1}$ ${\displaystyle B=0}$

Тогда совместное распределение и , выраженное как функция массы вероятности, равно ${\displaystyle A}$ ${\displaystyle B}$

${\displaystyle \mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\quad \quad \mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},}$

${\displaystyle \mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\quad \quad \mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.}$

Сумма этих вероятностей обязательно равна 1, поскольку вероятность некоторой комбинации и возникновения равна 1. ${\displaystyle A}$ ${\displaystyle B}$

Маргинальное распределение вероятностей

Если в случайном эксперименте определено более одной случайной величины, важно различать совместное распределение вероятностей X и Y и распределение вероятностей каждой переменной в отдельности. Индивидуальное распределение вероятностей случайной величины называется ее предельным распределением вероятностей. В общем, предельное распределение вероятностей X можно определить из совместного распределения вероятностей X и других случайных величин.

Если совместная функция плотности вероятности случайной величины X и Y равна , предельная функция плотности вероятности X и Y, которая определяет предельное распределение , определяется выражением: ${\displaystyle f_{X,Y}(x,y)}$

${\displaystyle f_{X}(x)=\int f_{X,Y}(x,y)\;dy}$
${\displaystyle f_{Y}(y)=\int f_{X,Y}(x,y)\;dx}$

где первый интеграл рассчитан по всем точкам диапазона (X,Y), для которых X=x, а второй интеграл рассчитан по всем точкам диапазона (X,Y), для которых Y=y. ^[2]

Совместная кумулятивная функция распределения

Для пары случайных величин совместная кумулятивная функция распределения (CDF) определяется выражением ^{[3] : с. 89} ${\displaystyle X,Y}$ ${\displaystyle F_{XY}}$

где правая часть представляет вероятность того, что случайная величина примет значение меньше или равное, а также значение , меньшее или равное . ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle Y}$ ${\displaystyle y}$

Для случайных величин совместный CDF определяется выражением ${\displaystyle N}$ ${\displaystyle X_{1},\ldots ,X_{N}}$ ${\displaystyle F_{X_{1},\ldots ,X_{N}}}$

Интерпретация случайных величин как случайного вектора дает более короткие обозначения: ${\displaystyle N}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{N})^{T}}$

${\displaystyle F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}$

Функция плотности суставов или функция массы

Дискретный случай

Совместная массовая функция вероятности двух дискретных случайных величин : ${\displaystyle X,Y}$

или записано в терминах условных распределений

${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$

где вероятность того , что . ${\displaystyle \mathrm {P} (Y=y\mid X=x)}$ ${\displaystyle Y=y}$ ${\displaystyle X=x}$

Обобщением предыдущего случая с двумя переменными является совместное распределение вероятностей дискретных случайных величин , которое имеет вид: ${\displaystyle n\,}$ ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$

или эквивалентно

${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})&=\mathrm {P} (X_{1}=x_{1})\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\dots \\&\cdot P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$.

Это тождество известно как цепное правило вероятности .

Поскольку это вероятности, в случае двух переменных

${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}$

который обобщается для дискретных случайных величин до ${\displaystyle n\,}$ ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$

${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$

Непрерывный случай

Совместная функция плотности вероятности для двух непрерывных случайных величин определяется как производная совместной кумулятивной функции распределения (см. уравнение 1 ): ${\displaystyle f_{X,Y}(x,y)}$

Это равно:

${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$

где и — условные распределения данного и данного соответственно, а и — предельные распределения для и соответственно. ${\displaystyle f_{Y\mid X}(y\mid x)}$ ${\displaystyle f_{X\mid Y}(x\mid y)}$ ${\displaystyle Y}$ ${\displaystyle X=x}$ ${\displaystyle X}$ ${\displaystyle Y=y}$ ${\displaystyle f_{X}(x)}$ ${\displaystyle f_{Y}(y)}$ ${\displaystyle X}$ ${\displaystyle Y}$

Определение естественным образом распространяется на более чем две случайные величины:

Опять же, поскольку это распределения вероятностей, имеем

${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$

соответственно

${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$

Смешанный случай

«Смешанная плотность соединений» может быть определена, когда одна или несколько случайных величин являются непрерывными, а другие случайные величины являются дискретными. С одной переменной каждого типа

${\displaystyle {\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).\end{aligned}}}$

Один из примеров ситуации, в которой может потребоваться найти кумулятивное распределение одной случайной величины, которая является непрерывной, и другой случайной величины, которая является дискретной, возникает, когда кто-то хочет использовать логистическую регрессию для прогнозирования вероятности двоичного результата Y при условии, что ценность непрерывно распределяемого результата . При нахождении кумулятивного распределения этого двоичного результата необходимо использовать «смешанную» плотность соединений, поскольку входные переменные изначально были определены таким образом, что нельзя было коллективно присвоить им ни функцию плотности вероятности, ни функцию массы вероятности. Формально – функция плотности вероятности относительно меры произведения на соответствующих носителях и . Любое из этих двух разложений затем можно использовать для восстановления совместной кумулятивной функции распределения: ${\displaystyle X}$ ${\displaystyle (X,Y)}$ ${\displaystyle f_{X,Y}(x,y)}$ ${\displaystyle (X,Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds.\end{aligned}}}$

Определение обобщается на смесь произвольных чисел дискретных и непрерывных случайных величин.

Дополнительные свойства

Совместное распределение независимых переменных

В общем случае две случайные величины независимы тогда и только тогда, когда совместная кумулятивная функция распределения удовлетворяет условию ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$

Две дискретные случайные величины , независимые тогда и только тогда, когда совместная функция массы вероятности удовлетворяет условию ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle P(X=x\ {\mbox{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$

для всех и . ${\displaystyle x}$ ${\displaystyle y}$

По мере роста числа независимых случайных событий значение связанной с ними совместной вероятности быстро уменьшается до нуля по отрицательному экспоненциальному закону.

Аналогично, две абсолютно непрерывные случайные величины независимы тогда и только тогда, когда

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$

для всех и . Это означает, что получение любой информации о значении одной или нескольких случайных величин приводит к условному распределению любой другой переменной, идентичному ее безусловному (предельному) распределению; таким образом, ни одна переменная не предоставляет никакой информации о любой другой переменной. ${\displaystyle x}$ ${\displaystyle y}$

Совместное распределение условно зависимых переменных

Если подмножество переменных условно зависит от другого подмножества этих переменных, то функция массы вероятности совместного распределения равна . равно . Следовательно, это может быть эффективно представлено распределениями вероятностей меньшей размерности и . Такие отношения условной независимости могут быть представлены с помощью байесовской сети или функций копулы . ${\displaystyle A}$ ${\displaystyle X_{1},\cdots ,X_{n}}$ ${\displaystyle B}$ ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ ${\displaystyle P(B)\cdot P(A\mid B)}$ ${\displaystyle P(B)}$ ${\displaystyle P(A\mid B)}$

Ковариация

Когда в вероятностном пространстве определены две или более случайных величин, полезно описать, как они изменяются вместе; то есть полезно измерить взаимосвязь между переменными. Общей мерой связи между двумя случайными величинами является ковариация. Ковариация — это мера линейной связи между случайными величинами. Если взаимосвязь между случайными переменными нелинейна, ковариация может быть нечувствительна к взаимосвязи, а это означает, что она не связывает корреляцию между двумя переменными.

Ковариация между случайной величиной X и Y, обозначаемая как cov(X,Y), равна:

${\displaystyle \sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)-\mu _{x}\mu _{y}}$^[4]

Корреляция

Существует еще одна мера связи между двумя случайными величинами, которую зачастую легче интерпретировать, чем ковариация.

Корреляция просто масштабирует ковариацию на произведение стандартного отклонения каждой переменной. Следовательно, корреляция представляет собой безразмерную величину, с помощью которой можно сравнивать линейные зависимости между парами переменных в разных единицах измерения. Если точки совместного распределения вероятностей X и Y, которые получают положительную вероятность, имеют тенденцию падать вдоль линии положительного (или отрицательного) наклона, ρ _XY будет близок к +1 (или -1). Если ρ _XY равно +1 или -1, можно показать, что точки совместного распределения вероятностей, получившие положительную вероятность, падают точно вдоль прямой линии. Говорят, что две случайные величины с ненулевой корреляцией коррелируют. Подобно ковариации, корреляция является мерой линейной связи между случайными величинами.

Корреляция между случайной величиной X и Y, обозначаемая как

${\displaystyle \rho _{XY}={\frac {cov(X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$

Важные именованные дистрибутивы

Названные совместные распределения, которые часто возникают в статистике, включают многомерное нормальное распределение , многомерное стабильное распределение , полиномиальное распределение , отрицательное полиномиальное распределение , многомерное гипергеометрическое распределение и эллиптическое распределение .

Смотрите также

• Байесовское программирование
• Дерево Чоу-Лю
• Условная возможность
• Копула (теория вероятностей)
• Теорема о дезинтеграции
• Многомерная статистика
• Статистическая интерференция
• Попарно независимое распределение

Рекомендации

1. Феллер, Уильям (1957). Введение в теорию вероятностей и ее приложения, том 1, 3-е издание . стр. 217–218. ISBN 978-0471257080.
2. Монтгомери, Дуглас К. (19 ноября 2013 г.). Прикладная статистика и вероятность для инженеров . Рангер, Джордж К. (Шестое изд.). Хобокен, Нью-Джерси. ISBN 978-1-118-53971-2. ОКЛК  861273897.{{cite book}}: CS1 maint: location missing publisher (link)
3. Пак, Кун Иль (2018). Основы теории вероятности и случайных процессов с приложениями к средствам связи . Спрингер. ISBN 978-3-319-68074-3.
4. Монтгомери, Дуглас К. (19 ноября 2013 г.). Прикладная статистика и вероятность для инженеров . Рангер, Джордж К. (Шестое изд.). Хобокен, Нью-Джерси. ISBN 978-1-118-53971-2. ОКЛК  861273897.{{cite book}}: CS1 maint: location missing publisher (link)

Внешние ссылки

• «Совместное распространение», Математическая энциклопедия , EMS Press , 2001 [1994]
• «Многомерное распределение», Математическая энциклопедия , EMS Press , 2001 [1994]
• Современное введение в вероятность и статистику: понимание почему и как . Деккинг, Мишель (1946 г.р.). Лондон: Спрингер. 2005. ISBN 978-1-85233-896-1 . ОСЛК  262680588. 
• «Совместная функция непрерывной плотности». ПланетаМатематика .
• Mathworld: совместная функция распределения