Распределение вероятностей

Математическая функция вероятности возникновения данного результата в эксперименте.

В теории вероятностей и статистике распределение вероятностей — это математическая функция , которая определяет вероятности возникновения различных возможных результатов эксперимента . ^{[1] [2]} Это математическое описание случайного явления с точки зрения его выборочного пространства и вероятностей событий ( подмножеств выборочного пространства). ^[3]

Например, если X используется для обозначения результата подбрасывания монеты («эксперимент»), то распределение вероятностей X примет значение 0,5 (1 к 2 или 1/2) для X = орла и 0,5 для X = решка (при условии, что монета честная ). Чаще всего распределения вероятностей используются для сравнения относительного появления множества различных случайных величин.

Распределения вероятностей могут быть определены по-разному: для дискретных или для непрерывных переменных. Дистрибутивам со специальными свойствами или для особо важных приложений присваиваются особые имена.

Введение

Распределение вероятностей — это математическое описание вероятностей событий, подмножеств выборочного пространства . Пространство выборки, часто обозначаемое как набор всех возможных результатов наблюдаемого случайного явления; это может быть любой набор: набор действительных чисел , набор описательных меток, набор векторов , набор произвольных нечисловых значений и т. д. Например, пространство выборки при подбрасывании монеты будет  Ω = { " орел», «решка» } . ${\displaystyle \ \Omega \ ,}$

Чтобы определить распределения вероятностей для конкретного случая случайных величин (чтобы выборочное пространство можно было рассматривать как числовой набор), принято различать дискретные и абсолютно непрерывные случайные величины . В дискретном случае достаточно указать функцию массы вероятности , присваивающую вероятность каждому возможному исходу: например, при бросании игральной кости каждая из шести цифр от «1» до «6» , соответствующая количеству точек на кубике имеет вероятность. Вероятность события затем определяется как сумма вероятностей результатов, которые удовлетворяют событию; например, вероятность события «на кубике выпадет четное значение» равна ${\displaystyle \ p\ }$ ${\displaystyle \ {\tfrac {1}{6}}~.}$

$${\displaystyle \ p({\text{“}}2{\text{”}})+p({\text{“}}4{\text{”}})+p({\text{“}}6{\text{”}})={\tfrac {1}{6}}+{\tfrac {1}{6}}+{\tfrac {1}{6}}={\tfrac {1}{2}}~.}$$

Напротив, когда случайная величина принимает значения из континуума, то, как правило, любой отдельный результат имеет нулевую вероятность, и только события, которые включают бесконечное количество результатов, например интервалы, могут иметь положительную вероятность. Например, рассмотрим измерение веса куска ветчины в супермаркете и предположим, что точность весов составляет много цифр. Вероятность того, что он весит ровно 500  г , равна нулю, так как, скорее всего, в нем будут ненулевые десятичные цифры. Тем не менее, при контроле качества можно потребовать, чтобы упаковка ветчины «500 г» весила от 490 г до 510 г с вероятностью не менее 98%, и это требование менее чувствительно к точности измерительных приборов.

Левый график показывает функцию плотности вероятности. На правом графике показана кумулятивная функция распределения, для которой значение a равно площади под кривой плотности вероятности слева от a .

Абсолютно непрерывные распределения вероятностей можно описать несколькими способами. Функция плотности вероятности описывает бесконечно малую вероятность любого заданного значения, а вероятность того, что результат лежит в заданном интервале, может быть вычислена путем интегрирования функции плотности вероятности по этому интервалу. ^[4] Альтернативное описание распределения осуществляется с помощью кумулятивной функции распределения , которая описывает вероятность того, что случайная величина не превышает заданное значение (т.е. для некоторого ). Кумулятивная функция распределения — это площадь под функцией плотности вероятности от до , как показано на рисунке справа. ^[5] ${\displaystyle \ {\boldsymbol {\mathcal {P}}}(X<x)\ }$ ${\displaystyle \ x\ }$ ${\displaystyle \ -\infty \ }$ ${\displaystyle \ x\ ,}$

Общее определение вероятности

Распределение вероятностей можно описать в различных формах, например, с помощью функции массы вероятности или кумулятивной функции распределения. Одно из наиболее общих описаний, применимое к абсолютно непрерывным и дискретным переменным, осуществляется с помощью функции вероятности, входное пространство которой представляет собой σ-алгебру и на выходе дает вероятность действительного числа , в частности, число в . ${\displaystyle P\colon {\mathcal {A}}\to \mathbb {R} }$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle [0,1]\subseteq \mathbb {R} }$

Функция вероятности может принимать в качестве аргументов подмножества самого выборочного пространства, как в примере с подбрасыванием монеты, где функция была определена так, что P (орёл) = 0,5 и P (решка) = 0,5 . Однако из-за широкого использования случайных величин , которые преобразуют выборочное пространство в набор чисел (например, , ), более распространенным является изучение распределений вероятностей, аргументами которых являются подмножества этих конкретных видов множеств (множеств чисел), ^[6] и все распределения вероятностей, обсуждаемые в этой статье, относятся к этому типу. Это принято обозначать как вероятность того, что определенное значение переменной принадлежит определенному событию . ^{[7] [8]} ${\displaystyle P}$ ${\displaystyle P}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {N} }$ ${\displaystyle P(X\in E)}$ ${\displaystyle X}$ ${\displaystyle E}$

Приведенная выше функция вероятности характеризует распределение вероятностей только в том случае, если оно удовлетворяет всем аксиомам Колмогорова , то есть:

1. ${\displaystyle P(X\in E)\geq 0\;\forall E\in {\mathcal {A}}}$, поэтому вероятность неотрицательна
2. ${\displaystyle P(X\in E)\leq 1\;\forall E\in {\mathcal {A}}}$, поэтому никакая вероятность не превосходит ${\displaystyle 1}$
3. ${\displaystyle P(X\in \bigcup _{i}E_{i})=\sum _{i}P(X\in E_{i})}$для любого счетного непересекающегося семейства множеств ${\displaystyle \{E_{i}\}}$

Понятие функции вероятности становится более строгим, если определить ее как элемент вероятностного пространства , где – множество возможных результатов, – множество всех подмножеств , вероятность которых может быть измерена, – – функция вероятности или мера вероятности , который присваивает вероятность каждому из этих измеримых подмножеств . ^[9] ${\displaystyle (X,{\mathcal {A}},P)}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle E\subset X}$ ${\displaystyle P}$ ${\displaystyle E\in {\mathcal {A}}}$

Распределения вероятностей обычно относятся к одному из двух классов. Дискретное распределение вероятностей применимо к сценариям, в которых набор возможных результатов дискретен (например, подбрасывание монеты, бросок игральной кости), а вероятности кодируются дискретным списком вероятностей результатов; в этом случае дискретное распределение вероятностей известно как функция массы вероятности . С другой стороны, абсолютно непрерывные распределения вероятностей применимы к сценариям, в которых набор возможных результатов может принимать значения в непрерывном диапазоне (например, действительные числа), такие как температура в определенный день. В абсолютно непрерывном случае вероятности описываются функцией плотности вероятности , а распределение вероятностей по определению является интегралом функции плотности вероятности. ^{[7] [4] [8]} Нормальное распределение — это часто встречающееся абсолютно непрерывное распределение вероятностей. Более сложные эксперименты, например эксперименты со случайными процессами , определяемыми в непрерывном времени , могут потребовать использования более общих вероятностных мер .

Распределение вероятностей, выборочное пространство которого является одномерным (например, действительные числа, список меток, упорядоченные метки или двоичные числа), называется одномерным , а распределение, выборочное пространство которого представляет собой векторное пространство размерности 2 или более, называется многомерным . Одномерное распределение дает вероятности того, что одна случайная величина принимает разные значения; многомерное распределение ( совместное распределение вероятностей ) дает вероятности случайного вектора — списка двух или более случайных величин — принимающего различные комбинации значений. Важные и часто встречающиеся одномерные распределения вероятностей включают биномиальное распределение , гипергеометрическое распределение и нормальное распределение . Часто встречающимся многомерным распределением является многомерное нормальное распределение .

Помимо функции вероятности, кумулятивная функция распределения, функция массы вероятности и функция плотности вероятности, производящая функция момента и характеристическая функция также служат для идентификации распределения вероятностей, поскольку они однозначно определяют основную кумулятивную функцию распределения. ^[10]

Функция плотности вероятности (pdf) нормального распределения , также называемая гауссовской или «гауссовой кривой», наиболее важного абсолютно непрерывного случайного распределения. Как отмечено на рисунке, вероятности интервалов значений соответствуют площади под кривой.

Терминология

Ниже перечислены некоторые ключевые понятия и термины, широко используемые в литературе по теме распределений вероятностей. ^[1]

Основные условия

• Случайная переменная : принимает значения из выборочного пространства; вероятности описывают, какие значения и набор значений принимаются с большей вероятностью.
• Событие : набор возможных значений (результатов) случайной величины, происходящий с определенной вероятностью.
• Функция вероятности или мера вероятности : описывает вероятностьтого, что событиепроизойдет. ^[11] ${\displaystyle P(X\in E)}$ ${\displaystyle E,}$
• Кумулятивная функция распределения : функция, оценивающая вероятность того, чтопримет значение меньше или равное(только для вещественных случайных величин). ${\displaystyle X}$ ${\displaystyle x}$
• Квантильная функция : обратная кумулятивной функции распределения. Даеттакое, что с вероятностьюнепревысит. ${\displaystyle x}$ ${\displaystyle q}$ ${\displaystyle X}$ ${\displaystyle x}$

Дискретные распределения вероятностей

• Дискретное распределение вероятностей : для многих случайных величин с конечным или счетным числом значений.
• Функция массы вероятности ( pmf ): функция, которая дает вероятность того, что дискретная случайная величина равна некоторому значению.
• Распределение частот : таблица, в которой отображается частота различных результатов в выборке .
• Относительное распределение частот : распределение частот , при котором каждое значение было разделено (нормализовано) на количество результатов в выборке (т. е. размер выборки).
• Категориальное распределение : для дискретных случайных величин с конечным набором значений.

Абсолютно непрерывные распределения вероятностей

• Абсолютно непрерывное распределение вероятностей : для многих случайных величин с несчетным числом значений.
• Функция плотности вероятности ( pdf ) или плотность вероятности : функция, значение которой в любой заданной выборке (или точке) в выборочном пространстве (набор возможных значений, принимаемых случайной величиной) можно интерпретировать как обеспечивающую относительную вероятность того, что значение случайная величина будет равна этой выборке.

Связанные термины

• Поддержка : набор значений, которые случайная величина может принять с ненулевой вероятностью. Для случайной величиныее иногда обозначают как. ${\displaystyle X}$ ${\displaystyle R_{X}}$
• Хвост : ^[12] области, близкие к границам случайной величины, если pmf или pdf в них относительно низкие. Обычно имеет форму или ее объединение. ${\displaystyle X>a}$ ${\displaystyle X<b}$
• Голова : ^[12] область, где pmf или pdf относительно высоки. Обычно имеет форму . ${\displaystyle a<X<b}$
• Ожидаемое значение или среднее значение : средневзвешенное значение возможных значений с использованием их вероятностей в качестве весов; или его непрерывный аналог.
• Медиана : значение, при котором набор значений, меньший медианы, и набор значений, превышающий медиану, имеют вероятность не более половины.
• Режим : для дискретной случайной величины значение с наибольшей вероятностью; для абсолютно непрерывной случайной величины - место, в котором функция плотности вероятности имеет локальный пик.
• Квантиль : q-квантиль — этотакое значение, что. ${\displaystyle x}$ ${\displaystyle P(X<x)=q}$
• Дисперсия : второй момент pmf или pdf относительно среднего значения; важная мера дисперсии распределения .
• Стандартное отклонение : квадратный корень дисперсии и, следовательно, еще одна мера дисперсии.
• Симметрия : свойство некоторых распределений, в которых часть распределения слева от определенного значения (обычно медианы) является зеркальным отражением части справа.
• Асимметрия : мера того, насколько pmf или pdf «наклоняется» в одну сторону от своего среднего значения. Третий стандартизированный момент распределения.
• Куртозис : мера «упитанности» хвостов pmf или pdf. Четвертый стандартизированный момент распределения.

Кумулятивная функция распределения

В частном случае действительной случайной величины распределение вероятностей может быть эквивалентно представлено кумулятивной функцией распределения вместо вероятностной меры. Кумулятивная функция распределения случайной величины с учетом распределения вероятностей определяется как ${\displaystyle X}$ ${\displaystyle p}$

$${\displaystyle F(x)=P(X\leq x).}$$

Кумулятивная функция распределения любой вещественной случайной величины обладает свойствами:

• ${\displaystyle F(x)}$не убывает;
• ${\displaystyle F(x)}$является непрерывным справа ;
• ${\displaystyle 0\leq F(x)\leq 1}$;
• ${\displaystyle \lim _{x\to -\infty }F(x)=0}$и ; и ${\displaystyle \lim _{x\to \infty }F(x)=1}$
• ${\displaystyle \Pr(a<X\leq b)=F(b)-F(a)}$.

И наоборот, любая функция , которая удовлетворяет первым четырем свойствам, указанным выше, является кумулятивной функцией распределения некоторого распределения вероятностей действительных чисел. ^[13] ${\displaystyle F:\mathbb {R} \to \mathbb {R} }$

Любое распределение вероятностей можно разложить как смесь дискретного , абсолютно непрерывного и сингулярного непрерывного распределения ^[14] , и, таким образом, любая кумулятивная функция распределения допускает разложение в виде выпуклой суммы трех согласно кумулятивным функциям распределения.

Дискретное распределение вероятностей

Функция массы вероятности (pmf) определяет распределение вероятностей для суммы отсчетов на двух игральных костях . Например, на рисунке показано, что . PMF позволяет вычислить вероятности таких событий, как , и всех других вероятностей в распределении. ${\displaystyle p(S)}$ ${\displaystyle S}$ ${\displaystyle p(11)=2/36=1/18}$ ${\displaystyle P(X>9)=1/12+1/18+1/36=1/6}$

Массовая функция вероятности дискретного распределения вероятностей. Вероятности одиночных элементов {1}, {3} и {7} равны соответственно 0,2, 0,5, 0,3. Набор, не содержащий ни одной из этих точек, имеет нулевую вероятность.

CDF дискретного распределения вероятностей, ...

... непрерывного распределения вероятностей, ...

... распределения, которое имеет как непрерывную, так и дискретную часть

Дискретное распределение вероятностей — это распределение вероятностей случайной величины, которая может принимать только счетное число значений ^[15] ( почти наверняка ) ^[16] . Это означает, что вероятность любого события может быть выражена как (конечная или счетная бесконечность) ) сумма: ${\displaystyle E}$

$${\displaystyle P(X\in E)=\sum _{\omega \in A\cap E}P(X=\omega ),}$$

функция массы вероятности ${\displaystyle A}$ ${\displaystyle P(X\in A)=1}$ ${\displaystyle p(x)=P(X=x)}$ ${\displaystyle p(n)={\tfrac {1}{2^{n}}}}$ ${\displaystyle n=1,2,...}$ ${\displaystyle 1/2+1/4+1/8+\dots =1}$

Хорошо известные дискретные распределения вероятностей, используемые в статистическом моделировании, включают распределение Пуассона , распределение Бернулли , биномиальное распределение , геометрическое распределение , отрицательное биномиальное распределение и категориальное распределение . ^[3] Когда выборка (набор наблюдений) формируется из более крупной совокупности, точки выборки имеют дискретное эмпирическое распределение , которое предоставляет информацию о распределении совокупности. Кроме того, дискретное равномерное распределение обычно используется в компьютерных программах, которые делают случайный выбор с равной вероятностью между несколькими вариантами.

Кумулятивная функция распределения

Дискретную случайную величину с действительным знаком можно эквивалентно определить как случайную величину, чья кумулятивная функция распределения увеличивается только за счет скачков , то есть ее cdf увеличивается только там, где она «перескакивает» к более высокому значению, и является постоянной в интервалах без скачков. Точки, в которых происходят скачки, и есть те значения, которые может принимать случайная величина. Таким образом, кумулятивная функция распределения имеет вид

$${\displaystyle F(x)=P(X\leq x)=\sum _{\omega \leq x}p(\omega ).}$$

Точки, в которых происходит скачок CDF, всегда образуют счетное множество; это может быть любое счетное множество и, следовательно, оно может быть даже плотным в действительных числах.

Дельта-представление Дирака

Дискретное распределение вероятностей часто представляется мерами Дирака , распределениями вероятностей детерминированных случайных величин . Для любого результата пусть будет мера Дирака, сосредоточенная в . Учитывая дискретное распределение вероятностей, существует счетное множество с и функцией вероятностной массы . Если какое-либо событие, то ${\displaystyle \omega }$ ${\displaystyle \delta _{\omega }}$ ${\displaystyle \omega }$ ${\displaystyle A}$ ${\displaystyle P(X\in A)=1}$ ${\displaystyle p}$ ${\displaystyle E}$

$${\displaystyle P(X\in E)=\sum _{\omega \in A}p(\omega )\delta _{\omega }(E),}$$

$${\displaystyle P_{X}=\sum _{\omega \in A}p(\omega )\delta _{\omega }.}$$

Аналогично, дискретные распределения могут быть представлены с помощью дельта-функции Дирака как обобщенной функции плотности вероятности , где ${\displaystyle f}$

$${\displaystyle f(x)=\sum _{\omega \in A}p(\omega )\delta (x-\omega ),}$$

$${\displaystyle P(X\in E)=\int _{E}f(x)\,dx=\sum _{\omega \in A}p(\omega )\int _{E}\delta (x-\omega )=\sum _{\omega \in A\cap E}p(\omega )}$$

^[17] ${\displaystyle E.}$

Представление индикаторной функции

Для дискретной случайной величины пусть – значения, которые она может принимать с ненулевой вероятностью. Обозначим ${\displaystyle X}$ ${\displaystyle u_{0},u_{1},\dots }$

$${\displaystyle \Omega _{i}=X^{-1}(u_{i})=\{\omega :X(\omega )=u_{i}\},\,i=0,1,2,\dots }$$

Это непересекающиеся множества , и для таких множеств

$${\displaystyle P\left(\bigcup _{i}\Omega _{i}\right)=\sum _{i}P(\Omega _{i})=\sum _{i}P(X=u_{i})=1.}$$

Отсюда следует, что вероятность, принимающая любое значение, кроме , равна нулю, и поэтому можно записать как ${\displaystyle X}$ ${\displaystyle u_{0},u_{1},\dots }$ ${\displaystyle X}$

$${\displaystyle X(\omega )=\sum _{i}u_{i}1_{\Omega _{i}}(\omega )}$$

кроме набора с нулевой вероятностью, где – индикаторная функция . Это может служить альтернативным определением дискретных случайных величин. ${\displaystyle 1_{A}}$ ${\displaystyle A}$

Одноточечное распределение

Особый случай — дискретное распределение случайной величины, которая может принимать только одно фиксированное значение; другими словами, это детерминированное распределение . Выражаясь формально, случайная величина имеет одноточечное распределение, если она имеет такой возможный результат, что ^[18] Тогда все остальные возможные результаты имеют вероятность 0. Ее кумулятивная функция распределения сразу же подскакивает от 0 до 1. ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle P(X{=}x)=1.}$

Абсолютно непрерывное распределение вероятностей

Абсолютно непрерывное распределение вероятностей — это распределение вероятностей действительных чисел с бесчисленным множеством возможных значений, например целым интервалом в действительной прямой, и где вероятность любого события может быть выражена в виде интеграла. ^[19] Точнее, действительная случайная величина имеет абсолютно непрерывное распределение вероятностей, если существует функция такая, что для каждого интервала вероятность принадлежности к дается интегралом от : [ ^{20] [21]} ${\displaystyle X}$ ${\displaystyle f:\mathbb {R} \to [0,\infty ]}$ ${\displaystyle I=[a,b]\subset \mathbb {R} }$ ${\displaystyle X}$ ${\displaystyle I}$ ${\displaystyle f}$ ${\displaystyle I}$

$${\displaystyle P\left(a\leq X\leq b\right)=\int _{a}^{b}f(x)\,dx.}$$

функции плотности вероятностиинтеграл ${\displaystyle X}$ ${\displaystyle a}$ ${\displaystyle a\leq X\leq a}$ ${\displaystyle [a,b]}$ ${\displaystyle A}$

$${\displaystyle P(X\in A)=\int _{A}f(x)\,dx.}$$

Абсолютно непрерывная случайная величина — это случайная величина, распределение вероятностей которой абсолютно непрерывно.

Существует множество примеров абсолютно непрерывных распределений вероятностей: нормальное , равномерное , хи-квадрат и другие .

Кумулятивная функция распределения

Абсолютно непрерывные распределения вероятностей, определенные выше, — это те, которые имеют абсолютно непрерывную кумулятивную функцию распределения. В этом случае кумулятивная функция распределения имеет вид ${\displaystyle F}$

$${\displaystyle F(x)=P(X\leq x)=\int _{-\infty }^{x}f(t)\,dt}$$

${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle P}$

Примечание по терминологии: абсолютно непрерывные распределения следует отличать от непрерывных распределений , которые имеют непрерывную кумулятивную функцию распределения. Каждое абсолютно непрерывное распределение является непрерывным распределением, но обратное неверно: существуют сингулярные распределения , которые не являются ни абсолютно непрерывными, ни дискретными, ни их смесью и не имеют плотности. Примером может служить распределение Кантора . Однако некоторые авторы используют термин «непрерывное распределение» для обозначения всех распределений, кумулятивная функция распределения которых абсолютно непрерывна , т.е. называют абсолютно непрерывные распределения непрерывными распределениями. ^[7]

Более общее определение функций плотности и эквивалентных им абсолютно непрерывных мер см. в разделе « Абсолютно непрерывная мера» .

Колмогоровское определение

В теоретико-мерной формализации теории вероятностей случайная величина определяется как измеримая функция из вероятностного пространства в измеримое пространство . Учитывая, что вероятности событий формы удовлетворяют аксиомам вероятности Колмогорова , распределение вероятностей является мерой изображения , которая является вероятностной мерой при удовлетворении . ^{[22] [23] [24]} ${\displaystyle X}$ ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$ ${\displaystyle \{\omega \in \Omega \mid X(\omega )\in A\}}$ ${\displaystyle X}$ ${\displaystyle X_{*}\mathbb {P} }$ ${\displaystyle X}$ ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$ ${\displaystyle X_{*}\mathbb {P} =\mathbb {P} X^{-1}}$

Другие виды дистрибутивов

Одно из решений уравнений Рабиновича–Фабриканта . Какова вероятность наблюдения состояния на определенном месте носителя (т. е. красном подмножестве)?

Абсолютно непрерывные и дискретные распределения с поддержкой или чрезвычайно полезны для моделирования множества явлений, ^{[7] [5],} поскольку большинство практических распределений поддерживаются на относительно простых подмножествах, таких как гиперкубы или шары . Однако это не всегда так, и существуют явления с опорами, которые на самом деле представляют собой сложные кривые в каком-то пространстве или что-то подобное. В этих случаях распределение вероятностей опирается на изображение такой кривой и, скорее всего, будет определено эмпирическим путем, а не поиском для него замкнутой формулы. ^[25] ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle \mathbb {N} ^{k}}$ ${\displaystyle \gamma :[a,b]\rightarrow \mathbb {R} ^{n}}$ ${\displaystyle \mathbb {R} ^{n}}$

Один из примеров показан на рисунке справа, где показана эволюция системы дифференциальных уравнений (широко известных как уравнения Рабиновича – Фабриканта ), которые можно использовать для моделирования поведения ленгмюровских волн в плазме . ^[26] Когда это явление изучается, наблюдаемые состояния из подмножества обозначены красным. Таким образом, можно было бы спросить, какова вероятность наблюдения состояния в определенной позиции красного подмножества; если такая вероятность существует, она называется вероятностной мерой системы. ^{[27] [25]}

Такая сложная поддержка довольно часто встречается в динамических системах . Установить, что система имеет вероятностную меру, непросто, и основная проблема заключается в следующем. Пусть – моменты времени и подмножество носителя; если для системы существует вероятностная мера, можно было бы ожидать, что частота наблюдений состояний внутри множества будет равна интервалу и , чего может не произойти; например, он может колебаться подобно синусу, предел которого при не сходится. Формально мера существует только в том случае, если предел относительной частоты сходится при наблюдении системы в бесконечное будущее. ^[28] Разделом динамических систем, изучающим существование вероятностной меры, является эргодическая теория . ${\displaystyle t_{1}\ll t_{2}\ll t_{3}}$ ${\displaystyle O}$ ${\displaystyle O}$ ${\displaystyle [t_{1},t_{2}]}$ ${\displaystyle [t_{2},t_{3}]}$ ${\displaystyle \sin(t)}$ ${\displaystyle t\rightarrow \infty }$

Обратите внимание, что даже в этих случаях распределение вероятностей, если оно существует, все равно можно было бы назвать «абсолютно непрерывным» или «дискретным» в зависимости от того, является ли носитель несчетным или счетным соответственно.

Генерация случайных чисел

Большинство алгоритмов основаны на генераторе псевдослучайных чисел , который выдает числа , равномерно распределенные в полуоткрытом интервале [0, 1) . Эти случайные величины затем преобразуются с помощью некоторого алгоритма для создания новой случайной величины, имеющей требуемое распределение вероятностей. С помощью этого источника однородной псевдослучайности можно генерировать реализации любой случайной величины. ^[29] ${\displaystyle X}$ ${\displaystyle X}$

Например, предположим, что имеет равномерное распределение между 0 и 1. Чтобы построить случайную переменную Бернулли для некоторого , мы определяем ${\displaystyle U}$ ${\displaystyle 0<p<1}$

$${\displaystyle X={\begin{cases}1,&{\text{if }}U<p\\0,&{\text{if }}U\geq p\end{cases}}}$$

$${\displaystyle \Pr(X=1)=\Pr(U<p)=p,\quad \Pr(X=0)=\Pr(U\geq p)=1-p.}$$

Эта случайная величина X имеет распределение Бернулли с параметром . ^[29] Это преобразование дискретной случайной величины. ${\displaystyle p}$

Для функции распределения абсолютно непрерывной случайной величины необходимо построить абсолютно непрерывную случайную величину. , обратная функция , относится к однородной переменной : ${\displaystyle F}$ ${\displaystyle F^{\mathit {inv}}}$ ${\displaystyle F}$ ${\displaystyle U}$

$${\displaystyle {U\leq F(x)}={F^{\mathit {inv}}(U)\leq x}.}$$

Например, предположим, что необходимо построить случайную величину, имеющую экспоненциальное распределение. ${\displaystyle F(x)=1-e^{-\lambda x}}$

$${\displaystyle {\begin{aligned}F(x)=u&\Leftrightarrow 1-e^{-\lambda x}=u\\[2pt]&\Leftrightarrow e^{-\lambda x}=1-u\\[2pt]&\Leftrightarrow -\lambda x=\ln(1-u)\\[2pt]&\Leftrightarrow x={\frac {-1}{\lambda }}\ln(1-u)\end{aligned}}}$$

^[29] ${\displaystyle F^{\mathit {inv}}(u)={\frac {-1}{\lambda }}\ln(1-u)}$ ${\displaystyle U}$ ${\displaystyle U(0,1)}$ ${\displaystyle X}$ ${\displaystyle X=F^{\mathit {inv}}(U)={\frac {-1}{\lambda }}\ln(1-U)}$ ${\displaystyle \lambda }$

Частой проблемой при статистическом моделировании ( метод Монте-Карло ) является генерация псевдослучайных чисел , которые распределяются заданным образом.

Общие распределения вероятностей и их приложения.

Концепция распределения вероятностей и описываемых ими случайных величин лежит в основе математической дисциплины теории вероятностей и статистики. Существует разброс или изменчивость практически любой величины, которую можно измерить в популяции (например, рост людей, долговечность металла, рост продаж, транспортный поток и т. д.); почти все измерения производятся с некоторой основной погрешностью; В физике многие процессы описываются вероятностно, от кинетических свойств газов до квантовомеханического описания элементарных частиц . По этим и многим другим причинам простые числа часто недостаточны для описания величины, в то время как распределения вероятностей часто более подходят.

Ниже приводится список некоторых наиболее распространенных распределений вероятностей, сгруппированных по типу процесса, к которому они относятся. Более полный список см. в списке вероятностных распределений , которые группируются по характеру рассматриваемого результата (дискретные, абсолютно непрерывные, многомерные и т. д.).

Все приведенные ниже одномерные распределения имеют один пик; то есть предполагается, что значения группируются вокруг одной точки. На практике фактически наблюдаемые величины могут группироваться вокруг нескольких значений. Такие количества можно смоделировать с помощью распределения смеси .

Линейный рост (например, ошибки, смещения)

• Нормальное распределение (распределение Гаусса) для одной такой величины; наиболее часто используемое абсолютно непрерывное распределение

Экспоненциальный рост (например, цен, доходов, населения)

• Логарифмически нормальное распределение для одной такой величины, журнал которой имеет нормальное распределение.
• Распределение Парето для одной такой величины, журнал которой распределен экспоненциально ; прототипическое степенное распределение

Равномерно распределенные количества

• Дискретное равномерное распределение для конечного набора значений (например, результат игры в кости)
• Непрерывное равномерное распределение для абсолютно непрерывно распределенных значений

Испытания Бернулли (события да/нет, с заданной вероятностью)

• Основные дистрибутивы:
  • Распределение Бернулли для результатов одного испытания Бернулли (например, успех/неудача, да/нет)
  • Биномиальное распределение количества «положительных событий» (например, успехов, голосов «да» и т. д.) при фиксированном общем количестве независимых событий .
  • Отрицательное биномиальное распределение для наблюдений биномиального типа, но где интересующей величиной является количество неудач до того, как произойдет заданное количество успехов.
  • Геометрическое распределение для наблюдений биномиального типа, но где интересующей величиной является количество неудач до первого успеха; частный случай отрицательного биномиального распределения
• Относится к схемам выборки для конечной совокупности:
  • Гипергеометрическое распределение для количества «положительных вхождений» (например, успехов, голосов «да» и т. д.) с учетом фиксированного общего количества вхождений с использованием выборки без замены.
  • Бета-биномиальное распределение для количества «положительных событий» (например, успехов, голосов «да» и т. д.) с учетом фиксированного общего количества событий, выборка с использованием модели урны Пойа (в некотором смысле «противоположность» выборке без замены )

Категориальные исходы (события с K возможными исходами)

• Категориальное распределение для одного категориального результата (например, да/нет/может быть в опросе); обобщение распределения Бернулли
• Полиномиальное распределение для количества каждого типа категориального результата при фиксированном общем количестве результатов; обобщение биномиального распределения
• Многомерное гипергеометрическое распределение , аналогичное полиномиальному распределению , но с использованием выборки без замены ; обобщение гипергеометрического распределения

Пуассоновский процесс (события, происходящие независимо с заданной скоростью)

• Распределение Пуассона для количества появлений события типа Пуассона за заданный период времени.
• Экспоненциальное распределение за время до наступления следующего события типа Пуассона.
• Распределение гамма-излучения за время до возникновения следующих k событий пуассоновского типа.

Абсолютные значения векторов с нормально распределенными компонентами

• Распределение Рэлея для распределения векторных величин с гауссово распределенными ортогональными компонентами. Распределения Рэлея обнаруживаются в радиочастотных сигналах с гауссовыми действительными и мнимыми компонентами.
• Распределение Райса — обобщение распределений Рэлея для случаев, когда имеется стационарная составляющая фонового сигнала. Обнаруживается в затухании радиосигналов по Райсу из-за многолучевого распространения и в МР-изображениях с шумовым искажением ненулевых сигналов ЯМР.

Нормально распределенные величины оперируют суммой квадратов.

• Распределение хи-квадрат — распределение суммы квадратов стандартных нормальных переменных; полезно, например, для вывода относительно выборочной дисперсии нормально распределенных выборок (см. тест хи-квадрат )
• Распределение Стьюдента , распределение отношения стандартной нормальной переменной и квадратного корня из масштабированной переменной хи-квадрат ; полезен для вывода о среднем значении нормально распределенных выборок с неизвестной дисперсией (см. t-критерий Стьюдента )
• F-распределение , распределение отношения двух масштабированных переменных хи-квадрат ; полезно, например, для выводов, которые включают сравнение дисперсий или R-квадрат (квадрат коэффициента корреляции )

Как сопряженные априорные распределения в байесовском выводе

• Бета-распределение для одной вероятности (действительное число от 0 до 1); сопряжено с распределением Бернулли и биномиальным распределением
• Гамма-распределение для неотрицательного параметра масштабирования; сопряжен с параметром скорости распределения Пуассона или экспоненциального распределения , точностью (обратной дисперсией ) нормального распределения и т. д.
• Распределение Дирихле для вектора вероятностей, сумма которых должна быть равна 1; сопряжено с категориальным распределением и полиномиальным распределением ; обобщение бета-распределения
• Распределение Уишарта для симметричной неотрицательно определенной матрицы; сопряжено с обратной ковариационной матрицей многомерного нормального распределения ; обобщение гамма-распределения ^[30]

Некоторые специализированные приложения вероятностных распределений

• Модели кэш-языка и другие статистические модели языка , используемые при обработке естественного языка для назначения вероятностей появления определенных слов и последовательностей слов, делают это посредством вероятностных распределений.
• В квантовой механике плотность вероятности обнаружения частицы в данной точке пропорциональна квадрату величины волновой функции частицы в этой точке (см. правило Борна ). Следовательно, функция распределения вероятностей положения частицы описывается как вероятность того, что положение частицы x будет находиться в интервале a ≤ x ≤ b в первом измерении, и аналогичный тройной интеграл в третьем измерении. Это ключевой принцип квантовой механики. ^[31] ${\textstyle P_{a\leq x\leq b}(t)=\int _{a}^{b}dx\,|\Psi (x,t)|^{2}}$
• Вероятностный поток нагрузки при исследовании потока мощности объясняет неопределенности входных переменных как распределение вероятностей и обеспечивает расчет потока мощности также с точки зрения распределения вероятностей. ^[32]
• Прогнозирование возникновения природных явлений на основе предыдущих распределений частот, таких как тропические циклоны , град, время между событиями и т. д. ^[33]

Примерка

Подбор распределения вероятностей или просто подбор распределения — это подбор распределения вероятностей к ряду данных, касающихся повторных измерений переменного явления. Целью подбора распределения является предсказание вероятности или частоты возникновения величины явления в определенном интервале .

Существует множество распределений вероятностей (см. список распределений вероятностей ), из которых некоторые можно более точно подогнать к наблюдаемой частоте данных, чем другие, в зависимости от характеристик явления и распределения. Предполагается, что распределение, дающее точное соответствие, приведет к хорошим прогнозам.

Поэтому при подборе распределения необходимо выбрать распределение, которое хорошо соответствует данным.

Смотрите также

• Математический портал

• Условное распределение вероятностей
• Эмпирическое распределение вероятностей
• Гистограмма
• Совместное распределение вероятностей
• Вероятностная мера
• Распределение квазивероятностей
• Приложение интеграла Римана–Стилтьеса к теории вероятностей

Списки

• Список вероятностных распределений
• Список статистических тем

Рекомендации

Цитаты

1. Эверитт, Брайан (2006). Кембриджский статистический словарь (3-е изд.). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 978-0-511-24688-3. ОСЛК  161828328.
2. Эш, Роберт Б. (2008). Основная теория вероятностей (изд. Дувра). Минеола, Нью-Йорк: Dover Publications. стр. 66–69. ISBN 978-0-486-46628-6. ОКЛК  190785258.
3. Эванс, Майкл; Розенталь, Джеффри С. (2010). Вероятность и статистика: наука о неопределенности (2-е изд.). Нью-Йорк: WH Freeman and Co., с. 38. ISBN 978-1-4292-2462-8. ОКЛК  473463742.
4. «1.3.6.1. Что такое распределение вероятностей». www.itl.nist.gov . Проверено 10 сентября 2020 г.
5. Деккинг, Мишель (1946–) (2005). Современное введение в вероятность и статистику: понимание почему и как . Лондон, Великобритания: Спрингер. ISBN 978-1-85233-896-1. ОСЛК  262680588.{{cite book}}: CS1 maint: numeric names: authors list (link)
6. Уолпол, RE; Майерс, Р.Х.; Майерс, СЛ; Йе, К. (1999). Вероятность и статистика для инженеров . Прентис Холл.
7. Росс, Шелдон М. (2010). Первый курс теории вероятности . Пирсон.
8. ДеГрут, Моррис Х.; Шервиш, Марк Дж. (2002). Вероятность и статистика . Аддисон-Уэсли.
9. Биллингсли, П. (1986). Вероятность и мера . Уайли. ISBN 9780471804789.
10. Шепард, Нью-Йорк (1991). «От характеристической функции к функции распределения: простая основа теории». Эконометрическая теория . 7 (4): 519–529. дои : 10.1017/S0266466600004746. S2CID  14668369.
11. Главы 1 и 2 Вапника (1998)
12. Дополнительную информацию и примеры можно найти в статьях Распределение с тяжелым хвостом , Распределение с длинным хвостом , Распределение с толстым хвостом.
13. Эрхан, Чинлар (2011). Вероятность и стохастика . Нью-Йорк: Спрингер. п. 57. ИСБН 9780387878584.
14. см. теорему Лебега о разложении.
15. Эрхан, Чинлар (2011). Вероятность и стохастика . Нью-Йорк: Спрингер. п. 51. ИСБН 9780387878591. ОСЛК  710149819.
16. Кон, Дональд Л. (1993). Теория меры . Биркхойзер.
17. Хури, Андре И. (март 2004 г.). «Применение дельта-функции Дирака в статистике». Международный журнал математического образования в области науки и технологий . 35 (2): 185–195. дои : 10.1080/00207390310001638313. ISSN  0020-739X. S2CID  122501973.
18. Фиш, Марек (1963). Теория вероятностей и математическая статистика (3-е изд.). Джон Уайли и сыновья. п. 129. ИСБН 0-471-26250-1.
19. Джеффри Сет Розенталь (2000). Первый взгляд на строгую теорию вероятностей . Всемирная научная.
20. Глава 3.2 ДеГрута и Шервиша (2002)
21. Борн, Мюррей. «11. Распределения вероятностей – понятия». www.intmath.com . Проверено 10 сентября 2020 г.
22. В., Строк, Дэниел (1999). Теория вероятностей: аналитический взгляд (Переизданная ред.). Кембридж [Англия]: Издательство Кембриджского университета. п. 11. ISBN 978-0521663496. ОСЛК  43953136.{{cite book}}: CS1 maint: multiple names: authors list (link)
23. Колмогоров, Андрей (1950) [1933]. Основы теории вероятностей . Нью-Йорк, США: Издательство Челси. стр. 21–24.
24. Джойс, Дэвид (2014). «Аксиомы вероятности» (PDF) . Университет Кларка . Проверено 5 декабря 2019 г.
25. Аллигуд, КТ; Зауэр, Т.Д.; Йорк, Дж.А. (1996). Хаос: введение в динамические системы . Спрингер.
26. Рабинович, М.И.; Фабрикант, Ал. (1979). «Стохастическая самомодуляция волн в неравновесных средах». Дж. Эксп. Теор. Физ . 77 : 617–629. Бибкод : 1979JETP...50..311R.
27. Раздел 1.9 Росс, С.М.; Пекез, Э.А. (2007). Второй курс вероятности (PDF) .
28. Уолтерс, Питер (2000). Введение в эргодическую теорию . Спрингер.
29. Деккинг, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Хендрик Пауль; Мистер, Людольф Эрвин (2005), «Почему вероятность и статистика?», Современное введение в вероятность и статистику , Springer London, стр. 1–11, doi : 10.1007/1-84628-168-7_1, ISBN 978-1-85233-896-1
30. Бишоп, Кристофер М. (2006). Распознавание образов и машинное обучение . Нью-Йорк: Спрингер. ISBN 0-387-31073-8. ОСЛК  71008143.
31. Чанг, Раймонд. (2014). Физическая химия для химических наук . Томан, Джон В. младший, 1960-. [Милл-Вэлли, Калифорния]. стр. 403–406. ISBN 978-1-68015-835-9. ОСЛК  927509011.{{cite book}}: CS1 maint: location missing publisher (link)
32. Чен, П.; Чен, З.; Бак-Йенсен, Б. (апрель 2008 г.). «Вероятностный поток нагрузки: обзор». 2008 Третья Международная конференция по дерегулированию и реструктуризации электроэнергетики и энергетическим технологиям . стр. 1586–1591. дои : 10.1109/drpt.2008.4523658. ISBN 978-7-900714-13-8. S2CID  18669309.
33. Майти, Раджиб (30 апреля 2018 г.). Статистические методы в гидрологии и гидроклиматологии . Сингапур. ISBN 978-981-10-8779-0. ОСЛК  1038418263.{{cite book}}: CS1 maint: location missing publisher (link)

Источники

• ден Деккер, AJ; Сийберс, Дж. (2014). «Распределение данных на магнитно-резонансных изображениях: обзор». Физика Медика . 30 (7): 725–741. дои :10.1016/j.ejmp.2014.05.002. ПМИД  25059432.
• Вапник, Владимир Наумович (1998). Статистическая теория обучения . Джон Уайли и сыновья.

Внешние ссылки

• «Распределение вероятностей», Математическая энциклопедия , EMS Press , 2001 [1994]
• Полевое руководство по непрерывному распределению вероятностей, Гэвин Э. Крукс.
• Различение вероятностной меры, функции и распределения