Теория вероятностей

Раздел математики, посвященный теории вероятностей

Теория вероятностей или исчисление вероятностей — это раздел математики, занимающийся вероятностью . Хотя существует несколько различных интерпретаций вероятности , теория вероятностей рассматривает эту концепцию в строгой математической манере, выражая ее через набор аксиом . Обычно эти аксиомы формализуют вероятность в терминах вероятностного пространства , которое назначает меру, принимающую значения от 0 до 1, называемую вероятностной мерой , набору результатов, называемому выборочным пространством . Любое указанное подмножество выборочного пространства называется событием .

Центральными предметами теории вероятностей являются дискретные и непрерывные случайные величины , распределения вероятностей и стохастические процессы (которые обеспечивают математические абстракции недетерминированных или неопределенных процессов или измеряемых величин , которые могут быть либо единичными событиями, либо развиваться с течением времени случайным образом). Хотя невозможно идеально предсказать случайные события, многое можно сказать об их поведении. Два основных результата теории вероятностей, описывающих такое поведение, — это закон больших чисел и центральная предельная теорема .

Как математическая основа статистики , теория вероятностей имеет важное значение для многих видов человеческой деятельности, которые включают количественный анализ данных. ^[1] Методы теории вероятностей также применяются к описанию сложных систем, имея лишь частичное знание их состояния, как в статистической механике или последовательной оценке . Великим открытием физики двадцатого века стала вероятностная природа физических явлений в атомных масштабах, описанная в квантовой механике . ^[2]

История вероятности

Современная математическая теория вероятностей берет свое начало в попытках анализа азартных игр Джероламо Кардано в шестнадцатом веке, а также Пьера де Ферма и Блеза Паскаля в семнадцатом веке (например, « проблема точек »). ^[3] Христиан Гюйгенс опубликовал книгу на эту тему в 1657 году. ^[4] В XIX веке то, что считается классическим определением вероятности, было завершено Пьером Лапласом . ^[5]

Первоначально теория вероятностей рассматривала в основном дискретные события, а ее методы были в основном комбинаторными . В конце концов, аналитические соображения вынудили включить в теорию непрерывные переменные.

Это достигло кульминации в современной теории вероятностей, на основе, заложенной Андреем Николаевичем Колмогоровым . Колмогоров объединил понятие выборочного пространства , введенное Рихардом фон Мизесом , и теорию меры и представил свою систему аксиом для теории вероятностей в 1933 году. Это стало в основном бесспорной аксиоматической основой для современной теории вероятностей; но существуют альтернативы, такие как принятие конечной, а не счетной аддитивности Бруно де Финетти . ^[6]

Уход

Большинство вступлений в теорию вероятностей рассматривают дискретные распределения вероятностей и непрерывные распределения вероятностей по отдельности. Рассмотрение вероятности на основе теории меры охватывает дискретные, непрерывные, их смесь и многое другое.

Мотивация

Рассмотрим эксперимент , который может дать несколько результатов. Набор всех результатов называется пространством выборки эксперимента. Множество мощности пространства выборки (или, что эквивалентно, пространство событий) формируется путем рассмотрения всех различных наборов возможных результатов. Например, бросание честной игральной кости дает один из шести возможных результатов. Один набор возможных результатов соответствует получению нечетного числа. Таким образом, подмножество {1,3,5} является элементом множества мощности пространства выборки бросков игральных костей. Эти наборы называются событиями . В этом случае {1,3,5} является событием, заключающимся в том, что кость выпадает на некоторое нечетное число. Если результаты, которые действительно происходят, приходятся на данное событие, говорят, что это событие произошло.

Вероятность — это способ присвоения каждому «событию» значения от нуля до единицы с требованием, чтобы событию, составленному из всех возможных результатов (в нашем примере, событию {1,2,3,4,5,6}), было присвоено значение один. Чтобы квалифицироваться как распределение вероятностей , присвоение значений должно удовлетворять требованию, что если вы смотрите на набор взаимоисключающих событий (событий, которые не содержат общих результатов, например, события {1,6}, {3} и {2,4} являются взаимоисключающими), вероятность того, что любое из этих событий произойдет, задается суммой вероятностей событий. ^[7]

Вероятность того, что произойдет любое из событий {1,6}, {3} или {2,4}, составляет 5/6. Это то же самое, что сказать, что вероятность события {1,2,3,4,6} составляет 5/6. Это событие охватывает возможность выпадения любого числа, кроме пяти. Взаимоисключающее событие {5} имеет вероятность 1/6, а событие {1,2,3,4,5,6} имеет вероятность 1, то есть абсолютную уверенность.

При выполнении вычислений с использованием результатов эксперимента необходимо, чтобы всем этим элементарным событиям был присвоен номер. Это делается с помощью случайной величины . Случайная величина — это функция, которая присваивает каждому элементарному событию в пространстве выборки действительное число . Эта функция обычно обозначается заглавной буквой. ^[8] В случае игральной кости присвоение числа определенным элементарным событиям может быть выполнено с помощью функции тождества . Это не всегда работает. Например, при подбрасывании монеты возможны два результата: «орел» и «решка». В этом примере случайная величина X может присвоить результату «орел» число «0» ( ), а результату «решка» число «1» ( ). ${\textstyle X({\text{heads}})=0}$ ${\displaystyle X({\text{tails}})=1}$

Дискретные распределения вероятностей

Распределение Пуассона — дискретное распределение вероятностей.

Дискретная теория вероятностей имеет дело с событиями, которые происходят в счетных выборочных пространствах.

Примеры: бросание игральных костей , эксперименты с колодами карт , случайное блуждание и подбрасывание монет .

Классическое определение : Первоначально вероятность наступления события определялась как число случаев, благоприятствующих событию, по отношению к числу всех возможных исходов в равновероятном выборочном пространстве: см. Классическое определение вероятности .

Например, если событием является «выпадение четного числа при бросании игральной кости», вероятность определяется по формуле , поскольку 3 грани из 6 имеют четные числа, и каждая грань имеет одинаковую вероятность появления. ${\displaystyle {\tfrac {3}{6}}={\tfrac {1}{2}}}$

Современное определение : Современное определение начинается с конечного или счетного множества , называемого пространством выборки , которое относится к множеству всех возможных результатов в классическом смысле, обозначаемому как . Затем предполагается, что для каждого элемента прилагается внутреннее значение «вероятности» , которое удовлетворяет следующим свойствам: ${\displaystyle \Omega }$ ${\displaystyle x\in \Omega \,}$ ${\displaystyle f(x)\,}$

1. ${\displaystyle f(x)\in [0,1]{\mbox{ for all }}x\in \Omega \,;}$
2. ${\displaystyle \sum _{x\in \Omega }f(x)=1\,.}$

То есть, функция вероятности f ( x ) лежит между нулем и единицей для каждого значения x в пространстве выборки Ω , а сумма f ( x ) по всем значениям x в пространстве выборки Ω равна 1. Событие определяется как любое подмножество пространства выборки . Вероятность события определяется как ${\displaystyle E\,}$ ${\displaystyle \Omega \,}$ ${\displaystyle E\,}$

${\displaystyle P(E)=\sum _{x\in E}f(x)\,.}$

Таким образом, вероятность всего выборочного пространства равна 1, а вероятность нулевого события равна 0.

Функция, сопоставляющая точку в пространстве выборки со значением «вероятности», называется функцией массы вероятности, сокращенно pmf . ${\displaystyle f(x)\,}$

Непрерывные распределения вероятностей

Нормальное распределение , непрерывное распределение вероятностей

Непрерывная теория вероятностей имеет дело с событиями, которые происходят в непрерывном пространстве выборок.

Классическое определение : Классическое определение рушится, когда сталкивается с непрерывным случаем. См. парадокс Бертрана .

Современное определение : Если выборочное пространство случайной величины X представляет собой множество действительных чисел ( ) или его подмножество, то существует функция, называемая кумулятивной функцией распределения ( CDF ) , определяемая как . То есть, F ( x ) возвращает вероятность того, что X будет меньше или равно x . ${\displaystyle \mathbb {R} }$ ${\displaystyle F\,}$ ${\displaystyle F(x)=P(X\leq x)\,}$

CDF обязательно удовлетворяет следующим свойствам.

1. ${\displaystyle F\,}$— монотонно неубывающая , непрерывная справа функция;
2. ${\displaystyle \lim _{x\rightarrow -\infty }F(x)=0\,;}$
3. ${\displaystyle \lim _{x\rightarrow \infty }F(x)=1\,.}$

Говорят, что случайная величина имеет непрерывное распределение вероятностей, если соответствующая CDF непрерывна. Если является абсолютно непрерывной , т. е. ее производная существует, и интегрирование производной возвращает нам CDF, тогда говорят, что случайная величина X имеет функцию плотности вероятности ( PDF ) или просто плотность ${\displaystyle X}$ ${\displaystyle F}$ ${\displaystyle F\,}$ ${\displaystyle f(x)={\frac {dF(x)}{dx}}\,.}$

Для набора вероятность того, что случайная величина X находится в , равна ${\displaystyle E\subseteq \mathbb {R} }$ ${\displaystyle E\,}$

${\displaystyle P(X\in E)=\int _{x\in E}dF(x)\,.}$

Если PDF существует, это можно записать так:

${\displaystyle P(X\in E)=\int _{x\in E}f(x)\,dx\,.}$

В то время как функция плотности вероятности существует только для непрерывных случайных величин, функция распределения вероятности существует для всех случайных величин (включая дискретные случайные величины), которые принимают значения в ${\displaystyle \mathbb {R} \,.}$

Эти концепции можно обобщить для многомерных случаев на и других непрерывных выборочных пространствах. ${\displaystyle \mathbb {R} ^{n}}$

Теория вероятностей, основанная на теории меры

Полезность теоретико-мерной трактовки вероятности заключается в том, что она объединяет дискретные и непрерывные случаи и делает различие вопросом о том, какая мера используется. Кроме того, она охватывает распределения, которые не являются ни дискретными, ни непрерывными, ни смесями этих двух.

Примером таких распределений может быть смесь дискретных и непрерывных распределений, например, случайная величина, равная 0 с вероятностью 1/2 и принимающая случайное значение из нормального распределения с вероятностью 1/2. Ее все еще можно изучить в некоторой степени, рассматривая ее как имеющую PDF , где — дельта-функция Дирака . ${\displaystyle (\delta [x]+\varphi (x))/2}$ ${\displaystyle \delta [x]}$

Другие распределения могут даже не быть смесью, например, распределение Кантора не имеет положительной вероятности для любой отдельной точки, и не имеет плотности. Современный подход к теории вероятностей решает эти проблемы, используя теорию меры для определения вероятностного пространства :

Для любого множества (также называемого пространством выборок ) и σ-алгебры на нем мера , определенная на , называется вероятностной мерой, если ${\displaystyle \Omega \,}$ ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle P\,}$ ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle P(\Omega )=1.\,}$

Если — борелевская σ-алгебра на множестве действительных чисел, то существует единственная вероятностная мера на для любого CDF, и наоборот. Говорят, что мера, соответствующая CDF, индуцируется CDF . Эта мера совпадает с pmf для дискретных переменных и PDF для непрерывных переменных, что делает подход теории меры свободным от заблуждений. ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle {\mathcal {F}}\,}$

Вероятность множества в σ-алгебре определяется как ${\displaystyle E\,}$ ${\displaystyle {\mathcal {F}}\,}$

${\displaystyle P(E)=\int _{\omega \in E}\mu _{F}(d\omega )\,}$

где интегрирование происходит по отношению к мере, индуцированной ${\displaystyle \mu _{F}\,}$ ${\displaystyle F\,.}$

Наряду с предоставлением лучшего понимания и объединения дискретных и непрерывных вероятностей, теоретико-мерное рассмотрение также позволяет нам работать с вероятностями вне , как в теории стохастических процессов . Например, для изучения броуновского движения вероятность определяется на пространстве функций. ${\displaystyle \mathbb {R} ^{n}}$

Когда удобно работать с доминирующей мерой, теорема Радона-Никодима используется для определения плотности как производной Радона-Никодима интересующего распределения вероятностей относительно этой доминирующей меры. Дискретные плотности обычно определяются как эта производная относительно подсчитывающей меры по множеству всех возможных результатов. Плотности для абсолютно непрерывных распределений обычно определяются как эта производная относительно меры Лебега . Если теорему можно доказать в этой общей постановке, она справедлива как для дискретных, так и для непрерывных распределений, а также для других; для дискретных и непрерывных распределений отдельные доказательства не требуются.

Классические распределения вероятностей

Некоторые случайные величины очень часто встречаются в теории вероятностей, поскольку они хорошо описывают многие естественные или физические процессы. Поэтому их распределения приобрели особое значение в теории вероятностей. Некоторые фундаментальные дискретные распределения — это дискретное равномерное , Бернулли , биномиальное , отрицательное биномиальное , Пуассона и геометрическое распределения . Важные непрерывные распределения включают непрерывное равномерное , нормальное , экспоненциальное , гамма- и бета-распределения .

Сходимость случайных величин

В теории вероятностей существует несколько понятий сходимости для случайных величин . Они перечислены ниже в порядке возрастания силы, т. е. любое последующее понятие сходимости в списке подразумевает сходимость согласно всем предыдущим понятиям.

Слабая сходимость

Последовательность случайных величин слабо сходится к случайной величине , если их соответствующая функция распределения сходится сходится к функции распределения , где непрерывна . Слабая сходимость также называется сходимостью по распределению . ${\displaystyle X_{1},X_{2},\dots ,\,}$ ${\displaystyle X\,}$ ${\displaystyle F_{1},F_{2},\dots \,}$ ${\displaystyle F\,}$ ${\displaystyle X\,}$ ${\displaystyle F\,}$

Наиболее распространённая стенографическая запись: ${\displaystyle \displaystyle X_{n}\,{\xrightarrow {\mathcal {D}}}\,X}$

Сходимость по вероятности

Говорят, что последовательность случайных величин сходится к случайной величине по вероятности, если для любого ε > 0. ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle X\,}$ ${\displaystyle \lim _{n\rightarrow \infty }P\left(\left|X_{n}-X\right|\geq \varepsilon \right)=0}$

Наиболее распространённая стенографическая запись: ${\displaystyle \displaystyle X_{n}\,{\xrightarrow {P}}\,X}$

Сильная конвергенция

Говорят, что последовательность случайных величин сходится к случайной величине сильно , если . Сильная сходимость также известна как почти наверное сходимость . ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle X\,}$ ${\displaystyle P(\lim _{n\rightarrow \infty }X_{n}=X)=1}$

Наиболее распространённая стенографическая запись: ${\displaystyle \displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X}$

Как следует из названий, слабая сходимость слабее сильной сходимости. Фактически, сильная сходимость подразумевает сходимость по вероятности, а сходимость по вероятности подразумевает слабую сходимость. Обратные утверждения не всегда верны.

Закон больших чисел

Обычная интуиция подсказывает, что если подбрасывать честную монету много раз, то примерно в половине случаев выпадет орел , а в другой половине — решка . Более того, чем чаще подбрасывается монета, тем больше вероятность того, что отношение числа выпавших орлов к числу решек будет приближаться к единице. Современная теория вероятностей дает формальную версию этой интуитивной идеи, известную как закон больших чисел . Этот закон примечателен тем, что он не предполагается в основах теории вероятностей, а вместо этого возникает из этих основ как теорема. Поскольку он связывает теоретически выведенные вероятности с их фактической частотой появления в реальном мире, закон больших чисел считается столпом в истории статистической теории и имеет широкое влияние. ^[9]

Закон больших чисел (ЗБЧ) гласит, что выборочное среднее

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}}$

последовательности независимых и одинаково распределенных случайных величин сходится к их общему ожиданию (ожидаемому значению) при условии , что ожидание конечно. ${\displaystyle X_{k}}$ ${\displaystyle \mu }$ ${\displaystyle |X_{k}|}$

Именно в различных формах сходимости случайных величин различаются слабый и сильный закон больших чисел ^[10]

Слабый закон: для ${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu }$ ${\displaystyle n\to \infty }$

Сильный закон: для ${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.\,s.} }}\,\mu }$ ${\displaystyle n\to \infty .}$

Из ЗЛЧ следует, что если событие с вероятностью p наблюдается неоднократно в ходе независимых экспериментов, то отношение наблюдаемой частоты этого события к общему числу повторений стремится к p .

Например, если — независимые случайные величины Бернулли, принимающие значения 1 с вероятностью p и 0 с вероятностью 1- p , то для всех i , так что сходится к p почти наверняка . ${\displaystyle Y_{1},Y_{2},...\,}$ ${\displaystyle {\textrm {E}}(Y_{i})=p}$ ${\displaystyle {\bar {Y}}_{n}}$

Центральная предельная теорема

Центральная предельная теорема (ЦПТ) объясняет повсеместное распространение нормального распределения в природе, и эта теорема, по словам Дэвида Уильямса, «является одним из величайших результатов математики». ^[11]

Теорема утверждает, что среднее значение многих независимых и одинаково распределенных случайных величин с конечной дисперсией стремится к нормальному распределению независимо от распределения, которому следуют исходные случайные величины. Формально, пусть будут независимыми случайными величинами со средним значением и дисперсией Тогда последовательность случайных величин ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}>0.\,}$

${\displaystyle Z_{n}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )}{\sigma {\sqrt {n}}}}\,}$

сходится по распределению к стандартной нормальной случайной величине.

Для некоторых классов случайных величин классическая центральная предельная теорема работает довольно быстро, как показано в теореме Берри–Эссеена . Например, распределения с конечным первым, вторым и третьим моментом из экспоненциального семейства ; с другой стороны, для некоторых случайных величин с тяжелым и толстым хвостом она работает очень медленно или может не работать вообще: в таких случаях можно использовать обобщенную центральную предельную теорему (GCLT).

Смотрите также

• Математический портал

• Математическая статистика  – Раздел статистикиPages displaying short descriptions of redirect targets
• Ожидаемое значение  – среднее значение случайной величины.
• Дисперсия  – статистическая мера того, насколько далеко значения расходятся от своего среднего значения.
• Нечеткая логика  – система рассуждений о неопределенности
• Теория нечетких мер  – теория обобщенных мер, в которой аддитивное свойство заменяется более слабым свойством монотонности.Pages displaying wikidata descriptions as a fallback
• Глоссарий по вероятности и статистике  – Список определений терминов и понятий по статистике и вероятности.
• Функция правдоподобия  – функция, связанная со статистикой и теорией вероятностей.
• Обозначение в теории вероятности
• Прогностическое моделирование  – форма моделирования, которая использует статистику для прогнозирования результатов.
• Вероятностная логика  – использование вероятности и логики для решения неопределенных ситуаций.Pages displaying wikidata descriptions as a fallback
• Вероятностные доказательства невероятностных теорем
• Распределение вероятностей  – математическая функция вероятности наступления определенного результата в эксперименте.
• Аксиомы вероятности  – Основы теории вероятностей
• Интерпретации вероятности  – Философская интерпретация аксиом вероятности
• Вероятностное пространство  – Математическая концепция
• Статистическая независимость  — когда возникновение одного события не влияет на вероятность другого.Pages displaying short descriptions of redirect targets
• Статистическая физика  – Физика многих взаимодействующих частицPages displaying short descriptions of redirect targets
• Субъективная логика
• Попарная независимость§Вероятность объединения попарно независимых событий  – Набор случайных величин, из которых любые две независимы.

Списки

• Каталог статей по теории вероятностей
• Список вероятностных тем
• Список публикаций по статистике
• Список статистических тем

Ссылки

Цитаты

1. Вывод из данных
2. «Квантовая логика и теория вероятностей». Стэнфордская энциклопедия философии . 10 августа 2021 г.
3. ЛАЙТНЕР, ДЖЕЙМС Э. (1991). «Краткий взгляд на историю вероятности и статистики». Учитель математики . 84 (8): 623–630. doi :10.5951/MT.84.8.0623. ISSN  0025-5769. JSTOR  27967334.
4. Гринстед, Чарльз Миллер; Джеймс Лори Снелл. «Введение». Введение в теорию вероятностей . стр. vii.
5. Дастон, Лоррейн Дж. (1980). «Вероятностное ожидание и рациональность в классической теории вероятностей». Historia Mathematica . 7 (3): 234–260. doi :10.1016/0315-0860(80)90025-7.
6. ""Истоки и наследие Grundbegriffe Колмогорова", Гленн Шафер и Владимир Вовк" (PDF) . Получено 2012-02-12 .
7. Росс, Шелдон (2010). Первый курс теории вероятностей (8-е изд.). Pearson Prentice Hall. С. 26–27. ISBN 978-0-13-603313-4. Получено 28.02.2016 .
8. Бэйн, Ли Дж.; Энгельхардт, Макс (1992). Введение в теорию вероятностей и математическую статистику (2-е изд.). Белмонт, Калифорния : Brooks/Cole. стр. 53. ISBN 978-0-534-38020-5.
9. "Leithner & Co Pty Ltd - Value Investing, Risk and Risk Management - Part I". Leithner.com.au. 2000-09-15. Архивировано из оригинала 2014-01-26 . Получено 2012-02-12 .
10. Деккинг, Мишель (2005). «Глава 13: Закон больших чисел». Современное введение в вероятность и статистику: понимание почему и как. Library Genesis. Лондон: Springer. С. 180–194. ISBN 978-1-85233-896-1.
11. Дэвид Уильямс , «Вероятность с мартингалами», Кембридж 1991/2008

Источники

• Пьер Симон де Лаплас (1812). Аналитическая теория вероятностей .

Первый крупный трактат, объединяющий исчисление с теорией вероятностей, первоначально на французском языке: Théorie Analytique des Probabilités .

• А. Колмогоров (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung . дои : 10.1007/978-3-642-49888-6. ISBN 978-3-642-49888-6.

Английский перевод Натана Моррисона появился под названием « Основы теории вероятностей» (Челси, Нью-Йорк) в 1950 году, второе издание — в 1956 году.

• Патрик Биллингсли (1979). Вероятность и мера . Нью-Йорк, Торонто, Лондон: John Wiley and Sons.
• Олав Калленберг ; Основы современной теории вероятностей, 2-е изд. Springer Series in Statistics. (2002). 650 стр. ISBN 0-387-95313-2 
• Хенк Теймс (2004). Понимание вероятности . Cambridge Univ. Press.

Живое введение в теорию вероятностей для начинающих.

• Олав Калленберг; Вероятностные симметрии и принципы инвариантности . Springer -Verlag, Нью-Йорк (2005). 510 стр. ISBN 0-387-25115-4 
• Дарретт, Рик (2019). Вероятность: теория и примеры, 5-е издание. Великобритания : Cambridge University Press . ISBN 9781108473682.
• Гут, Аллан (2005). Вероятность: курс для выпускников . Springer-Verlag. ISBN 0-387-22833-0.