Теория вероятности

Раздел математики, посвященный вероятности

Теория вероятностей или исчисление вероятностей — это раздел математики , изучающий вероятность . Хотя существует несколько различных интерпретаций вероятности , теория вероятностей рассматривает это понятие строгим математическим способом, выражая его через набор аксиом . Обычно эти аксиомы формализуют вероятность в терминах вероятностного пространства , которое присваивает меру , принимающую значения от 0 до 1, называемую вероятностной мерой , набору результатов, называемому выборочным пространством . Любое указанное подмножество выборочного пространства называется событием .

Центральные предметы теории вероятностей включают дискретные и непрерывные случайные величины , распределения вероятностей и случайные процессы (которые обеспечивают математические абстракции недетерминированных или неопределенных процессов или измеряемых величин , которые могут либо возникать единично, либо развиваться с течением времени случайным образом). Хотя невозможно точно предсказать случайные события, можно многое сказать об их поведении. Двумя основными результатами теории вероятностей, описывающими такое поведение, являются закон больших чисел и центральная предельная теорема .

В качестве математической основы статистики теория вероятностей важна для многих видов человеческой деятельности, связанных с количественным анализом данных. ^[1] Методы теории вероятностей также применимы к описаниям сложных систем при условии лишь частичного знания их состояния, как в статистической механике или последовательной оценке . Великим открытием физики двадцатого века стала вероятностная природа физических явлений на атомных масштабах, описанная в квантовой механике . ^[2]

История вероятности

Современная математическая теория вероятностей уходит своими корнями в попытки проанализировать азартные игры Джероламо Кардано в шестнадцатом веке, а также Пьера Ферма и Блеза Паскаля в семнадцатом веке (например, « проблема очков »). ^[3] Христиан Гюйгенс опубликовал книгу на эту тему в 1657 году. ^[4] В 19 веке то, что считается классическим определением вероятности, было завершено Пьером Лапласом . ^[5]

Первоначально теория вероятностей рассматривала в основном дискретные события, а ее методы были преимущественно комбинаторными . В конце концов, аналитические соображения вынудили включить в теорию непрерывные переменные.

Кульминацией этого стала современная теория вероятностей, основанная на основах, заложенных Андреем Николаевичем Колмогоровым . Колмогоров объединил понятие выборочного пространства , введенное Рихардом фон Мизесом , и теорию меры и представил свою систему аксиом теории вероятностей в 1933 году. Это стало в основном бесспорной аксиоматической основой современной теории вероятностей; но существуют альтернативы, такие как принятие Бруно де Финетти конечной, а не счетной аддитивности . ^[6]

Уход

В большинстве введений в теорию вероятностей дискретные и непрерывные распределения вероятностей рассматриваются отдельно. Рассмотрение вероятности, основанное на теории меры, охватывает дискретное, непрерывное, сочетание этих двух и многое другое.

Мотивация

Рассмотрим эксперимент , который может привести к ряду результатов. Набор всех результатов называется выборочным пространством эксперимента. Набор мощности выборочного пространства (или, что то же самое, пространства событий) формируется путем рассмотрения всех различных наборов возможных результатов. Например, бросок честной кости дает один из шести возможных результатов. Одна совокупность возможных результатов соответствует получению нечетного числа. Таким образом, подмножество {1,3,5} является элементом набора мощности выборочного пространства бросков игральных костей. Эти коллекции называются событиями . В данном случае {1,3,5} — это событие, когда на игральной кости выпадает некоторое нечетное число. Если результаты, которые действительно происходят, попадают в данное событие, говорят, что это событие произошло.

Вероятность — это способ присвоения каждому «событию» значения от нуля до единицы с требованием, чтобы событие состояло из всех возможных результатов (в нашем примере событие {1,2,3,4,5,6}). присвоить значение, равное единице. Чтобы квалифицироваться как распределение вероятностей , присвоение значений должно удовлетворять требованию, что если вы посмотрите на набор взаимоисключающих событий (событий, которые не содержат общих результатов, например, события {1,6}, {3} и { 2,4} являются взаимоисключающими), вероятность того, что любое из этих событий произойдет, определяется суммой вероятностей событий. ^[7]

Вероятность того, что произойдет любое из событий {1,6}, {3} или {2,4}, равна 5/6. Это то же самое, что сказать, что вероятность события {1,2,3,4,6} равна 5/6. Это событие предполагает возможность выпадения любого числа, кроме пяти. Взаимно исключающее событие {5} имеет вероятность 1/6, а событие {1,2,3,4,5,6} имеет вероятность 1, то есть абсолютную достоверность.

При расчетах по результатам эксперимента необходимо, чтобы всем этим элементарным событиям был присвоен номер. Это делается с помощью случайной величины . Случайная величина — это функция, которая присваивает каждому элементарному событию в выборочном пространстве действительное число . Эту функцию обычно обозначают заглавной буквой. ^[8] В случае игры в кости присвоение числа определенным элементарным событиям может быть выполнено с использованием тождественной функции . Это не всегда работает. Например, при подбрасывании монеты возможны два результата: «орёл» и «решка». В этом примере случайная величина X может присвоить результату «орёл» число «0» ( ), а результату «решка» — число «1» ( ). ${\textstyle X({\text{heads}})=0}$ ${\displaystyle X({\text{tails}})=1}$

Дискретные распределения вероятностей

Распределение Пуассона — дискретное распределение вероятностей.

Дискретная теория вероятностей имеет дело с событиями, которые происходят в счетных выборочных пространствах.

Примеры: бросание игральных костей , эксперименты с колодами карт , случайное блуждание и подбрасывание монет .

Классическое определение : Первоначально вероятность того, что событие произойдет, определялась как количество случаев, благоприятных для события, по отношению к общему числу возможных исходов в равновероятном выборочном пространстве: см. Классическое определение вероятности .

Например, если событием является «появление четного числа при броске игральной кости», вероятность определяется как , поскольку 3 грани из 6 имеют четные числа, и каждая грань имеет одинаковую вероятность появления. ${\displaystyle {\tfrac {3}{6}}={\tfrac {1}{2}}}$

Современное определение : Современное определение начинается с конечного или счетного набора , называемого выборочным пространством , которое относится к множеству всех возможных результатов в классическом смысле, обозначаемому . Затем предполагается, что каждому элементу присвоено внутреннее значение «вероятности» , которое удовлетворяет следующим свойствам: ${\displaystyle \Omega }$ ${\displaystyle x\in \Omega \,}$ ${\displaystyle f(x)\,}$

1. ${\displaystyle f(x)\in [0,1]{\mbox{ for all }}x\in \Omega \,;}$
2. ${\displaystyle \sum _{x\in \Omega }f(x)=1\,.}$

То есть функция вероятности f ( x ) находится между нулем и единицей для каждого значения x в выборочном пространстве Ω , а сумма f ( x ) по всем значениям x в выборочном пространстве Ω равна 1. Событие определяется как любое подмножество выборочного пространства . Вероятность события определяется как ${\displaystyle E\,}$ ${\displaystyle \Omega \,}$ ${\displaystyle E\,}$

${\displaystyle P(E)=\sum _{x\in E}f(x)\,.}$

Таким образом, вероятность всего выборочного пространства равна 1, а вероятность нулевого события равна 0.

Функция , отображающая точку в выборочном пространстве на значение «вероятности», называется функцией массы вероятности, сокращенно pmf . ${\displaystyle f(x)\,}$

Непрерывные распределения вероятностей

Нормальное распределение , непрерывное распределение вероятностей

Теория непрерывной вероятности имеет дело с событиями, которые происходят в непрерывном выборочном пространстве.

Классическое определение . Классическое определение терпит неудачу при столкновении с непрерывным случаем. См. парадокс Бертрана .

Современное определение : Если выборочное пространство случайной величины X представляет собой набор действительных чисел ( ) или его подмножество, то существует функция, называемая кумулятивной функцией распределения ( CDF ) , определяемая . То есть F ( x ) возвращает вероятность того, что X будет меньше или равно x . ${\displaystyle \mathbb {R} }$ ${\displaystyle F\,}$ ${\displaystyle F(x)=P(X\leq x)\,}$

CDF обязательно удовлетворяет следующим свойствам.

1. ${\displaystyle F\,}$— монотонно неубывающая , непрерывная справа функция;
2. ${\displaystyle \lim _{x\rightarrow -\infty }F(x)=0\,;}$
3. ${\displaystyle \lim _{x\rightarrow \infty }F(x)=1\,.}$

Говорят, что случайная величина имеет непрерывное распределение вероятностей, если соответствующая CDF непрерывна. Если она абсолютно непрерывна , т. е. ее производная существует, и интегрирование производной снова дает нам CDF, то говорят, что случайная величина X имеет функцию плотности вероятности ( PDF ) или просто плотность ${\displaystyle X}$ ${\displaystyle F}$ ${\displaystyle F\,}$ ${\displaystyle f(x)={\frac {dF(x)}{dx}}\,.}$

Для набора вероятность того, что случайная величина X окажется в нем, равна ${\displaystyle E\subseteq \mathbb {R} }$ ${\displaystyle E\,}$

${\displaystyle P(X\in E)=\int _{x\in E}dF(x)\,.}$

Если PDF-файл существует, это можно записать как

${\displaystyle P(X\in E)=\int _{x\in E}f(x)\,dx\,.}$

В то время как PDF существует только для непрерывных случайных величин, CDF существует для всех случайных величин (включая дискретные случайные величины), которые принимают значения в ${\displaystyle \mathbb {R} \,.}$

Эти концепции можно обобщить для многомерных случаев и других непрерывных выборочных пространств. ${\displaystyle \mathbb {R} ^{n}}$

Теоретико-мерная теория вероятностей

Полезность теоретико-мерной трактовки вероятности состоит в том, что она объединяет дискретный и непрерывный случаи и делает различие вопросом о том, какая мера используется. Более того, он охватывает распределения, которые не являются ни дискретными, ни непрерывными, ни смесью того и другого.

Примером таких распределений может быть сочетание дискретного и непрерывного распределений — например, случайная величина, равная 0 с вероятностью 1/2 и принимающая случайное значение из нормального распределения с вероятностью 1/2. Его все еще можно изучить в некоторой степени, рассматривая его как PDF-файл , где - дельта-функция Дирака . ${\displaystyle (\delta [x]+\varphi (x))/2}$ ${\displaystyle \delta [x]}$

Другие распределения могут даже не быть смешанными, например, распределение Кантора не имеет положительной вероятности для какой-либо отдельной точки и не имеет плотности. Современный подход к теории вероятностей решает эти проблемы, используя теорию меры для определения вероятностного пространства :

Учитывая любое множество (также называемое выборочным пространством ) и σ-алгебру на нем, мера , определенная на, называется вероятностной мерой, если ${\displaystyle \Omega \,}$ ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle P\,}$ ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle P(\Omega )=1.\,}$

Если — борелевская σ-алгебра на множестве действительных чисел, то для любой CDF существует единственная вероятностная мера, и наоборот. Говорят, что мера, соответствующая CDF, индуцирована CDF . Эта мера совпадает с PMF для дискретных переменных и PDF для непрерывных переменных, что делает теоретико-мерный подход свободным от ошибок. ${\displaystyle {\mathcal {F}}\,}$ ${\displaystyle {\mathcal {F}}\,}$

Вероятность множества в σ-алгебре определяется как ${\displaystyle E\,}$ ${\displaystyle {\mathcal {F}}\,}$

${\displaystyle P(E)=\int _{\omega \in E}\mu _{F}(d\omega )\,}$

где интегрирование ведется по мере, индуцированной ${\displaystyle \mu _{F}\,}$ ${\displaystyle F\,.}$

Наряду с обеспечением лучшего понимания и объединения дискретных и непрерывных вероятностей, теоретико-мерная трактовка также позволяет нам работать с вероятностями снаружи , как в теории случайных процессов . Например, для изучения броуновского движения вероятность определяется в пространстве функций. ${\displaystyle \mathbb {R} ^{n}}$

Когда удобно работать с доминирующей мерой, теорема Радона-Никодима используется для определения плотности как производной Радона-Никодима интересующего распределения вероятностей относительно этой доминирующей меры. Дискретные плотности обычно определяются как производная по счетной мере по множеству всех возможных результатов. Плотности для абсолютно непрерывных распределений обычно определяются как эта производная по мере Лебега . Если теорему можно доказать в этой общей ситуации, она справедлива как для дискретных, так и для непрерывных распределений, а также для других; для дискретных и непрерывных распределений отдельные доказательства не требуются.

Классические распределения вероятностей

Определенные случайные величины очень часто встречаются в теории вероятностей, поскольку они хорошо описывают многие естественные или физические процессы. Поэтому их распределения приобрели особое значение в теории вероятностей. Некоторыми фундаментальными дискретными распределениями являются дискретное равномерное распределение , распределение Бернулли , биномиальное , отрицательное биномиальное , распределение Пуассона и геометрическое распределение . Важные непрерывные распределения включают непрерывное равномерное , нормальное , экспоненциальное , гамма- и бета-распределения .

Сходимость случайных величин

В теории вероятностей существует несколько понятий сходимости случайных величин . Они перечислены ниже в порядке силы, т. е. любое последующее понятие сходимости в списке подразумевает сходимость по всем предыдущим понятиям.

Слабая сходимость

Последовательность случайных величин слабо сходится к случайной величине, если их соответствующая CDF сходится к CDF , где непрерывно . Слабую сходимость также называют сходимостью по распределению . ${\displaystyle X_{1},X_{2},\dots ,\,}$ ${\displaystyle X\,}$ ${\displaystyle F_{1},F_{2},\dots \,}$ ${\displaystyle F\,}$ ${\displaystyle X\,}$ ${\displaystyle F\,}$

Наиболее распространенные сокращенные обозначения: ${\displaystyle \displaystyle X_{n}\,{\xrightarrow {\mathcal {D}}}\,X}$

Сходимость по вероятности

Говорят, что последовательность случайных величин сходится к случайной величине по вероятности, если для каждого ε > 0. ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle X\,}$ ${\displaystyle \lim _{n\rightarrow \infty }P\left(\left|X_{n}-X\right|\geq \varepsilon \right)=0}$

Наиболее распространенные сокращенные обозначения: ${\displaystyle \displaystyle X_{n}\,{\xrightarrow {P}}\,X}$

Сильная конвергенция

Говорят, что последовательность случайных величин сильно сходится к случайной величине, если . Сильная конвергенция также известна как почти уверенная конвергенция . ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle X\,}$ ${\displaystyle P(\lim _{n\rightarrow \infty }X_{n}=X)=1}$

Наиболее распространенные сокращенные обозначения: ${\displaystyle \displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X}$

Как видно из названий, слабая сходимость слабее сильной. Фактически, сильная сходимость подразумевает сходимость по вероятности, а сходимость по вероятности предполагает слабую сходимость. Обратные утверждения не всегда верны.

Закон больших чисел

Общая интуиция подсказывает, что если честную монету подбросить много раз, то примерно в половине случаев она выпадет орлом , а в другой половине — решкой . Кроме того, чем чаще подбрасывается монета, тем больше вероятность того, что отношение количества орлов к числу решок приблизится к единице. Современная теория вероятностей предлагает формальную версию этой интуитивной идеи, известной как закон больших чисел . Этот закон примечателен тем, что он не предполагается в основах теории вероятностей, а вытекает из этих основ в виде теоремы. Поскольку он связывает теоретически полученные вероятности с их фактической частотой возникновения в реальном мире, закон больших чисел считается столпом истории статистической теории и имеет широкое влияние. ^[9]

Закон больших чисел (LLN) гласит, что выборочное среднее

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}}$

последовательности независимых и одинаково распределенных случайных величин сходится к их общему математическому ожиданию (ожидаемому значению) при условии , что математическое ожидание конечно. ${\displaystyle X_{k}}$ ${\displaystyle \mu }$ ${\displaystyle |X_{k}|}$

Именно разные формы сходимости случайных величин разделяют слабый и сильный закон больших чисел ^[10]

Слабый закон: для ${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {P}}\,\mu }$ ${\displaystyle n\to \infty }$

Сильный закон: для ${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.\,s.} }}\,\mu }$ ${\displaystyle n\to \infty .}$

Из LLN следует, что если событие вероятности p наблюдается неоднократно в ходе независимых экспериментов, отношение наблюдаемой частоты этого события к общему числу повторений сходится к p .

Например, если являются независимыми случайными величинами Бернулли, принимающими значения 1 с вероятностью p и 0 с вероятностью 1- p , то для всех i , так что они почти наверняка сходятся к p . ${\displaystyle Y_{1},Y_{2},...\,}$ ${\displaystyle {\textrm {E}}(Y_{i})=p}$ ${\displaystyle {\bar {Y}}_{n}}$

Центральная предельная теорема

Центральная предельная теорема (ЦПТ) объясняет повсеместное распространение нормального распределения в природе, и эта теорема, по словам Дэвида Уильямса, «является одним из величайших результатов математики». ^[11]

Теорема утверждает, что среднее значение многих независимых и одинаково распределенных случайных величин с конечной дисперсией стремится к нормальному распределению независимо от распределения, за которым следуют исходные случайные величины. Формально пусть – независимые случайные величины со средним значением и дисперсией . Тогда последовательность случайных величин ${\displaystyle X_{1},X_{2},\dots \,}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}>0.\,}$

${\displaystyle Z_{n}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )}{\sigma {\sqrt {n}}}}\,}$

сходится по распределению к стандартной нормальной случайной величине.

Для некоторых классов случайных величин классическая центральная предельная теорема работает довольно быстро, как показано в теореме Берри–Эссеена . Например, распределения с конечными первым, вторым и третьим моментами из экспоненциального семейства ; с другой стороны, для некоторых случайных величин типа « тяжелый хвост » и «толстый хвост» он работает очень медленно или может не работать вообще: в таких случаях можно использовать Обобщенную центральную предельную теорему (GCLT).

Смотрите также

• Математический портал

• Математическая статистика  - Отдел статистики.Pages displaying short descriptions of redirect targets
• Ожидаемое значение  – среднее значение случайной величины.
• Дисперсия  – статистическая мера того, насколько далеко значения отклоняются от своего среднего значения.
• Нечеткая логика  - система рассуждений о неопределенности.
• Теория нечеткой меры  - теория обобщенных мер, в которой аддитивное свойство заменено более слабым свойством монотонности.Pages displaying wikidata descriptions as a fallback
• Глоссарий вероятности и статистики  - Список определений терминов и понятий статистики и вероятности.
• Функция правдоподобия  - функция, связанная со статистикой и теорией вероятностей.
• Обозначение вероятности
• Прогнозное моделирование  - форма моделирования, которая использует статистику для прогнозирования результатов.
• Вероятностная логика  - использование вероятности и логики для решения неопределенных ситуаций.Pages displaying wikidata descriptions as a fallback
• Вероятностные доказательства невероятностных теорем
• Распределение вероятностей  - математическая функция вероятности возникновения данного результата в эксперименте.
• Аксиомы вероятности  - Основы теории вероятностей
• Интерпретации вероятности  - Философская интерпретация аксиом вероятности.
• Вероятностное пространство  - математическая концепция
• Статистическая независимость  - когда возникновение одного события не влияет на вероятность другого.Pages displaying short descriptions of redirect targets
• Статистическая физика  - Физика статистического поведения большого количества частиц.Pages displaying short descriptions of redirect targets
• Субъективная логика
• Парная независимость § Вероятность объединения попарно независимых событий  - Набор случайных величин, из которых любые две независимы.

Списки

• Каталог статей по теории вероятностей
• Список вероятностных тем
• Список публикаций по статистике
• Список статистических тем  . Вот список статей, относящихся к категории: Статистика.Pages displaying short descriptions of redirect targets

Рекомендации

Цитаты

1. Выводы на основе данных
2. «Квантовая логика и теория вероятностей». Стэнфордская энциклопедия философии . 10 августа 2021 г.
3. ЛАЙТНЕР, ДЖЕЙМС Э. (1991). «Краткий взгляд на историю вероятности и статистики». Учитель математики . 84 (8): 623–630. дои : 10.5951/MT.84.8.0623. ISSN  0025-5769. JSTOR  27967334.
4. Гринстед, Чарльз Миллер; Джеймс Лори Снелл. "Введение". Введение в вероятность . стр. VII.
5. Дастон, Лоррейн Дж. (1980). «Вероятностное ожидание и рациональность в классической теории вероятностей». История Математики . 7 (3): 234–260. дои : 10.1016/0315-0860(80)90025-7.
6. ""Происхождение и наследие Колмогоровского Grundbegriffe", Гленн Шафер и Владимир Вовк" (PDF) . Проверено 12 февраля 2012 г.
7. Росс, Шелдон (2010). Первый курс теории вероятности (8-е изд.). Пирсон Прентис Холл. стр. 26–27. ISBN 978-0-13-603313-4. Проверено 28 февраля 2016 г.
8. Бейн, Ли Дж.; Энгельхардт, Макс (1992). Введение в вероятность и математическую статистику (2-е изд.). Бельмонт, Калифорния : Брукс/Коул. п. 53. ИСБН 978-0-534-38020-5.
9. «Leithner & Co Pty Ltd - Стоимостное инвестирование, риск и управление рисками - Часть I» . Leithner.com.au. 15 сентября 2000 г. Архивировано из оригинала 26 января 2014 г. Проверено 12 февраля 2012 г.
10. Деккинг, Мишель (2005). «Глава 13: Закон больших чисел». Современное введение в вероятность и статистику: понимание почему и как. Библиотечный Бытие. Лондон: Спрингер. стр. 180–194. ISBN 978-1-85233-896-1.
11. Дэвид Уильямс , «Вероятность с мартингалами», Кембридж, 1991/2008 г.

Источники

• Пьер Симон де Лаплас (1812 г.). Аналитическая теория вероятностей .

Первый крупный трактат, сочетающий исчисление с теорией вероятностей, первоначально на французском языке: Théorie Analytique des Probabilités .

• А. Колмогоров (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung . дои : 10.1007/978-3-642-49888-6. ISBN 978-3-642-49888-6.

Английский перевод Натана Моррисона появился под названием «Основы теории вероятностей» (Челси, Нью-Йорк) в 1950 году, а второе издание - в 1956 году.

• Патрик Биллингсли (1979). Вероятность и мера . Нью-Йорк, Торонто, Лондон: Джон Уайли и сыновья.
• Олав Калленберг ; Основы современной вероятности, 2-е изд. Серия Спрингера по статистике. (2002). 650 стр. ISBN 0-387-95313-2 
• Хенк Таймс (2004). Понимание вероятности . Кембриджский университет. Нажимать.

Живое введение в теорию вероятностей для начинающих.

• Олав Калленберг; Вероятностные симметрии и принципы инвариантности . Спрингер-Верлаг, Нью-Йорк (2005). 510 стр. ISBN 0-387-25115-4 
• Дарретт, Рик (2019). Вероятность: теория и примеры, 5-е издание. Великобритания : Издательство Кембриджского университета . ISBN 9781108473682.
• Гут, Аллан (2005). Вероятность: аспирантура . Спрингер-Верлаг. ISBN 0-387-22833-0.