Сходимость случайных величин

Понятия вероятностной сходимости применительно к оцениванию и асимптотическому анализу.

В теории вероятностей существует несколько различных представлений о сходимости последовательностей случайных величин . Различные понятия конвергенции отражают разные свойства последовательности, причем некоторые понятия конвергенции сильнее других. Например, сходимость распределения говорит нам о предельном распределении последовательности случайных величин. Это более слабое понятие, чем сходимость по вероятности, которая говорит нам о значении, которое примет случайная величина, а не только о распределении.

Эта концепция важна в теории вероятностей и ее приложениях к статистике и случайным процессам . Те же концепции известны в более общей математике как стохастическая конвергенция , и они формализуют идею о том, что определенные свойства последовательности по существу случайных или непредсказуемых событий иногда могут привести к поведению, которое по существу остается неизменным, когда элементы находятся достаточно далеко в последовательности. изучаются. Различные возможные понятия конвергенции связаны с тем, как можно охарактеризовать такое поведение: два легко понятных поведения заключаются в том, что последовательность в конечном итоге принимает постоянное значение и что значения в последовательности продолжают меняться, но могут быть описаны неизменным распределением вероятностей.

Фон

«Стохастическая конвергенция» формализует идею о том, что иногда можно ожидать, что последовательность по существу случайных или непредсказуемых событий превратится в закономерность. Например, шаблон может быть

• Сходимость в классическом смысле к фиксированному значению, возможно, сама по себе являющаяся результатом случайного события.
• Растущее сходство результатов с тем, что могла бы дать чисто детерминированная функция.
• Растущее предпочтение определенного результата
• Растущее «отвращение» к отклонению далеко от определенного результата.
• Что распределение вероятностей, описывающее следующий результат, может становиться все более похожим на определенное распределение.

Можно выделить некоторые менее очевидные, но более теоретические закономерности.

• Что ряд, сформированный путем расчета ожидаемого значения расстояния результата от определенного значения, может сходиться к 0.
• Что дисперсия случайной величины , описывающей следующее событие, становится все меньше и меньше.

Эти другие типы моделей, которые могут возникнуть, отражены в различных типах стохастической конвергенции, которые были изучены.

Хотя приведенное выше обсуждение относилось к сходимости одного ряда к предельному значению, понятие сходимости двух рядов друг к другу также важно, но с этим легко справиться, изучая последовательность, определяемую либо как разность, либо как отношение из двух серий.

Например, если среднее значение n независимых случайных величин Y _i , i = 1, ..., n , имеющих одинаковое конечное среднее значение и дисперсию , определяется выражением

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

тогда, когда n стремится к бесконечности, X _n сходится по вероятности (см. ниже) к общему среднему значению µ случайных величин Y _i . Этот результат известен как слабый закон больших чисел . Другие формы сходимости важны и в других полезных теоремах, включая центральную предельную теорему .

Всюду далее мы предполагаем, что ( X _n ) — последовательность случайных величин, а X — случайная величина, и все они определены в одном и том же вероятностном пространстве . ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

Конвергенция в распределении

Грубо говоря, при таком способе конвергенции мы все чаще ожидаем увидеть следующий результат в последовательности случайных экспериментов, который все лучше и лучше моделируется заданным распределением вероятностей . Точнее, распределение связанной случайной величины в последовательности становится сколь угодно близким к заданному фиксированному распределению.

Конвергенция в распределении — это самая слабая форма конвергенции, которая обычно обсуждается, поскольку она подразумевается всеми другими типами конвергенции, упомянутыми в этой статье. Однако на практике очень часто используется конвергенция распределения; чаще всего оно возникает в результате применения центральной предельной теоремы .

Определение

Говорят, что последовательность действительных случайных величин с кумулятивными функциями распределения сходится по распределению , или сходится слабо , или сходится по закону к случайной величине X с кумулятивной функцией распределения F , если ${\displaystyle X_{1},X_{2},\ldots }$ ${\displaystyle F_{1},F_{2},\ldots }$

${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x),}$

для каждого числа , при котором F непрерывно . ${\displaystyle x\in \mathbb {R} }$

Требование, чтобы учитывались только точки непрерывности F, является существенным. Например, если X _n распределены равномерно на интервалах (0,1/н) , то эта последовательность сходится по распределению к вырожденной случайной величине X = 0 . Действительно, F _n ( x ) = 0 для всех n , когда x ≤ 0 , и F _n ( x ) = 1 для всех x ≥1/нкогда n > 0 . Однако для этой предельной случайной величины F (0)=1 , хотя Fn ( ₀ )=0 для всех n . Таким образом, сходимость cdfs не удается в точке x = 0 , где F разрывна.

Сходимость в распределении можно обозначить как

где - закон (распределение вероятностей) X . Например, если X является стандартным нормальным, мы можем написать . ${\displaystyle \scriptstyle {\mathcal {L}}_{X}}$ ${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$

Для случайных векторов { X ₁ , X ₂ , ...} ⊂ R ^k сходимость по распределению определяется аналогично. Будем говорить, что эта последовательность сходится по распределению к случайному k -вектору X, если

${\displaystyle \lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)}$

для любого A ⊂ Rk ^, являющегося множеством непрерывности X .

Определение сходимости распределения может быть расширено от случайных векторов до более общих случайных элементов в произвольных метрических пространствах и даже до «случайных величин», которые не поддаются измерению — ситуация, которая возникает, например, при изучении эмпирических процессов . Это «слабая сходимость законов без определения законов» — за исключением асимптотики. ^[1]

В этом случае термин слабая сходимость предпочтителен (см. слабая сходимость мер ), и мы говорим, что последовательность случайных элементов { X _n } слабо сходится к X (обозначается как X _n ⇒ X ), если

${\displaystyle \mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)}$

для всех непрерывных ограниченных функций h . ^[2] Здесь E* обозначает внешнее ожидание , то есть ожидание «наименьшей измеримой функции g , которая доминирует над h ( X _n ) ».

Характеристики

• Поскольку сходимость распределения означает, что вероятность того, что X _n окажется в заданном диапазоне, приблизительно равна вероятности того, что значение X находится в этом диапазоне, при условии, что n достаточно велико . ${\displaystyle F(a)=\mathbb {P} (X\leq a)}$
• В общем, сходимость распределения не означает, что последовательность соответствующих функций плотности вероятности также будет сходиться. В качестве примера можно рассмотреть случайные величины с плотностью f _n ( x ) = (1 + cos(2 πnx )) 1 _(0,1) . Эти случайные величины сходятся по распределению к равномерному U (0,1), тогда как их плотности вообще не сходятся. ^[3]
  • Однако, согласно теореме Шеффе , сходимость функций плотности вероятности влечет за собой сходимость по распределению. ^[4]
• Лемма о портманто дает несколько эквивалентных определений сходимости распределения. Хотя эти определения менее интуитивны, они используются для доказательства ряда статистических теорем. Лемма утверждает, что { X _n } сходится по распределению к X тогда и только тогда, когда верно любое из следующих утверждений: ^[5]
  • ${\displaystyle \mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)}$для всех точек непрерывности ; ${\displaystyle x\mapsto \mathbb {P} (X\leq x)}$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$для всех ограниченных , непрерывных функций (где обозначает оператор ожидаемого значения ); ${\displaystyle f}$ ${\displaystyle \mathbb {E} }$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$для всех ограниченных липшицевых функций ; ${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$для всех неотрицательных непрерывных функций ; ${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)}$для каждого открытого множества ; ${\displaystyle G}$
  • ${\displaystyle \lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)}$для каждого замкнутого множества ; ${\displaystyle F}$
  • ${\displaystyle \mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)}$для всех множеств непрерывности случайной величины ; ${\displaystyle B}$ ${\displaystyle X}$
  • ${\displaystyle \limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)}$для любой полунепрерывной сверху функции , ограниченной сверху; ^{[ нужна цитата ]} ${\displaystyle f}$
  • ${\displaystyle \liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$для любой полунепрерывной снизу функции , ограниченной снизу. ^{[ нужна цитата ]} ${\displaystyle f}$
• Теорема о непрерывном отображении утверждает, что для непрерывной функции g , если последовательность { Xn _} сходится по распределению к X , то { g ( Xn ₎ } сходится по распределению к g ( X ) .
  • Однако обратите внимание, что сходимость в распределении { X _n } к X и { Y _n } к Y , как правило, не означает сходимости в распределении { X _n + Y _n } к X + Y или { X _n Y _n } к XY. .
• Теорема Леви о непрерывности : последовательность { X _n } сходится по распределению к X тогда и только тогда, когда последовательность соответствующих характеристических функций { φ _n } сходится поточечно к характеристической функции φ X .
• Сходимость по распределению метризуется метрикой Леви – Прохорова .
• Естественным звеном сходимости в распределении является теорема о представлении Скорохода .

Сходимость по вероятности

Основная идея этого типа конвергенции заключается в том, что вероятность «необычного» результата становится все меньше и меньше по мере развития последовательности.

Понятие сходимости по вероятности очень часто используется в статистике. Например, оценщик называется непротиворечивым , если он сходится по вероятности к оцениваемой величине. Сходимость по вероятности — это также тип сходимости, устанавливаемый слабым законом больших чисел .

Определение

Последовательность { X _n } случайных величин сходится по вероятности к случайной величине X , если для всех ε > 0

${\displaystyle \lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.}$

Более подробно, пусть P _n ( ε ) будет вероятностью того, что X _n находится вне шара радиуса ε с центром в  X . Тогда говорят, что X _n сходится по вероятности к X , если _для любого ε > 0 и любого δ  > 0 существует число N (которое может зависеть от ε и δ ) такое, что для всех n ≥  N  Pn ( ε ) <  δ (определение предела).

Обратите внимание, что для того, чтобы условие было удовлетворено, невозможно, чтобы для каждого n случайные величины X и X _n были независимыми (и, таким образом, сходимость по вероятности является условием для совместных функций распределения функций, в отличие от сходимости по распределению, которая является условие на отдельные функции распределения функций), если только X не является детерминированным, как в случае со слабым законом больших чисел. В то же время случай детерминированного X не может быть обработан методом сходимости в распределении, когда детерминированное значение является точкой разрыва (не изолированной), когда точки разрыва должны быть явно исключены.

Сходимость по вероятности обозначается добавлением буквы p над стрелкой, указывающей на сходимость, или использованием оператора ограничения вероятности «plim»:

Для случайных элементов { X _n } в сепарабельном метрическом пространстве ( S , d ) сходимость по вероятности определяется аналогично ^[6]

${\displaystyle \forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.}$

Характеристики

• Сходимость по вероятности подразумевает сходимость по распределению. ^{[доказательство]}
• В противоположном направлении сходимость распределения подразумевает сходимость вероятности, когда предельная случайная величина X является константой. ^{[доказательство]}
• Сходимость по вероятности не означает почти стопроцентной сходимости. ^{[доказательство]}
• Теорема о непрерывном отображении утверждает, что для любой непрерывной функции если , то также  . ${\displaystyle g}$ ${\textstyle X_{n}\xrightarrow {p} X}$ ${\textstyle g(X_{n})\xrightarrow {p} g(X)}$
• Сходимость по вероятности определяет топологию пространства случайных величин над фиксированным вероятностным пространством. Эта топология метризуема метрикой Кай Фаня : [ ^7]
  $${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}}$$
  или попеременно по этой метрике
  $${\displaystyle d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].}$$

Контрпримеры

Не каждая последовательность случайных величин, которая сходится к другой случайной величине в распределении, также сходится по вероятности к этой случайной величине. В качестве примера рассмотрим последовательность стандартных нормальных случайных величин и вторую последовательность . Обратите внимание, что распределение равно распределению для всех , но: ${\displaystyle X_{n}}$ ${\displaystyle Y_{n}=(-1)^{n}X_{n}}$ ${\displaystyle Y_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle n}$

$${\displaystyle P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )}$$

который не сходится к . Таким образом, у нас нет сходимости по вероятности. ${\displaystyle 0}$

Почти уверенная конвергенция

Это тип стохастической сходимости, который наиболее похож на поточечную сходимость, известную из элементарного вещественного анализа .

Определение

Сказать, что последовательность X _n сходится почти наверняка или почти всюду , или с вероятностью 1 , или сильно к X, означает, что

$${\displaystyle \mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.}$$

Это означает, что значения X _n приближаются к значению X в том смысле, что события, для которых X _n не сходится к X , имеют вероятность 0 (см. Почти наверняка ). Используя вероятностное пространство и концепцию случайной величины как функции от Ω до R , это эквивалентно утверждению ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

$${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.}$$

Используя понятие верхнего предела последовательности множеств , сходимость почти наверняка также можно определить следующим образом:

$${\displaystyle \mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.}$$

Почти уверенную конвергенцию часто обозначают добавлением букв над стрелкой, обозначающей конвергенцию:

Для общих случайных элементов { X _n } в метрическом пространстве сходимость почти наверняка определяется аналогично: ${\displaystyle (S,d)}$

$${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega \colon \,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Bigr )}=1}$$

Характеристики

• Почти наверняка сходимость подразумевает сходимость по вероятности (по лемме Фату ) и, следовательно, подразумевает сходимость по распределению. Это понятие сходимости используется в усиленном законе больших чисел .
• Концепция почти наверняка сходимости исходит не из топологии пространства случайных величин. Это означает, что в пространстве случайных величин не существует топологии, в которой почти наверняка сходящиеся последовательности являются в точности сходящимися последовательностями относительно этой топологии. В частности, не существует метрики почти наверняка сходимости.

Уверенная сходимость или поточечная сходимость

Сказать, что последовательность случайных величин ( X _n ), определенная в одном и том же вероятностном пространстве (т. е. случайный процесс ), сходится наверняка или всюду , или поточечно к X , означает

$${\displaystyle \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),\,\,\forall \omega \in \Omega ,}$$

где Ω — это выборочное пространство основного вероятностного пространства , в котором определяются случайные величины.

Это понятие поточечной сходимости последовательности функций, расширенной до последовательности случайных величин . (Обратите внимание, что случайные величины сами по себе являются функциями).

$${\displaystyle \left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .}$$

Надежная сходимость случайной величины подразумевает все остальные виды сходимости, указанные выше, но в теории вероятностей нет никакой выгоды от использования уверенной сходимости по сравнению с использованием почти наверняка сходимости. Разница между ними существует только на множествах с нулевой вероятностью. Вот почему концепция уверенной сходимости случайных величин используется очень редко.

Контрпримеры

Рассмотрим последовательность независимых случайных величин таких, что и . Ибо мы имеем то, что сходится к отсюда по вероятности. ${\displaystyle \{X_{n}\}}$ ${\displaystyle P(X_{n}=1)={\frac {1}{n}}}$ ${\displaystyle P(X_{n}=0)=1-{\frac {1}{n}}}$ ${\displaystyle 0<\varepsilon <1/2}$ ${\displaystyle P(|X_{n}|\geq \varepsilon )={\frac {1}{n}}}$ ${\displaystyle 0}$ ${\displaystyle X_{n}\to 0}$

Поскольку события и независимы, вторая лемма Бореля Кантелли гарантирует, что, следовательно, последовательность не сходится почти всюду (фактически множество, к которому эта последовательность не сходится, имеет вероятность ). ${\displaystyle \sum _{n\geq 1}P(X_{n}=1)\to \infty }$ ${\displaystyle \{X_{n}=1\}}$ ${\displaystyle P(\limsup _{n}\{X_{n}=1\})=1}$ ${\displaystyle \{X_{n}\}}$ ${\displaystyle 0}$ ${\displaystyle 0}$ ${\displaystyle 1}$

Сходимость в среднем

Для действительного числа r ≥ 1 мы говорим, что последовательность X _n сходится в r -м среднем (или в L ^r -норме ) к случайной величине X , если r -ые абсолютные моменты (| X _n | ^r ) и (| X | ^r ) X _n и X существуют, и ${\displaystyle \mathbb {E} }$ ${\displaystyle \mathbb {E} }$

${\displaystyle \lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,}$

где оператор E обозначает ожидаемое значение . Сходимость в r -м среднем говорит нам, что математическое ожидание r -й степени разницы между и сходится к нулю. ${\displaystyle X_{n}}$ ${\displaystyle X}$

Этот тип конвергенции часто обозначается добавлением буквы L ^r над стрелкой, обозначающей конвергенцию:

Наиболее важными случаями сходимости в r -м среднем являются:

• Когда X _n сходится в r -м среднем к X для r = 1, мы говорим, что X _n сходится в среднем к X .
• Когда X _n сходится в r -м среднем к X для r = 2, мы говорим, что X _n сходится в среднеквадратическом (или в среднем квадратичном ) к X .

Сходимость в r -м среднем, при r ≥ 1, влечет за собой сходимость по вероятности (по неравенству Маркова ). Более того, если r > s ≥ 1, сходимость в r -м среднем влечет за собой сходимость в s -м среднем. Следовательно, сходимость в среднем квадратическом подразумевает сходимость в среднем.

Кроме того,

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].}$

Обратное не обязательно верно, однако оно верно, если (по более общей версии леммы Шеффе ). ${\displaystyle {\overset {}{X_{n}\,\xrightarrow {p} \,X}}}$

Характеристики

При условии, что вероятностное пространство полно :

• Если и , то почти наверняка . ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$ ${\displaystyle X=Y}$
• Если и , то почти наверняка. ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$ ${\displaystyle X=Y}$
• Если и , то почти наверняка. ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$ ${\displaystyle X=Y}$
• Если и , то (для любых действительных чисел a и b ) и . ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$ ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$
• Если и , то (для любых действительных чисел a и b ) и . ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY}$ ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY}$
• Если и , то (для любых действительных чисел a и b ). ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$
• Ни одно из приведенных выше утверждений не верно для конвергенции распределения.

Цепочка следствий между различными понятиями конвергенции отмечена в соответствующих разделах. Они, используя обозначения стрелок:

${\displaystyle {\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}}$

Эти свойства вместе с рядом других особых случаев сведены в следующий список:

• Почти верная сходимость подразумевает сходимость по вероятности: ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• Сходимость по вероятности означает, что существует подпоследовательность , которая почти наверняка сходится: ^[9] ${\displaystyle (n_{k})}$

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X}$

• Сходимость по вероятности подразумевает сходимость по распределению: ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• Сходимость в среднем r -го порядка подразумевает сходимость по вероятности:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• Сходимость в среднем r -го порядка подразумевает сходимость в среднем более низком порядке, предполагая, что оба порядка больше или равны единице:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,}$ при условии r ≥ s ≥ 1.

• Если X _n сходится по распределению к константе c , то X _n сходится по вероятности к c : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$ при условии, что c является константой.

• Если X _n сходится по распределению к X и разность между X _n и Y _n сходится по вероятности к нулю, то Y _n также сходится по распределению к X : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• Если X _n сходится по распределению к X , а Y _n сходится по распределению к константе c , то совместный вектор ( X _n ,  Y _n ) сходится по распределению к : ^{[8] [доказательство]} ${\displaystyle (X,c)}$

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ при условии, что c является константой.

  Обратите внимание, что условие сходимости Y _n к константе важно: если бы оно сходилось к случайной величине Y , мы не смогли бы заключить, что ( X _n ,  Y _n ) сходится к . ${\displaystyle (X,Y)}$

• Если X _n сходится по вероятности к X, а Y _n сходится по вероятности к Y , то совместный вектор ( X _n ,  Y _n ) сходится по вероятности к ( X ,  Y ) : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• Если X _n сходится по вероятности к X , и если P (| X _n | ≤ b ) = 1 для всех n и некоторого b , то X _n сходится в r-м среднем к X для всех r ≥ 1 . Другими словами, если X _n сходится по вероятности к X и все случайные величины X _n почти наверняка ограничены сверху и снизу, то X _n сходится к X также в любом r- м среднем. ^[10]
• Почти наверняка представление . Обычно конвергенция в распределении почти наверняка не означает конвергенции. Однако для данной последовательности { Xn }, которая сходится по распределению к X0 _, всегда можно найти новое вероятностное пространство (Ω, F , P ) и случайные величины { _Yn , _n = 0, 1,... } определенное на нем такое, что Y _n равно по распределению X _n для каждого n ≥ 0 и Y _n сходится к Y ₀ почти наверняка. ^{[11] [12]}
• Если для всех ε > 0,

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  тогда мы говорим, что _Xn сходится почти полностью или почти по вероятности к X. Когда X _n почти полностью сходится к X , то оно также почти наверняка сходится к X . Другими словами, если X _n достаточно быстро сходится по вероятности к X (т. е. указанная выше последовательность хвостовых вероятностей суммируема для всех ε > 0 ), то X _n также почти наверняка сходится к X . Это прямое следствие леммы Бореля – Кантелли .

• Если S _n представляет собой сумму n действительных независимых случайных величин:

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  тогда Sn сходится почти наверняка тогда и только тогда, когда _Sn сходится _по вероятности.

• Теорема о доминируемой сходимости дает достаточные условия почти наверняка сходимости, чтобы подразумевать L ¹ -сходимость:

• Необходимым и достаточным условием сходимости L1 является ^{равномерность} интегрируемости последовательности ₍ Xn ) . ${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$
• Если , то следующие условия эквивалентны ^[13] ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X}$
  • ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$,
  • ${\displaystyle \mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty }$,
  • ${\displaystyle \{|X_{n}|^{r}\}}$является равномерно интегрируемым .
• Если дискретны и независимы, то следует, что . Это следствие второй леммы Бореля–Кантелли . ${\displaystyle X_{n}}$ ${\displaystyle X_{n}{\stackrel {p}{\rightarrow }}X}$ ${\displaystyle X_{n}{\stackrel {a.s.}{\rightarrow }}X}$

Смотрите также

• Доказательства сходимости случайных величин
• Сближение мер
• Сходимость по мере
• Непрерывный случайный процесс : вопрос непрерывности случайного процесса по сути является вопросом конвергенции, и многие из тех же концепций и отношений, которые использовались выше, применимы к вопросу о непрерывности.
• Асимптотическое распределение
• Большое О в обозначениях вероятности
• Теорема о представлении Скорохода
• Теорема о сходимости Твиди
• Теорема Слуцкого
• Теорема о непрерывном отображении

Примечания

1. Бикель и др. 1998, А.8, стр. 475
2. ван дер Ваарт и Веллнер 1996, стр. 4
3. Романо и Сигел 1985, пример 5.26.
4. Дарретт, Рик (2010). Вероятность: теория и примеры . п. 84.
5. ван дер Ваарт 1998, Лемма 2.2.
6. Дадли 2002, глава 9.2, стр. 287.
7. Дадли 2002, с. 289
8. ван дер Ваарт 1998, Теорема 2.7
9. Гут, Аллан (2005). Вероятность: Аспирантура . Теорема 3.4: Спрингер. ISBN 978-0-387-22833-4.{{cite book}}: CS1 maint: location (link)
10. Гримметт и Стирзакер 2020, с. 354
11. ван дер Ваарт 1998, Th.2.19
12. Фристедт и Грей 1997, Теорема 14.5.
13. «реальный анализ - обобщение леммы Шеффе с использованием только сходимости в вероятности» . Математический обмен стеками . Проверено 12 марта 2022 г.

Рекомендации

• Бикель, Питер Дж.; Клаассен, Крис Эй Джей; Ритов, Яаков; Веллнер, Джон А. (1998). Эффективное и адаптивное оценивание полупараметрических моделей . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-98473-5.
• Биллингсли, Патрик (1986). Вероятность и мера . Серия Уайли по вероятности и математической статистике (2-е изд.). Уайли.
• Биллингсли, Патрик (1999). Сходимость вероятностных мер (2-е изд.). Джон Уайли и сыновья. стр. 1–28. ISBN 978-0-471-19745-4.
• Дадли, РМ (2002). Реальный анализ и вероятность . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 978-0-521-80972-6.
• Фристедт, Берт; Грей, Лоуренс (1997). Современный подход к теории вероятностей . Нью-Йорк: Springer Science + Business Media. дои : 10.1007/978-1-4899-2837-5. ISBN 978-1-4899-2837-5.
• Гримметт, Греция; Стирзакер, Д.Р. (1992). Вероятность и случайные процессы (2-е изд.). Кларендон Пресс, Оксфорд. стр. 271–285. ISBN 978-0-19-853665-9.
• Якобсен, М. (1992). Videregående Sandsynlighedsregning (Расширенная теория вероятностей) (3-е изд.). HCØ-tryk, Копенгаген. стр. 18–20. ISBN 978-87-91180-71-2.
• Леду, Мишель; Талагранд, Мишель (1991). Вероятность в банаховых пространствах . Берлин: Springer-Verlag. стр. xii+480. ISBN 978-3-540-52013-9. МР  1102015.
• Романо, Джозеф П.; Сигел, Эндрю Ф. (1985). Контрпримеры в теории вероятности и статистике . Великобритания: Чепмен и Холл. ISBN 978-0-412-98901-8.
• Гриммет, Джеффри Р.; Стирзакер, Дэвид Р. (2020). Вероятность и случайные процессы (4-е изд.). Издательство Оксфордского университета. ISBN 978-0-198-84760-1.
• ван дер Ваарт, Аад В .; Веллнер, Джон А. (1996). Слабая сходимость и эмпирические процессы . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-94640-5.
• ван дер Ваарт, Аад В. (1998). Асимптотическая статистика . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-49603-2.
• Уильямс, Д. (1991). Вероятность с Мартингалами . Издательство Кембриджского университета. ISBN 978-0-521-40605-5.
• Вонг, Э.; Гаек, Б. (1985). Случайные процессы в технических системах . Нью-Йорк: Спрингер-Верлаг.

• https://www.ma.utexas.edu/users/gordanz/notes/weak.pdf

Эта статья включает в себя материал из статьи Citizendium «Стохастическая конвергенция», которая распространяется под лицензией Creative Commons Attribution-ShareAlike 3.0 Unported License, но не под лицензией GFDL .