Сходимость случайных величин

Понятия вероятностной сходимости, применяемые к оценке и асимптотическому анализу

В теории вероятностей существует несколько различных понятий сходимости последовательностей случайных величин , включая сходимость по вероятности , сходимость по распределению и почти наверняка сходимость . Различные понятия сходимости охватывают различные свойства последовательности, при этом некоторые понятия сходимости сильнее других. Например, сходимость по распределению говорит нам о предельном распределении последовательности случайных величин. Это более слабое понятие, чем сходимость по вероятности, которое говорит нам о значении, которое примет случайная величина, а не только о распределении.

Эта концепция важна в теории вероятностей и ее приложениях к статистике и стохастическим процессам . Те же концепции известны в более общей математике как стохастическая сходимость , и они формализуют идею о том, что некоторые свойства последовательности по существу случайных или непредсказуемых событий иногда могут, как ожидается, прийти к поведению, которое по существу не меняется, когда элементы достаточно далеко в последовательности изучаются. Различные возможные понятия сходимости связаны с тем, как такое поведение может быть охарактеризовано: два легко понимаемых поведения заключаются в том, что последовательность в конечном итоге принимает постоянное значение, и что значения в последовательности продолжают меняться, но могут быть описаны неизменным распределением вероятностей.

Фон

«Стохастическая сходимость» формализует идею о том, что последовательность по существу случайных или непредсказуемых событий иногда может, как ожидается, уложиться в шаблон. Шаблон может быть, например,

• Сходимость в классическом смысле к фиксированному значению, возможно, сама происходящая из случайного события
• Все большее сходство результатов с тем, что могла бы дать чисто детерминированная функция
• Растущее предпочтение определенного результата
• Растущее «отвращение» к слишком большому отклонению от определенного результата
• Что распределение вероятностей, описывающее следующий результат, может становиться все более похожим на определенное распределение

Некоторые менее очевидные, более теоретические закономерности могут быть

• Что ряд, сформированный путем вычисления ожидаемого значения расстояния результата от конкретного значения, может сходиться к 0
• Что дисперсия случайной величины, описывающей следующее событие, становится все меньше и меньше.

Эти другие типы закономерностей, которые могут возникнуть, отражены в различных типах стохастической конвергенции, которые были изучены.

Хотя приведенное выше обсуждение касалось сходимости одного ряда к предельному значению, понятие сходимости двух рядов друг к другу также важно, но с этим легко справиться, изучая последовательность, определяемую либо как разность, либо как отношение двух рядов.

Например, если среднее значение n независимых случайных величин , имеющих одинаковое конечное среднее значение и дисперсию , определяется как ${\displaystyle Y_{i},\ i=1,\dots ,n}$

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

то при стремлении к бесконечности сходится по вероятности (см. ниже) к общему среднему , , случайных величин . Этот результат известен как слабый закон больших чисел . Другие формы сходимости важны в других полезных теоремах, включая центральную предельную теорему . ${\displaystyle n}$ ${\displaystyle X_{n}}$ ${\displaystyle \mu }$ ${\displaystyle Y_{i}}$

Далее мы предполагаем, что — последовательность случайных величин, а — случайная величина, и все они определены в одном и том же вероятностном пространстве . ${\displaystyle (X_{n})}$ ${\displaystyle X}$ ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

Конвергенция в распределении

Грубо говоря, при таком режиме сходимости мы все больше ожидаем увидеть, как следующий результат в последовательности случайных экспериментов становится все лучше и лучше моделируемым заданным распределением вероятностей . Точнее, распределение связанной случайной величины в последовательности становится произвольно близким к указанному фиксированному распределению.

Сходимость в распределении является самой слабой формой сходимости, обычно обсуждаемой, поскольку она подразумевается всеми другими типами сходимости, упомянутыми в этой статье. Однако сходимость в распределении очень часто используется на практике; чаще всего она возникает из применения центральной предельной теоремы .

Определение

Говорят, что последовательность действительных случайных величин с кумулятивными функциями распределения сходится по распределению , или сходится слабо , или сходится по закону к случайной величине X с кумулятивной функцией распределения F , если ${\displaystyle X_{1},X_{2},\ldots }$ ${\displaystyle F_{1},F_{2},\ldots }$

${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x),}$

для каждого числа, при котором является непрерывным . ${\displaystyle x\in \mathbb {R} }$ ${\displaystyle F}$

Требование того, чтобы рассматривались только точки непрерывности, является существенным. Например, если распределены равномерно на интервалах , то эта последовательность сходится по распределению к вырожденной случайной величине . Действительно, для всех , когда , и для всех , когда . Однако для этой предельной случайной величины , хотя для всех . Таким образом, сходимость cdfs нарушается в точке , где является разрывной. ${\displaystyle F}$ ${\displaystyle X_{n}}$ ${\displaystyle \left(0,{\frac {1}{n}}\right)}$ ${\displaystyle X=0}$ ${\displaystyle F_{n}(x)=0}$ ${\displaystyle n}$ ${\displaystyle x\leq 0}$ ${\displaystyle F_{n}(x)=1}$ ${\displaystyle x\geq {\frac {1}{n}}}$ ${\displaystyle n>0}$ ${\displaystyle F(0)=1}$ ${\displaystyle F_{n}(0)=0}$ ${\displaystyle n}$ ${\displaystyle x=0}$ ${\displaystyle F}$

Сходимость в распределении можно обозначить как

где — закон (распределение вероятностей) X. Например, если X — стандартно нормальное, мы можем записать . ${\displaystyle \scriptstyle {\mathcal {L}}_{X}}$ ${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$

Для случайных векторов сходимость по распределению определяется аналогично. Мы говорим, что эта последовательность сходится по распределению к случайному k -вектору X, если ${\displaystyle \left\{X_{1},X_{2},\dots \right\}\subset \mathbb {R} ^{k}}$

${\displaystyle \lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)}$

для каждого , который является непрерывным множеством X . ${\displaystyle A\subset \mathbb {R} ^{k}}$

Определение сходимости в распределении может быть расширено от случайных векторов до более общих случайных элементов в произвольных метрических пространствах и даже до «случайных величин», которые не поддаются измерению — ситуация, которая возникает, например, при изучении эмпирических процессов . Это «слабая сходимость законов без определения законов» — за исключением асимптотики. ^[1]

В этом случае термин слабая сходимость является предпочтительным (см. слабая сходимость мер ), и мы говорим, что последовательность случайных элементов { X _n } слабо сходится к X (обозначается как X _n ⇒ X ), если

${\displaystyle \mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)}$

для всех непрерывных ограниченных функций h . ^[2] Здесь E* обозначает внешнее ожидание , то есть ожидание «наименьшей измеримой функции g , которая доминирует над h ( X _n ) ».

Характеристики

• Поскольку , сходимость в распределении означает, что вероятность того, что X _n находится в заданном диапазоне, приблизительно равна вероятности того, что значение X находится в этом диапазоне, при условии, что n достаточно велико . ${\displaystyle F(a)=\mathbb {P} (X\leq a)}$
• В общем случае сходимость в распределении не означает, что последовательность соответствующих функций плотности вероятности также будет сходиться. В качестве примера можно рассмотреть случайные величины с плотностями f _n ( x ) = (1 + cos(2 πnx )) 1 _(0,1) . Эти случайные величины сходятся в распределении к равномерному U (0, 1), тогда как их плотности вообще не сходятся. ^[3]
  • Однако, согласно теореме Шеффе , сходимость функций плотности вероятности подразумевает сходимость распределения. ^[4]
• Лемма о портманто дает несколько эквивалентных определений сходимости в распределении. Хотя эти определения менее интуитивны, они используются для доказательства ряда статистических теорем. Лемма утверждает, что { X _n } сходится в распределении к X тогда и только тогда, когда верно любое из следующих утверждений: ^[5]
  • ${\displaystyle \mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)}$для всех точек непрерывности ; ${\displaystyle x\mapsto \mathbb {P} (X\leq x)}$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$для всех ограниченных непрерывных функций (где обозначает оператор ожидаемого значения ) ; ${\displaystyle f}$ ${\displaystyle \mathbb {E} }$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$для всех ограниченных липшицевых функций ; ${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$для всех неотрицательных, непрерывных функций ; ${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)}$для каждого открытого множества ; ${\displaystyle G}$
  • ${\displaystyle \lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)}$для каждого замкнутого множества ; ${\displaystyle F}$
  • ${\displaystyle \mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)}$для всех множеств непрерывности случайной величины ; ${\displaystyle B}$ ${\displaystyle X}$
  • ${\displaystyle \limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)}$для каждой полунепрерывной сверху функции , ограниченной сверху; ^{[ необходима ссылка ]} ${\displaystyle f}$
  • ${\displaystyle \liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$для каждой полунепрерывной снизу функции , ограниченной снизу. ^{[ необходима ссылка ]} ${\displaystyle f}$
• Теорема о непрерывном отображении утверждает, что для непрерывной функции g , если последовательность { X _n } сходится по распределению к X , то { g ( X _n )} сходится по распределению к g ( X ) .
  • Однако следует отметить, что сходимость в распределении { X _n } к X и { Y _n } к Y в общем случае не подразумевает сходимость в распределении { X _n + Y _n } к X + Y или { X _n Y _n } к XY .
• Теорема Леви о непрерывности : Последовательность { X _n } сходится по распределению к X тогда и только тогда, когда последовательность соответствующих характеристических функций { φ _n } поточечно сходится к характеристической функции φ множества X.
• Сходимость по распределению метризуема метрикой Леви–Прохорова .
• Естественной связью со сходимостью по распределению является теорема Скорохода о представлении .

Сходимость по вероятности

Основная идея этого типа сходимости заключается в том, что вероятность «необычного» результата становится все меньше и меньше по мере развития последовательности.

Понятие сходимости по вероятности очень часто используется в статистике. Например, оценщик называется состоятельным , если он сходится по вероятности к оцениваемой величине. Сходимость по вероятности также является типом сходимости, установленным слабым законом больших чисел .

Определение

Последовательность { X _n } случайных величин сходится по вероятности к случайной величине X, если для всех ε > 0

${\displaystyle \lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.}$

Более конкретно, пусть P _n ( ε ) будет вероятностью того, что X _n находится вне шара радиуса ε с центром в точке  X . Тогда говорят, что X _n сходится по вероятности к X , если для любого ε > 0 и любого δ  > 0 существует число N (которое может зависеть от ε и δ ) такое, что для всех n  ≥  N , P _n ( ε ) <  δ (определение предела).

Обратите внимание, что для выполнения условия невозможно, чтобы для каждого n случайные величины X и X _n были независимыми (и, таким образом, сходимость по вероятности является условием для совместных cdf, в отличие от сходимости по распределению, которая является условием для индивидуальных cdf), если только X не является детерминированным, как для слабого закона больших чисел. В то же время случай детерминированного X не может, когда детерминированное значение является точкой разрыва (не изолированной), обрабатываться сходимостью по распределению, где точки разрыва должны быть явно исключены.

Сходимость по вероятности обозначается добавлением буквы p над стрелкой, указывающей на сходимость, или использованием оператора предела вероятности «plim»:

Для случайных элементов { X _n } на сепарабельном метрическом пространстве ( S , d ) сходимость по вероятности определяется аналогично ^[6]

${\displaystyle \forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.}$

Характеристики

• Сходимость по вероятности подразумевает сходимость по распределению. ^{[доказательство]}
• В противоположном направлении, сходимость по распределению подразумевает сходимость по вероятности, когда предельная случайная величина X является константой. ^{[доказательство]}
• Сходимость по вероятности не подразумевает почти наверняка сходимость. ^{[доказательство]}
• Теорема о непрерывном отображении утверждает, что для каждой непрерывной функции , если , то также  . ${\displaystyle g}$ ${\textstyle X_{n}\xrightarrow {p} X}$ ${\textstyle g(X_{n})\xrightarrow {p} g(X)}$
• Сходимость по вероятности определяет топологию на пространстве случайных величин над фиксированным вероятностным пространством. Эта топология метризуема метрикой Ки Фана : ^[7] или альтернативно этой метрикой $${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}}$$ $${\displaystyle d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].}$$

Контрпримеры

Не каждая последовательность случайных величин, которая сходится к другой случайной величине по распределению, также сходится по вероятности к этой случайной величине. В качестве примера рассмотрим последовательность стандартных нормальных случайных величин и вторую последовательность . Обратите внимание, что распределение равно распределению для всех , но: ${\displaystyle X_{n}}$ ${\displaystyle Y_{n}=(-1)^{n}X_{n}}$ ${\displaystyle Y_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle n}$ $${\displaystyle P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )}$$

который не сходится к . Таким образом, у нас нет сходимости по вероятности. ${\displaystyle 0}$

Почти наверняка сходимость

Это тип стохастической сходимости, который наиболее похож на поточечную сходимость, известную из элементарного вещественного анализа .

Определение

Сказать, что последовательность X _n сходится почти наверняка или почти всюду , или с вероятностью 1 , или строго к X, означает, что $${\displaystyle \mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.}$$

Это означает, что значения X _n приближаются к значению X , в том смысле, что события, для которых X _n не сходится к X , имеют вероятность 0 (см. Почти наверняка ). Используя вероятностное пространство и концепцию случайной величины как функции от Ω до R , это эквивалентно утверждению ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ $${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.}$$

Используя понятие предельного значения последовательности множеств , почти наверняка сходимость можно также определить следующим образом: $${\displaystyle \mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.}$$

Почти наверняка сходимость часто обозначается добавлением букв над стрелкой, указывающей на сходимость:

Для общих случайных элементов { X _n } на метрическом пространстве сходимость почти наверняка определяется аналогично: ${\displaystyle (S,d)}$ $${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega \colon \,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Bigr )}=1}$$

Характеристики

• Почти наверняка сходимость подразумевает сходимость по вероятности (по лемме Фату ), и, следовательно, подразумевает сходимость по распределению. Это понятие сходимости используется в усиленном законе больших чисел .
• Понятие почти наверняка сходимости не исходит из топологии пространства случайных величин. Это означает, что не существует топологии пространства случайных величин, такой, что почти наверняка сходящиеся последовательности являются в точности сходящимися последовательностями относительно этой топологии. В частности, не существует метрики почти наверняка сходимости.

Контрпримеры

Рассмотрим последовательность независимых случайных величин, такую, что и . Для имеем что сходится к , следовательно, по вероятности. ${\displaystyle \{X_{n}\}}$ ${\displaystyle P(X_{n}=1)={\frac {1}{n}}}$ ${\displaystyle P(X_{n}=0)=1-{\frac {1}{n}}}$ ${\displaystyle 0<\varepsilon <1/2}$ ${\displaystyle P(|X_{n}|\geq \varepsilon )={\frac {1}{n}}}$ ${\displaystyle 0}$ ${\displaystyle X_{n}\to 0}$

Поскольку и события независимы, вторая лемма Бореля-Кантелли гарантирует, что, следовательно, последовательность не сходится к почти всюду (фактически множество, на котором эта последовательность не сходится к , имеет вероятность ). ${\displaystyle \sum _{n\geq 1}P(X_{n}=1)\to \infty }$ ${\displaystyle \{X_{n}=1\}}$ ${\displaystyle P(\limsup _{n}\{X_{n}=1\})=1}$ ${\displaystyle \{X_{n}\}}$ ${\displaystyle 0}$ ${\displaystyle 0}$ ${\displaystyle 1}$

Уверенная сходимость или поточечная сходимость

Сказать, что последовательность случайных величин ( X _n ), определенная в одном и том же вероятностном пространстве (т. е. случайный процесс ), сходится наверняка или всюду , или поточечно к X , означает

$${\displaystyle \forall \omega \in \Omega \colon \ \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),}$$

где Ω — выборочное пространство базового вероятностного пространства , в котором определены случайные величины.

Это понятие поточечной сходимости последовательности функций, расширенной до последовательности случайных величин . (Обратите внимание, что случайные величины сами по себе являются функциями).

$${\displaystyle \left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .}$$

Уверенная сходимость случайной величины подразумевает все другие виды сходимости, указанные выше, но в теории вероятностей нет выигрыша от использования уверенной сходимости по сравнению с использованием почти уверенной сходимости. Разница между ними существует только на множествах с нулевой вероятностью. Вот почему концепция уверенной сходимости случайных величин используется очень редко.

Сходимость в среднем

При заданном действительном числе r ≥ 1 мы говорим, что последовательность X _n сходится в r -м среднем значении (или в L ^r -норме ) к случайной величине X , если r -е абсолютные моменты (| X _n | ^r ) и (| X | ^r ) величин X _n и X существуют, и ${\displaystyle \mathbb {E} }$ ${\displaystyle \mathbb {E} }$

${\displaystyle \lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,}$

где оператор E обозначает ожидаемое значение . Сходимость по r -му среднему говорит нам, что ожидание r -й степени разности между и сходится к нулю. ${\displaystyle X_{n}}$ ${\displaystyle X}$

Этот тип конвергенции часто обозначается добавлением буквы L ^r над стрелкой, указывающей на конвергенцию:

Наиболее важными случаями сходимости в r -ом среднем являются:

• Когда X _n сходится в r -ом среднем к X при r = 1, мы говорим, что X _n сходится в среднем к X .
• Когда X _n сходится в r -ом среднем к X при r = 2, мы говорим, что X _n сходится в среднем квадратичном (или в среднем квадратичном ) к X .

Сходимость в r -ом среднем, для r ≥ 1, подразумевает сходимость по вероятности (по неравенству Маркова ). Более того, если r > s ≥ 1, сходимость в r -ом среднем подразумевает сходимость в s -ом среднем. Следовательно, сходимость в среднем квадратичном подразумевает сходимость в среднем.

Кроме того,

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].}$

Обратное утверждение не обязательно верно, однако оно верно, если (по более общей версии леммы Шеффе ). ${\displaystyle {\overset {}{X_{n}\,\xrightarrow {p} \,X}}}$

Характеристики

При условии, что вероятностное пространство является полным :

• Если и , то почти наверняка . ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$ ${\displaystyle X=Y}$
• Если и , то почти наверняка. ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$ ${\displaystyle X=Y}$
• Если и , то почти наверняка. ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$ ${\displaystyle X=Y}$
• Если и , то (для любых действительных чисел a и b ) и . ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$ ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$
• Если и , то (для любых действительных чисел a и b ) и . ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY}$ ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY}$
• Если и , то (для любых действительных чисел a и b ). ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$ ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$
• Ни одно из вышеприведенных утверждений не является верным для конвергенции в распределении.

Цепочка импликаций между различными понятиями конвергенции отмечена в соответствующих разделах. Они, используя стрелочные обозначения:

${\displaystyle {\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}}$

Эти свойства, а также ряд других особых случаев, обобщены в следующем списке:

• Почти наверняка сходимость подразумевает сходимость по вероятности: ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• Сходимость по вероятности подразумевает, что существует подпоследовательность , которая почти наверняка сходится: ^[9] ${\displaystyle (n_{k})}$

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X}$

• Сходимость по вероятности подразумевает сходимость по распределению: ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• Сходимость по среднему r -го порядка подразумевает сходимость по вероятности:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• Сходимость в среднем r -го порядка подразумевает сходимость в среднем низшего порядка, предполагая, что оба порядка больше или равны единице:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,}$ при условии, что r ≥ s ≥ 1.

• Если X _n сходится по распределению к константе c , то X _n сходится по вероятности к c : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$ при условии, что c является константой.

• Если X _n сходится по распределению к X и разность между X _n и Y _n сходится по вероятности к нулю, то Y _n также сходится по распределению к X : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• Если X _n сходится по распределению к X , а Y _n сходится по распределению к константе c , то совместный вектор ( X _n ,  Y _n ) сходится по распределению к ⁠ ⁠ ${\displaystyle (X,c)}$ : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ при условии, что c является константой.

  Обратите внимание, что условие сходимости Y _n к константе важно; если бы оно сходилось к случайной величине Y , то мы не смогли бы сделать вывод, что ( X _n ,  Y _n ) сходится к ⁠ ⁠ ${\displaystyle (X,Y)}$ .

• Если X _n сходится по вероятности к X , а Y _n сходится по вероятности к Y , то совместный вектор ( X _n ,  Y _n ) сходится по вероятности к ( X ,  Y ) : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• Если X _n сходится по вероятности к X , и если P (| X _n | ≤ b ) = 1 для всех n и некоторых b , то X _n сходится в r -м среднем к X для всех r ≥ 1 . Другими словами, если X _n сходится по вероятности к X и все случайные величины X _n почти наверняка ограничены сверху и снизу, то X _n сходится к X также в любом r -м среднем. ^[10]
• Почти наверняка представление . Обычно сходимость по распределению не подразумевает сходимость почти наверняка. Однако для заданной последовательности { X _n }, которая сходится по распределению к X _{0 ,} всегда можно найти новое вероятностное пространство (Ω, F , P) и случайные величины { Y _n , n = 0, 1, ...}, определенные на нем, такие, что Y _n равно по распределению X _n для каждого n ≥ 0 , а Y _n сходится к Y ₀ почти наверняка. ^{[11] [12]}
• Если для всех ε > 0,

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  то мы говорим, что X _n сходится почти полностью или почти по вероятности к X . Когда X _n сходится почти полностью к X , то он также сходится почти наверняка к X . Другими словами, если X _n сходится по вероятности к X достаточно быстро (т. е. указанная выше последовательность хвостовых вероятностей суммируема для всех ε > 0 ), то X _n также сходится почти наверняка к X . Это прямое следствие из леммы Бореля–Кантелли .

• Если S _n представляет собой сумму n действительных независимых случайных величин:

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  тогда S _n сходится почти наверняка тогда и только тогда, когда S _n сходится по вероятности. Доказательство можно найти на странице 126 (теорема 5.3.4) книги Кай Лай Чуна . ^[13]

  Однако для последовательности взаимно независимых случайных величин сходимость по вероятности не подразумевает почти наверняка сходимость. ^[14]

• Теорема о доминируемой сходимости дает достаточные условия для почти наверняка сходимости, чтобы подразумевать L ¹ -сходимость:

• Необходимым и достаточным условием сходимости L ¹ является то, что последовательность ( X _n ) равномерно интегрируема . ${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$
• Если , то следующие условия эквивалентны ^[15] ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X}$
  • ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$,
  • ${\displaystyle \mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty }$,
  • ${\displaystyle \{|X_{n}|^{r}\}}$равномерно интегрируема .

Смотрите также

• Доказательства сходимости случайных величин
• Конвергенция мер
• Сходимость в мере
• Непрерывный стохастический процесс : вопрос непрерывности стохастического процесса по сути является вопросом конвергенции, и многие из тех же понятий и соотношений, которые использовались выше, применимы к вопросу непрерывности.
• Асимптотическое распределение
• Большое О в обозначении вероятности
• Теорема о представлении Скорохода
• Теорема сходимости Твиди
• Теорема Слуцкого
• Теорема о непрерывном отображении

Примечания

1. Бикель и др. 1998, A.8, стр. 475
2. ван дер Ваарт и Веллнер 1996, стр. 4
3. Романо и Сигел 1985, Пример 5.26
4. Дарретт, Рик (2010). Вероятность: теория и примеры . стр. 84.
5. ван дер Ваарт 1998, Лемма 2.2.
6. Дадли 2002, Глава 9.2, стр. 287
7. Дадли 2002, стр. 289
8. ван дер Ваарт 1998, Теорема 2.7
9. Гут, Аллан (2005). Вероятность: аспирантский курс . Теорема 3.4: Springer. ISBN 978-0-387-22833-4.{{cite book}}: CS1 maint: location (link)
10. Гримметт и Стирзакер 2020, стр. 354
11. ван дер Варт 1998, Чт.2.19
12. Фристедт и Грей 1997, Теорема 14.5
13. Чунг, Кай-лай (2001). Курс теории вероятностей . стр. 126.
14. "Доказательства сходимости случайных величин". Википедия . Получено 2024-09-23 .
15. "реальный анализ - обобщение леммы Шеффе с использованием только сходимости по вероятности". Mathematics Stack Exchange . Получено 2022-03-12 .

Ссылки

• Бикель, Питер Дж.; Клаассен, Крис А. Дж.; Ритов, Яаков; Веллнер, Джон А. (1998). Эффективная и адаптивная оценка для полупараметрических моделей . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-98473-5.
• Биллингсли, Патрик (1986). Вероятность и мера . Wiley Series in Probability and Mathematical Statistics (2-е изд.). Wiley.
• Биллингсли, Патрик (1999). Сходимость вероятностных мер (2-е изд.). John Wiley & Sons. стр. 1–28. ISBN 978-0-471-19745-4.
• Дадли, Р. М. (2002). Реальный анализ и вероятность . Кембридж, Великобритания: Cambridge University Press. ISBN 978-0-521-80972-6.
• Фристедт, Берт; Грей, Лоуренс (1997). Современный подход к теории вероятностей . Нью-Йорк: Springer Science+Business Media. doi :10.1007/978-1-4899-2837-5. ISBN 978-1-4899-2837-5.
• Grimmett, GR; Stirzaker, DR (1992). Вероятность и случайные процессы (2-е изд.). Clarendon Press, Oxford. стр. 271–285. ISBN 978-0-19-853665-9.
• Якобсен, М. (1992). Videregående Sandsynlighedsregning (Расширенная теория вероятностей) (3-е изд.). HCØ-tryk, Копенгаген. стр. 18–20. ISBN 978-87-91180-71-2.
• Леду, Мишель; Талагран, Мишель (1991). Вероятность в банаховых пространствах . Берлин: Springer-Verlag. С. xii+480. ISBN 978-3-540-52013-9. МР  1102015.
• Романо, Джозеф П.; Сигел, Эндрю Ф. (1985). Контрпримеры в теории вероятностей и статистике . Великобритания: Chapman & Hall. ISBN 978-0-412-98901-8.
• Гримметт, Джеффри Р.; Стирзакер, Дэвид Р. (2020). Вероятность и случайные процессы (4-е изд.). Oxford University Press. ISBN 978-0-198-84760-1.
• ван дер Ваарт, Аад В .; Веллнер, Джон А. (1996). Слабая сходимость и эмпирические процессы . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-94640-5.
• ван дер Ваарт, Аад В. (1998). Асимптотическая статистика . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-49603-2.
• Уильямс, Д. (1991). Вероятность с Мартингалами . Cambridge University Press. ISBN 978-0-521-40605-5.
• Вонг, Э.; Хаек, Б. (1985). Стохастические процессы в инженерных системах . Нью-Йорк: Springer–Verlag.
• Житкович, Гордан (17 ноября 2013 г.). «Лекция 7: Слабая сходимость» (PDF) .

В данной статье использованы материалы статьи Citizendium «Стохастическая конвергенция», которая распространяется по лицензии Creative Commons Attribution-ShareAlike 3.0 Unported License , но не по лицензии GFDL .