Конвергенция мер

Математическая концепция

В математике , а точнее в теории мер , существуют различные понятия сходимости мер . Для интуитивного общего понимания того, что подразумевается под сходимостью мер , рассмотрим последовательность мер μ _n на пространстве, разделяющую общий набор измеримых множеств. Такая последовательность может представлять собой попытку построить «все лучшие и лучшие» приближения к желаемой мере μ , которую трудно получить напрямую. Значение «лучше и лучше» подчиняется всем обычным оговоркам для принятия пределов ; для любого допуска на ошибку ε > 0 мы требуем, чтобы было N достаточно большим для n ≥ N, чтобы гарантировать, что «разница» между μ _n и μ меньше ε . Различные понятия сходимости точно указывают, что должно означать слово «разница» в этом описании; эти понятия не эквивалентны друг другу и различаются по силе.

Ниже описаны три наиболее распространенных понятия конвергенции.

Неформальные описания

В этом разделе делается попытка дать приблизительное интуитивное описание трех понятий сходимости, используя терминологию, разработанную в курсах исчисления ; этот раздел обязательно неточен, а также неточен, и читателю следует обратиться к формальным разъяснениям в последующих разделах. В частности, описания здесь не рассматривают возможность того, что мера некоторых множеств может быть бесконечной или что лежащее в основе пространство может демонстрировать патологическое поведение, и для некоторых утверждений необходимы дополнительные технические предположения. Однако все утверждения в этом разделе верны, если μ _n является последовательностью вероятностных мер на польском пространстве .

Различные понятия сходимости формализуют утверждение о том, что «среднее значение» каждой «достаточно хорошей» функции должно сходиться: $${\displaystyle \int f\,d\mu _{n}\to \int f\,d\mu }$$

Для формализации этого требуется тщательное определение набора рассматриваемых функций и того, насколько равномерной должна быть сходимость.

Понятие слабой сходимости требует, чтобы эта сходимость имела место для каждой непрерывной ограниченной функции f . Это понятие рассматривает сходимость для различных функций f независимо друг от друга, т. е. различные функции f могут требовать различных значений N ≤ n для одинаково хорошей аппроксимации (таким образом, сходимость неравномерна по f ).

Понятие помножественной сходимости формализует утверждение о том, что мера каждого измеримого множества должна сходиться: $${\displaystyle \mu _{n}(A)\to \mu (A)}$$

Опять же, не требуется никакой однородности по множеству A. Интуитивно, рассматривая интегралы от «хороших» функций, это понятие обеспечивает большую однородность, чем слабую сходимость. Фактически, при рассмотрении последовательностей мер с равномерно ограниченной вариацией на польском пространстве , многомерная сходимость подразумевает сходимость для любой ограниченной измеримой функции f ^{[ необходима ссылка ]} . Как и прежде, эта сходимость неравномерна по f . ${\textstyle \int f\,d\mu _{n}\to \int f\,d\mu }$

Понятие сходимости по полной вариации формализует утверждение о том, что мера всех измеримых множеств должна сходиться равномерно , то есть для любого ε > 0 существует N такое, что для любого n > N и любого измеримого множества A. Как и прежде, это подразумевает сходимость интегралов по ограниченным измеримым функциям, но на этот раз сходимость равномерна по всем функциям, ограниченным любой фиксированной константой. ${\displaystyle |\mu _{n}(A)-\mu (A)|<\varepsilon }$

Общая вариационная сходимость мер

Это самое сильное понятие сходимости, показанное на этой странице, и оно определяется следующим образом. Пусть будет измеримым пространством . Полное расстояние вариации между двумя (положительными) мерами μ и ν тогда задается как ${\displaystyle (X,{\mathcal {F}})}$

${\displaystyle \left\|\mu -\nu \right\|_{\text{TV}}=\sup _{f}\left\{\int _{X}f\,d\mu -\int _{X}f\,d\nu \right\}.}$

Здесь супремум берется по f, пробегающему множество всех измеримых функций от X до [−1, 1] . Это контрастирует, например, с метрикой Вассерштейна , где определение имеет тот же вид, но супремум берется по f, пробегающему множество измеримых функций от X до [−1, 1], которые имеют константу Липшица не более 1; а также в отличие от метрики Радона , где супремум берется по f, пробегающему множество непрерывных функций от X до [−1, 1] . В случае, когда X является польским пространством , метрика полной вариации совпадает с метрикой Радона.

Если μ и ν являются вероятностными мерами , то общее расстояние вариации также определяется выражением

${\displaystyle \left\|\mu -\nu \right\|_{\text{TV}}=2\cdot \sup _{A\in {\mathcal {F}}}|\mu (A)-\nu (A)|.}$

Эквивалентность между этими двумя определениями можно рассматривать как частный случай двойственности Монжа–Канторовича . Из двух приведенных выше определений ясно, что общее расстояние вариации между вероятностными мерами всегда находится между 0 и 2.

Чтобы проиллюстрировать значение расстояния полной вариации, рассмотрим следующий мысленный эксперимент. Предположим, что нам даны две меры вероятности μ и ν , а также случайная величина X. Мы знаем, что X имеет закон либо μ, либо ν, но мы не знаем, какой из двух. Предположим, что эти две меры имеют априорные вероятности 0,5 каждая того, что они являются истинным законом X. Предположим теперь, что нам дан один единственный образец, распределенный в соответствии с законом X , и что нас затем просят угадать, какое из двух распределений описывает этот закон. Величина

${\displaystyle {2+\|\mu -\nu \|_{\text{TV}} \over 4}}$

затем дает точную верхнюю границу априорной вероятности того, что наше предположение окажется верным.

Учитывая приведенное выше определение расстояния полной вариации, говорят, что последовательность μ _n мер, определенных на одном и том же пространстве мер, сходится к мере μ по расстоянию полной вариации, если для каждого ε > 0 существует N такое, что для всех n > N выполняется следующее ^[1]

${\displaystyle \|\mu _{n}-\mu \|_{\text{TV}}<\varepsilon .}$

Последовательная сходимость мер

Для измеримого пространства говорят , что последовательность μ _n сходится к пределу μ, если ${\displaystyle (X,{\mathcal {F}})}$

${\displaystyle \lim _{n\to \infty }\mu _{n}(A)=\mu (A)}$

для каждого набора . ${\displaystyle A\in {\mathcal {F}}}$

Типичные обозначения стрелок — и . ${\displaystyle \mu _{n}\xrightarrow {sw} \mu }$ ${\displaystyle \mu _{n}\xrightarrow {s} \mu }$

Например, как следствие леммы Римана–Лебега , последовательность μ _n мер на интервале [−1, 1], заданная формулой μ _n ( dx ) = (1 + sin( nx )) dx, сходится по множеству к мере Лебега, но не сходится по полной вариации.

В теоретическом или вероятностном контексте мера конвергенции множества часто называется сильной конвергенцией (в отличие от слабой конвергенции). Это может привести к некоторой двусмысленности, поскольку в функциональном анализе сильная конвергенция обычно относится к конвергенции относительно нормы.

Слабая конвергенция мер

В математике и статистике слабая сходимость — один из многих типов сходимости, относящихся к сходимости мер . Она зависит от топологии базового пространства и, таким образом, не является чисто меро-теоретическим понятием .

Существует несколько эквивалентных определений слабой сходимости последовательности мер, некоторые из которых (по-видимому) более общие, чем другие. Эквивалентность этих условий иногда называют теоремой Портманто . ^[2]

Определение. Пусть будет метрическим пространством с его борелевской -алгеброй . Говорят, что ограниченная последовательность положительных вероятностных мер на слабо сходится к вероятностной мере (обозначается ), если выполняется любое из следующих эквивалентных условий (здесь обозначает ожидание или норму относительно , ​​а обозначает ожидание или норму относительно ): ${\displaystyle S}$ ${\displaystyle \sigma }$ ${\displaystyle \Sigma }$ ${\displaystyle P_{n}\,(n=1,2,\dots )}$ ${\displaystyle (S,\Sigma )}$ ${\displaystyle P}$ ${\displaystyle P_{n}\Rightarrow P}$ ${\displaystyle \operatorname {E} _{n}}$ ${\displaystyle L^{1}}$ ${\displaystyle P_{n}}$ ${\displaystyle \operatorname {E} }$ ${\displaystyle L^{1}}$ ${\displaystyle P}$

• ${\displaystyle \operatorname {E} _{n}[f]\to \operatorname {E} [f]}$для всех ограниченных непрерывных функций ; ${\displaystyle f}$
• ${\displaystyle \operatorname {E} _{n}[f]\to \operatorname {E} [f]}$для всех ограниченных и липшицевых функций ; ${\displaystyle f}$
• ${\displaystyle \limsup \operatorname {E} _{n}[f]\leq \operatorname {E} [f]}$для каждой полунепрерывной сверху функции, ограниченной сверху; ${\displaystyle f}$
• ${\displaystyle \liminf \operatorname {E} _{n}[f]\geq \operatorname {E} [f]}$для каждой полунепрерывной снизу функции, ограниченной снизу; ${\displaystyle f}$
• ${\displaystyle \limsup P_{n}(C)\leq P(C)}$для всех замкнутых множеств пространства ; ${\displaystyle C}$ ${\displaystyle S}$
• ${\displaystyle \liminf P_{n}(U)\geq P(U)}$для всех открытых пространств ; ${\displaystyle U}$ ${\displaystyle S}$
• ${\displaystyle \lim P_{n}(A)=P(A)}$для всех наборов непрерывности меры . ${\displaystyle A}$ ${\displaystyle P}$

В случае с его обычной топологией, если и обозначают кумулятивные функции распределения мер и , соответственно, то слабо сходится к тогда и только тогда, когда для всех точек , в которых является непрерывным. ${\displaystyle S\equiv \mathbf {R} }$ ${\displaystyle F_{n}}$ ${\displaystyle F}$ ${\displaystyle P_{n}}$ ${\displaystyle P}$ ${\displaystyle P_{n}}$ ${\displaystyle P}$ ${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)}$ ${\displaystyle x\in \mathbf {R} }$ ${\displaystyle F}$

Например, последовательность, где есть мера Дирака , расположенная в , слабо сходится к мере Дирака, расположенной в 0 (если рассматривать их как меры на с обычной топологией), но она не сходится по множеству. Это интуитивно ясно: мы знаем только, что «близко» к из-за топологии . ${\displaystyle P_{n}}$ ${\displaystyle 1/n}$ ${\displaystyle \mathbf {R} }$ ${\displaystyle 1/n}$ ${\displaystyle 0}$ ${\displaystyle \mathbf {R} }$

Это определение слабой сходимости может быть расширено для любого метризуемого топологического пространства . Оно также определяет слабую топологию на , множество всех вероятностных мер, определенных на . Слабая топология порождается следующим базисом открытых множеств: ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}(S)}$ ${\displaystyle (S,\Sigma )}$

${\displaystyle \left\{\ U_{\varphi ,x,\delta }\ \left|\quad \varphi :S\to \mathbf {R} {\text{ is bounded and continuous, }}x\in \mathbf {R} {\text{ and }}\delta >0\ \right.\right\},}$

где

${\displaystyle U_{\varphi ,x,\delta }:=\left\{\ \mu \in {\mathcal {P}}(S)\ \left|\quad \left|\int _{S}\varphi \,\mathrm {d} \mu -x\right|<\delta \ \right.\right\}.}$

Если также является сепарабельным , то является метризуемым и сепарабельным, например, метрикой Леви–Прохорова . Если также является компактным или польским , то является . ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}(S)}$ ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}(S)}$

Если является сепарабельным, то оно естественным образом вкладывается в (замкнутое) множество мер Дирака , а его выпуклая оболочка плотна . ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}(S)}$

Существует множество «стрелочных обозначений» для такого рода сходимости: наиболее часто используемые — , и . ${\displaystyle P_{n}\Rightarrow P}$ ${\displaystyle P_{n}\rightharpoonup P}$ ${\displaystyle P_{n}\xrightarrow {w} P}$ ${\displaystyle P_{n}\xrightarrow {\mathcal {D}} P}$

Слабая сходимость случайных величин

Пусть — вероятностное пространство , а X — метрическое пространство. Если X _n : Ω → X — последовательность случайных величин , то говорят, что X _n слабо сходится (или по распределению , или по закону ) к случайной величине X : Ω → X при n → ∞ , если последовательность мер прямого распространения ( X _n ) _∗ ( P ) слабо сходится к X _∗ ( P ) в смысле слабой сходимости мер на X , как определено выше. ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

Сравнение с неопределенной конвергенцией

Пусть будет метрическим пространством (например , или ). Следующие пространства тестовых функций обычно используются при сходимости вероятностных мер. ^[3] ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle [0,1]}$

• ${\displaystyle C_{c}(X)}$класс непрерывных функций, каждая из которых обращается в нуль вне компактного множества. ${\displaystyle f}$
• ${\displaystyle C_{0}(X)}$класс непрерывных функций такой, что ${\displaystyle f}$ ${\displaystyle \lim _{|x|\rightarrow \infty }f(x)=0}$
• ${\displaystyle C_{B}(X)}$класс непрерывных ограниченных функций

Имеем . Более того, является замыканием относительно равномерной сходимости. ^[3] ${\displaystyle C_{c}\subset C_{0}\subset C_{B}\subset C}$ ${\displaystyle C_{0}}$ ${\displaystyle C_{c}}$

Неопределенная конвергенция

Последовательность мер неопределенно сходится к мере, если для всех , . ${\displaystyle \left(\mu _{n}\right)_{n\in \mathbb {N} }}$ ${\displaystyle \mu }$ ${\displaystyle f\in C_{c}(X)}$ ${\displaystyle \int _{X}f\,d\mu _{n}\rightarrow \int _{X}f\,d\mu }$

Слабая конвергенция

Последовательность мер слабо сходится к мере, если для всех , . ${\displaystyle \left(\mu _{n}\right)_{n\in \mathbb {N} }}$ ${\displaystyle \mu }$ ${\displaystyle f\in C_{B}(X)}$ ${\displaystyle \int _{X}f\,d\mu _{n}\rightarrow \int _{X}f\,d\mu }$

В общем случае эти два понятия конвергенции не эквивалентны.

В вероятностной обстановке нечеткая сходимость и слабая сходимость вероятностных мер эквивалентны, предполагая плотность . То есть, плотная последовательность вероятностных мер сходится нечетко к вероятностной мере тогда и только тогда, когда слабо сходится к . ${\displaystyle (\mu _{n})_{n\in \mathbb {N} }}$ ${\displaystyle \mu }$ ${\displaystyle (\mu _{n})_{n\in \mathbb {N} }}$ ${\displaystyle \mu }$

Слабый предел последовательности вероятностных мер, при условии, что он существует, является вероятностной мерой. В общем случае, если плотность не предполагается, последовательность вероятностных (или субвероятностных) мер не обязательно может неопределенно сходиться к истинной вероятностной мере, а скорее к субвероятностной мере (мере такой, что ). ^[3] Таким образом, последовательность вероятностных мер, такая, что , где не указано, что это вероятностная мера, не гарантирует слабую сходимость. ${\displaystyle \mu (X)\leq 1}$ ${\displaystyle (\mu _{n})_{n\in \mathbb {N} }}$ ${\displaystyle \mu _{n}{\overset {v}{\to }}\mu }$ ${\displaystyle \mu }$

Слабая конвергенция мер как пример слабой-* конвергенции

Несмотря на то, что в контексте функционального анализа она имеет то же название, что и слабая сходимость , слабая сходимость мер на самом деле является примером слабой-* сходимости. Определения слабой и слабой-* сходимости, используемые в функциональном анализе, следующие:

Пусть — топологическое векторное пространство или банахово пространство. ${\displaystyle V}$

1. Последовательность в слабо сходится к , если для всех . Записывается как . ${\displaystyle x_{n}}$ ${\displaystyle V}$ ${\displaystyle x}$ ${\displaystyle \varphi \left(x_{n}\right)\rightarrow \varphi (x)}$ ${\displaystyle n\to \infty }$ ${\displaystyle \varphi \in V^{*}}$ ${\displaystyle x_{n}\mathrel {\stackrel {w}{\rightarrow }} x}$ ${\displaystyle n\to \infty }$
2. Последовательность сходится в топологии weak-* к при условии, что для всех . То есть сходимость происходит в поточечном смысле. В этом случае записывают как . ${\displaystyle \varphi _{n}\in V^{*}}$ ${\displaystyle \varphi }$ ${\displaystyle \varphi _{n}(x)\rightarrow \varphi (x)}$ ${\displaystyle x\in V}$ ${\displaystyle \varphi _{n}\mathrel {\stackrel {w^{*}}{\rightarrow }} \varphi }$ ${\displaystyle n\to \infty }$

Чтобы проиллюстрировать, как слабая сходимость мер является примером слабо-* сходимости, приведем пример в терминах нечеткой сходимости (см. выше). Пусть — локально компактное хаусдорфово пространство. По теореме Рисса о представлении пространство мер Радона изоморфно подпространству пространства непрерывных линейных функционалов на . Следовательно, для каждой меры Радона существует линейный функционал такой, что для всех . Применяя определение слабо-* сходимости в терминах линейных функционалов, получаем характеристику нечеткой сходимости мер. Для компактного , , поэтому в этом случае слабая сходимость мер является частным случаем слабо-* сходимости. ${\displaystyle X}$ ${\displaystyle M(X)}$ ${\displaystyle C_{0}(X)}$ ${\displaystyle \mu _{n}\in M(X)}$ ${\displaystyle \varphi _{n}\in C_{0}(X)^{*}}$ ${\displaystyle \varphi _{n}(f)=\int _{X}f\,d\mu _{n}}$ ${\displaystyle f\in C_{0}(X)}$ ${\displaystyle X}$ ${\displaystyle C_{0}(X)=C_{B}(X)}$

Смотрите также

• Сходимость случайных величин
• Метрика Леви–Прохорова
• Теорема Прохорова
• Жесткость мер

Примечания и ссылки

1. Мадрас, Нил; Сезер, Дениз (25 февраля 2011 г.). «Количественные оценки сходимости цепей Маркова: расстояния Вассерштейна и полной вариации». Бернулли . 16 (3): 882–908. arXiv : 1102.5245 . doi :10.3150/09-BEJ238. S2CID  88518773.
2. Кленке, Ахим (2006). Теория вероятностей . Springer-Verlag. ISBN 978-1-84800-047-6.
3. Chung, Kai Lai (1974). Курс теории вероятностей. Архив Интернета. Нью-Йорк, Academic Press. С. 84–99. ISBN 978-0-12-174151-8.

Дальнейшее чтение

• Амброзио, Л., Джильи, Н. и Саваре, Г. (2005). Градиентные потоки в метрических пространствах и в пространстве вероятностных мер . Базель: ETH Zürich, Birkhäuser Verlag. ISBN 3-7643-2428-7.{{cite book}}: CS1 maint: multiple names: authors list (link)
• Биллингсли, Патрик (1995). Вероятность и мера . Нью-Йорк, Нью-Йорк: John Wiley & Sons, Inc. ISBN 0-471-00710-2.
• Биллингсли, Патрик (1999). Сходимость вероятностных мер . Нью-Йорк, Нью-Йорк: John Wiley & Sons, Inc. ISBN 0-471-19745-9.