Эмпирическая мера

В теории вероятностей эмпирическая мера — это случайная мера , возникающая в результате конкретной реализации (обычно конечной) последовательности случайных величин . Точное определение можно найти ниже. Эмпирические меры имеют отношение к математической статистике .

Мотивацией к изучению эмпирических показателей является то, что часто невозможно узнать истинную основную меру вероятности . Мы собираем наблюдения и вычисляем относительные частоты . Мы можем оценить или соответствующую функцию распределения с помощью эмпирической меры или эмпирической функции распределения соответственно. Это равномерно хорошие оценки при определенных условиях. Теоремы в области эмпирических процессов обеспечивают скорость этой сходимости. ${\displaystyle P}$ ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ ${\displaystyle P}$ ${\displaystyle F}$

Определение

Пусть – последовательность независимых одинаково распределенных случайных величин со значениями в пространстве состояний S с распределением вероятностей P . ${\displaystyle X_{1},X_{2},\dots }$

Определение

Эмпирическая мера P _n определяется для измеримых подмножеств S и задается формулой

${\displaystyle P_{n}(A)={1 \over n}\sum _{i=1}^{n}I_{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A)}$

где – индикаторная функция , – мера Дирака . ${\displaystyle I_{A}}$ ${\displaystyle \delta _{X}}$

Характеристики

• Для фиксированного измеримого набора A nP _n ( A ) является биномиальной случайной величиной со средним значением nP ( A ) и дисперсией nP ( A )(1 -  P ( A )).
  • В частности, P _n ( A ) является несмещенной оценкой P ( A ).
• Для фиксированного разбиения S случайные величины образуют полиномиальное распределение с вероятностями событий . ${\displaystyle A_{i}}$ ${\displaystyle Y_{i}=nP_{n}(A_{i})}$ ${\displaystyle P(A_{i})}$
  • Ковариационная матрица этого полиномиального распределения равна . ${\displaystyle Cov(Y_{i},Y_{j})=nP(A_{i})(\delta _{ij}-P(A_{j}))}$

Определение

${\displaystyle {\bigl (}P_{n}(c){\bigr )}_{c\in {\mathcal {C}}}}$является эмпирической мерой, индексированной , совокупностью измеримых подмножеств S . ${\displaystyle {\mathcal {C}}}$

Чтобы обобщить это понятие дальше, заметим, что эмпирическая мера отображает измеримые функции в их эмпирическое среднее значение : ${\displaystyle P_{n}}$ ${\displaystyle f:S\to \mathbb {R} }$

${\displaystyle f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$

В частности, эмпирическая мера A — это просто эмпирическое среднее индикаторной функции P _n ( A ) = P _n I _A .

Для фиксированной измеримой функции – это случайная величина со средним значением и дисперсией . ${\displaystyle f}$ ${\displaystyle P_{n}f}$ ${\displaystyle \mathbb {E} f}$ ${\displaystyle {\frac {1}{n}}\mathbb {E} (f-\mathbb {E} f)^{2}}$

По усиленному закону больших чисел Pn ( _A ) сходится к P ( A ) почти наверняка при фиксированном A. Аналогично сходится к почти наверняка для фиксированной измеримой функции . Проблема равномерной сходимости P _n к P была открытой до тех пор, пока Вапник и Червоненкис не решили ее в 1968 году. ^[1] ${\displaystyle P_{n}f}$ ${\displaystyle \mathbb {E} f}$ ${\displaystyle f}$

Если класс (или ) является классом Гливенко–Кантелли относительно P , то P _n сходится к P равномерно по (или ). Другими словами, с вероятностью 1 имеем ${\displaystyle {\mathcal {C}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle c\in {\mathcal {C}}}$ ${\displaystyle f\in {\mathcal {F}}}$

${\displaystyle \|P_{n}-P\|_{\mathcal {C}}=\sup _{c\in {\mathcal {C}}}|P_{n}(c)-P(c)|\to 0,}$

${\displaystyle \|P_{n}-P\|_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}|P_{n}f-\mathbb {E} f|\to 0.}$

Эмпирическая функция распределения

Эмпирическая функция распределения представляет собой пример эмпирических показателей. Для действительных случайных величин iid это определяется выражением ${\displaystyle X_{1},\dots ,X_{n}}$

${\displaystyle F_{n}(x)=P_{n}((-\infty ,x])=P_{n}I_{(-\infty ,x]}.}$

В этом случае эмпирические меры индексируются классом. Показано, что – однородный класс Гливенко–Кантелли , в частности, ${\displaystyle {\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}.}$ ${\displaystyle {\mathcal {C}}}$

${\displaystyle \sup _{F}\|F_{n}(x)-F(x)\|_{\infty }\to 0}$

с вероятностью 1.

Смотрите также

• Минимизация эмпирического риска
• Случайная мера Пуассона

Рекомендации

1. Вапник, В.; Червоненкис, А (1968). «Равномерная сходимость частот возникновения событий к их вероятностям». Докл. Акад. Наук СССР . 181 .

дальнейшее чтение

• Биллингсли, П. (1995). Вероятность и мера (Третье изд.). Нью-Йорк: Джон Уайли и сыновья. ISBN 0-471-80478-9.
• Донскер, доктор медицины (1952). «Обоснование и расширение эвристического подхода Дуба к теоремам Колмогорова – Смирнова». Анналы математической статистики . 23 (2): 277–281. дои : 10.1214/aoms/1177729445 .
• Дадли, РМ (1978). «Центральные предельные теоремы для эмпирических мер». Анналы вероятности . 6 (6): 899–929. дои : 10.1214/aop/1176995384 . JSTOR  2243028.
• Дадли, РМ (1999). Равномерные центральные предельные теоремы . Кембриджские исследования по высшей математике. Том. 63. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-46102-2.
• Вулфовиц, Дж. (1954). «Обобщение теоремы Гливенко – Кантелли». Анналы математической статистики . 25 (1): 131–138. дои : 10.1214/aoms/1177728852 . JSTOR  2236518.