Эмпирический процесс

В теории вероятностей эмпирический процесс — это случайный процесс , характеризующий отклонение эмпирической функции распределения от ее математического ожидания. В теории среднего поля рассматриваются предельные теоремы (поскольку число объектов становится большим) и они обобщают центральную предельную теорему для эмпирических мер . Приложения теории эмпирических процессов возникают в непараметрической статистике . ^[1]

Определение

Для X ₁ , X ₂ , ... X _n независимых и одинаково распределенных случайных величин в R с общей кумулятивной функцией распределения F ( x ) эмпирическая функция распределения определяется выражением

${\displaystyle F_{n}(x)={\frac {1}{n}}\sum _{i=1}^{n}I_{(-\infty ,x]}(X_{i}),}$

где I _C – индикаторная функция множества C .

Для каждого (фиксированного) x F n ₍ x ) представляет собой последовательность случайных величин, которые почти наверняка сходятся к F ( x ) по усиленному закону больших чисел . То есть F _n сходится к F поточечно . Гливенко и Кантелли усилили этот результат , доказав равномерную сходимость Fn _к F по теореме Гливенко–Кантелли . ^[2]

Центрированная и масштабированная версия эмпирической меры — это знаковая мера.

${\displaystyle G_{n}(A)={\sqrt {n}}(P_{n}(A)-P(A))}$

Он индуцирует отображение измеримых функций f , заданных формулой

${\displaystyle f\mapsto G_{n}f={\sqrt {n}}(P_{n}-P)f={\sqrt {n}}\left({\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})-\mathbb {E} f\right)}$

По центральной предельной теореме сходится по распределению к нормальной случайной величине N (0,  P ( A )(1 −  P ( A ))) для фиксированного измеримого множества A . Аналогично, для фиксированной функции f сходится по распределению к нормальной случайной величине при условии , что и существуют. ${\displaystyle G_{n}(A)}$ ${\displaystyle G_{n}f}$ ${\displaystyle N(0,\mathbb {E} (f-\mathbb {E} f)^{2})}$ ${\displaystyle \mathbb {E} f}$ ${\displaystyle \mathbb {E} f^{2}}$

Определение

${\displaystyle {\bigl (}G_{n}(c){\bigr )}_{c\in {\mathcal {C}}}}$называется эмпирическим процессом , индексируемым совокупностью измеримых подмножеств S. ${\displaystyle {\mathcal {C}}}$

${\displaystyle {\bigl (}G_{n}f{\bigr )}_{f\in {\mathcal {F}}}}$ называется эмпирическим процессом , индексируемым набором измеримых функций от S до . ${\displaystyle {\mathcal {F}}}$ ${\displaystyle \mathbb {R} }$

Важным результатом в области эмпирических процессов является теорема Донскера . Это привело к изучению классов Донскера : наборов функций с тем полезным свойством, что эмпирические процессы, индексированные этими классами, слабо сходятся к определенному гауссовскому процессу . Хотя можно показать, что классы Донскера являются классами Гливенко–Кантелли , обратное, вообще говоря, неверно.

Пример

В качестве примера рассмотрим эмпирические функции распределения . Для вещественных случайных величин iid X ₁ , X ₂ , ..., X _n они определяются выражением

${\displaystyle F_{n}(x)=P_{n}((-\infty ,x])=P_{n}I_{(-\infty ,x]}.}$

В этом случае эмпирические процессы индексируются классом. Показано, что это класс Донскера, в частности, ${\displaystyle {\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}.}$ ${\displaystyle {\mathcal {C}}}$

${\displaystyle {\sqrt {n}}(F_{n}(x)-F(x))}$слабо сходится к броуновскому мосту B ( F ( x )). ${\displaystyle \ell ^{\infty }(\mathbb {R} )}$

Смотрите также

• Преобразование Хмаладзе
• Слабая сходимость мер
• Теорема Гливенко – Кантелли.

Рекомендации

1. Моджиршейбани, М. (2007). «Оценка непараметрической кривой при недостающих данных: общий подход к эмпирическому процессу». Журнал статистического планирования и выводов . 137 (9): 2733–2758. дои : 10.1016/j.jspi.2006.02.016.
2. Вулфовиц, Дж. (1954). «Обобщение теоремы Гливенко-Кантелли». Анналы математической статистики . 25 : 131–138. дои : 10.1214/aoms/1177728852 .

дальнейшее чтение

• Биллингсли, П. (1995). Вероятность и мера (Третье изд.). Нью-Йорк: Джон Уайли и сыновья. ISBN 0471007102.
• Донскер, доктор медицины (1952). «Обоснование и расширение эвристического подхода Дуба к теоремам Колмогорова-Смирнова». Анналы математической статистики . 23 (2): 277–281. дои : 10.1214/aoms/1177729445 .
• Дадли, РМ (1978). «Центральные предельные теоремы для эмпирических мер». Анналы вероятности . 6 (6): 899–929. дои : 10.1214/aop/1176995384 .
• Дадли, РМ (1999). Равномерные центральные предельные теоремы . Кембриджские исследования по высшей математике. Том. 63. Кембридж, Великобритания: Издательство Кембриджского университета.
• Косорок, М.Р. (2008). Введение в эмпирические процессы и полупараметрический вывод . Серия Спрингера по статистике. дои : 10.1007/978-0-387-74978-5. ISBN 978-0-387-74977-8.
• Шорак, Греция ; Веллнер, Дж. А. (2009). Эмпирические процессы с приложениями к статистике . дои : 10.1137/1.9780898719017. ISBN 978-0-89871-684-9.
• ван дер Ваарт, Аад В .; Веллнер, Джон А. (2000). Слабая сходимость и эмпирические процессы: с приложениями к статистике (2-е изд.). Спрингер. ISBN 978-0-387-94640-5.
• Джапаридзе, КО; Никулин, М.С. (1982). «Вероятностные распределения статистики Колмогорова и омега-квадрата для непрерывных распределений с параметрами сдвига и масштаба». Журнал советской математики . 20 (3): 2147. doi :10.1007/BF01239992. S2CID  123206522.

Внешние ссылки

• Учебник Дэвида Полларда «Эмпирические процессы: теория и приложения» доступен в Интернете.
• «Введение в эмпирические процессы и полупараметрический вывод» Майкла Косорока, еще один учебник, доступный в Интернете.