Теорема Берри – Эссеена

В теории вероятностей центральная предельная теорема утверждает, что при определенных обстоятельствах распределение вероятностей масштабированного среднего случайной выборки сходится к нормальному распределению по мере увеличения размера выборки до бесконечности. При более сильных предположениях теорема Берри-Эссеена или неравенство Берри-Эссеена дает более количественный результат, поскольку она также определяет скорость, с которой происходит эта сходимость, давая оценку максимальной ошибки аппроксимации между нормальным распределением и истинное распределение масштабированного выборочного среднего. Приближение измеряется расстоянием Колмогорова–Смирнова . В случае независимых выборок скорость сходимости равна n ^−1/2 , где n — размер выборки, а константа оценивается через третий абсолютный нормированный момент .

Формулировка теоремы

Формулировки теоремы различаются, поскольку она была независимо открыта двумя математиками , Эндрю К. Берри (в 1941 году) и Карлом-Густавом Эссеном (1942), которые затем вместе с другими авторами неоднократно уточняли ее в течение последующих десятилетий.

Одинаково распределенные слагаемые

Одна из версий, несколько жертвующая общностью ради ясности, состоит в следующем:

Существует положительная константа C такая, что если X ₁ , X ₂ , ... являются iid случайными величинами с E ( X ₁ ) = 0, E( X ₁ ² ) = σ ² > 0 и E(| X ₁ | ³ ) = ρ < ∞, ^{[примечание 1]} и если мы определим

${\displaystyle Y_{n}={X_{1}+X_{2}+\cdots +X_{n} \over n}}$

выборочное среднее , где F _{n —} кумулятивная функция распределения

${\displaystyle {Y_{n}{\sqrt {n}} \over {\sigma }},}$

и Φ — кумулятивная функция распределения стандартного нормального распределения , тогда для всех x и n

${\displaystyle \left|F_{n}(x)-\Phi (x)\right|\leq {C\rho \over \sigma ^{3}{\sqrt {n}}}.\ \ \ \ (1)}$

Иллюстрация различия кумулятивных функций распределения, упомянутых в теореме.

То есть: при наличии последовательности независимых и одинаково распределенных случайных величин , каждая из которых имеет нулевое среднее и положительную дисперсию , если дополнительно третий абсолютный момент конечен, то кумулятивные функции распределения стандартизированного выборочного среднего и стандартного нормального распределения различаются (по вертикали, на графике) не более чем на указанную сумму. Обратите внимание, что ошибка аппроксимации для всех n (и, следовательно , предельная скорость сходимости для достаточно большого неопределенного n ) ограничена порядком n ^−1/2 .

Расчетные значения константы С с годами заметно уменьшились: от первоначального значения 7,59 Эссеена (1942) до 0,7882 ван Бека (1972), затем 0,7655 Шиганова (1986), затем 0,7056 Шевцовой (2007), затем 0,7005 Шевцовой (2008), затем 0,5894 Тюрина (2009), затем 0,5129 Королева и Шевцовой (2010а), затем 0,4785 Тюрина (2010). Подробный обзор можно найти в статьях Королев и Шевцова (2010a) и Королев и Шевцова (2010b). Наилучшая оценка по состоянию на 2012 год ^[update], C  < 0,4748, следует из неравенства

${\displaystyle \sup _{x\in \mathbb {R} }\left|F_{n}(x)-\Phi (x)\right|\leq {0.33554(\rho +0.415\sigma ^{3}) \over \sigma ^{3}{\sqrt {n}}},}$

по Шевцовой (2011), поскольку σ ³  ≤ ρ и 0,33554 · 1,415 < 0,4748. Однако если ρ ≥ 1,286σ ³ , то оценка

${\displaystyle \sup _{x\in \mathbb {R} }\left|F_{n}(x)-\Phi (x)\right|\leq {0.3328(\rho +0.429\sigma ^{3}) \over \sigma ^{3}{\sqrt {n}}},}$

что также доказано в работе Шевцовой (2011), дает еще более точную оценку сверху.

Эссин (1956) доказал, что константа также удовлетворяет нижней границе

${\displaystyle C\geq {\frac {{\sqrt {10}}+3}{6{\sqrt {2\pi }}}}\approx 0.40973\approx {\frac {1}{\sqrt {2\pi }}}+0.01079.}$

Неидентично распределенные слагаемые

Пусть X ₁ , X ₂ , ... являются независимыми случайными величинами с E ( X _i ) = 0, E ( X _i ² ) = σ _i ² > 0 и E (| X _i | ³ ) = ρ _i < ∞. Кроме того, пусть

${\displaystyle S_{n}={X_{1}+X_{2}+\cdots +X_{n} \over {\sqrt {\sigma _{1}^{2}+\sigma _{2}^{2}+\cdots +\sigma _{n}^{2}}}}}$

— нормализованная n -я частичная сумма. Обозначим Fn _— функцию распределения Sn , а _Φ — функцию распределения стандартного нормального распределения . Для удобства обозначим

${\displaystyle {\vec {\sigma }}=(\sigma _{1},\ldots ,\sigma _{n}),\ {\vec {\rho }}=(\rho _{1},\ldots ,\rho _{n}).}$

В 1941 году Эндрю Берри доказал, что для всех n существует абсолютная константа C1 такая, _что

${\displaystyle \sup _{x\in \mathbb {R} }\left|F_{n}(x)-\Phi (x)\right|\leq C_{1}\cdot \psi _{1},\ \ \ \ (2)}$

где

${\displaystyle \psi _{1}=\psi _{1}{\big (}{\vec {\sigma }},{\vec {\rho }}{\big )}={\Big (}{\textstyle \sum \limits _{i=1}^{n}\sigma _{i}^{2}}{\Big )}^{-1/2}\cdot \max _{1\leq i\leq n}{\frac {\rho _{i}}{\sigma _{i}^{2}}}.}$

Независимо, в 1942 году Карл-Густав Эссен доказал, что для всех n существует абсолютная константа C ₀ такая, что

${\displaystyle \sup _{x\in \mathbb {R} }\left|F_{n}(x)-\Phi (x)\right|\leq C_{0}\cdot \psi _{0},\ \ \ \ (3)}$

где

${\displaystyle \psi _{0}=\psi _{0}{\big (}{\vec {\sigma }},{\vec {\rho }}{\big )}={\Big (}{\textstyle \sum \limits _{i=1}^{n}\sigma _{i}^{2}}{\Big )}^{-3/2}\cdot \sum \limits _{i=1}^{n}\rho _{i}.}$

Легко убедиться, _{что ψ0} ≤ψ1 . В связи с этим обстоятельством неравенство (3) принято называть неравенством Берри–Эссеена, а величину ψ ₀ – дробью Ляпунова третьего порядка. Более того, в случае, когда слагаемые X ₁ , ..., X _n имеют одинаковые распределения

${\displaystyle \psi _{0}=\psi _{1}={\frac {\rho _{1}}{\sigma _{1}^{3}{\sqrt {n}}}},}$

и, таким образом, границы, установленные неравенствами (1), (2) и (3), совпадают, кроме константы.

Что касается C ₀ , то, очевидно, остается справедливой нижняя граница, установленная Эссеном (1956):

${\displaystyle C_{0}\geq {\frac {{\sqrt {10}}+3}{6{\sqrt {2\pi }}}}=0.4097\ldots .}$

Нижняя граница точно достигается только для некоторых распределений Бернулли (их явные выражения см. в Esseen (1956)).

Верхние границы C ₀ впоследствии были понижены с первоначальной оценки 7,59 Эссеена (1942) до (учитывая только недавние результаты) 0,9051 Золотарева (1967), 0,7975 ван Бека (1972), 0,7915 Шиганова (1986). ), 0,6379 и 0,5606 по Тюрину (2009) и Тюрину (2010). По состоянию на 2011 год ^[update]лучшая оценка составляет 0,5600, полученная Шевцовой (2010).

Многомерная версия

Как и в случае с многомерной центральной предельной теоремой , существует многомерная версия теоремы Берри–Эссеена. ^{[1] [2]}

Пусть – независимые -значные случайные векторы, каждый из которых имеет нулевое среднее. «Написать и предположить » обратимо. Пусть будет -мерным гауссианом с тем же средним значением и ковариационной матрицей, что и . Тогда для всех выпуклых множеств ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \mathbb {R} ^{d}}$ ${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}}$ ${\displaystyle \Sigma _{n}=\operatorname {Cov} [S_{n}]}$ ${\displaystyle Z_{n}\sim \operatorname {N} (0,{\Sigma _{n}})}$ ${\displaystyle d}$ ${\displaystyle S_{n}}$ ${\displaystyle U\subseteq \mathbb {R} ^{d}}$

${\displaystyle {\big |}\Pr[S_{n}\in U]-\Pr[Z_{n}\in U]\,{\big |}\leq Cd^{1/4}\gamma _{n}}$,

где – универсальная константа и (третья степень нормы L 2 ) . ${\displaystyle C}$ ${\displaystyle \gamma _{n}=\sum _{i=1}^{n}\operatorname {E} {\big [}\|\Sigma _{n}^{-1/2}X_{i}\|_{2}^{3}{\big ]}}$

Предполагается, что зависимость от оптимальна, но может и не быть таковой. ^[2] ${\displaystyle d^{1/4}}$

Смотрите также

• Неравенство Чернова
• Серия Эджворта
• Список неравенств
• Список математических теорем
• Неравенство концентрации

Примечания

1. Поскольку случайные величины распределены одинаково, X ₂ , X ₃ , ... все имеют те же моменты , что и X ₁ .

Рекомендации

1. Бенткус, Видмантас. «Связка типа Ляпунова в R ^d ». Теория вероятностей и ее приложения 49.2 (2005): 311–323.
2. Райч, Мартин (2019). «Многомерная теорема Берри--Эссеена с явными константами». Бернулли . 25 (4А): 2824–2853. arXiv : 1802.06475 . дои : 10.3150/18-BEJ1072. ISSN  1350-7265. S2CID  119607520.

• Берри, Эндрю К. (1941). «Точность гауссова приближения суммы независимых переменных». Труды Американского математического общества . 49 (1): 122–136. дои : 10.1090/S0002-9947-1941-0003498-3 . JSTOR  1990053.
• Дарретт, Ричард (1991). Вероятность: теория и примеры . Пасифик Гроув, Калифорния: Уодсворт и Брукс/Коул. ISBN 0-534-13206-5 . 
• Эссен, Карл-Густав (1942). «О пределе погрешности Ляпунова в теории вероятностей». Архив для математики, астрономии и физики . А28 : 1–19. ISSN  0365-4133.
• Эссен, Карл-Густав (1956). «Моментное неравенство с применением к центральной предельной теореме». Сканд. Актуариетидскр . 39 : 160–170.
• Феллер, Уильям (1972). Введение в теорию вероятностей и ее приложения, том II (2-е изд.). Нью-Йорк: Джон Уайли и сыновья. ISBN 0-471-25709-5 . 
• Королев, В. Ю.; Шевцова, ИГ (2010а). «О верхней оценке абсолютной константы в неравенстве Берри – Эссеена». Теория вероятностей и ее приложения . 54 (4): 638–658. дои : 10.1137/S0040585X97984449.
• Королев, Виктор; Шевцова, Ирина (2010б). «Улучшение неравенства Берри – Эссеена с применением к Пуассону и смешанным случайным суммам Пуассона». Скандинавский актуарный журнал . 2012 (2): 1–25. arXiv : 0912.2795 . дои : 10.1080/03461238.2010.485370. S2CID  115164568.
• Манукян, Эдвард Б. (1986). Современные понятия и теоремы математической статистики . Нью-Йорк: Springer-Verlag. ISBN 0-387-96186-0 . 
• Серфлинг, Роберт Дж. (1980). Аппроксимационные теоремы математической статистики . Нью-Йорк: Джон Уайли и сыновья. ISBN 0-471-02403-1 . 
• Шевцова, ИГ (2008). «Об абсолютной константе в неравенстве Берри – Эссеена». Сборник статей молодых ученых факультета вычислительной математики и кибернетики (5): 101–110.
• Шевцова, Ирина (2007). «Уточнение верхней границы абсолютной константы в неравенстве Берри – Эссеена». Теория вероятностей и ее приложения . 51 (3): 549–553. дои : 10.1137/S0040585X97982591.
• Шевцова, Ирина (2010). «Улучшение оценок скорости сходимости в теореме Ляпунова». Доклады Математики . 82 (3): 862–864. дои : 10.1134/S1064562410060062. S2CID  122973032.
• Шевцова, Ирина (2011). «Об абсолютных константах в неравенствах типа Берри Эссеена для одинаково распределенных слагаемых». arXiv : 1111.6554 [мат.PR].
• Шиганов, И.С. (1986). «Уточнение верхней границы константы в остаточном члене центральной предельной теоремы». Журнал советской математики . 35 (3): 109–115. дои : 10.1007/BF01121471 . S2CID  120112396.
• Тюрин И.С. (2009). «О точности гауссова приближения». Доклады Математики . 80 (3): 840–843. дои : 10.1134/S1064562409060155. S2CID  121383741.
• Тюрин И.С. (2010). «Улучшение верхних оценок констант в теореме Ляпунова». Российские математические обзоры . 65 (3(393)): 201–202. doi : 10.1070/RM2010v065n03ABEH004688. S2CID  118771013.
• ван Бик, П. (1972). «Применение методов Фурье к проблеме усиления неравенства Берри – Эссеена». Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete . 23 (3): 187–196. дои : 10.1007/BF00536558 . S2CID  121036017.
• Золотарев, В.М. (1967). «Усиление неравенства Берри – Эссеена». Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete . 8 (4): 332–342. дои : 10.1007/BF00531598 . S2CID  122347713.

Внешние ссылки

• Гут, Аллан и Холст Ларс. Карл-Густав Эссен, получено 15 марта 2004 г.
• «Неравенство Берри – Эссеена», Математическая энциклопедия , EMS Press , 2001 [1994]