Закон больших чисел

Средние значения повторных испытаний сходятся к ожидаемому значению

Иллюстрация закона больших чисел с использованием конкретного броска одной кости . По мере увеличения количества бросков в этом броске среднее значение всех результатов приближается к 3,5. Хотя каждый бросок покажет отличительную форму при небольшом количестве бросков (слева), при большом количестве бросков (справа) формы будут чрезвычайно похожи.

В теории вероятностей закон больших чисел ( ЗБЧ ) — это математический закон , который гласит, что среднее значение результатов, полученных из большого числа независимых случайных выборок, сходится к истинному значению, если оно существует. ^[1] Более формально, ЗБЧ гласит, что при наличии выборки независимых и одинаково распределенных значений выборочное среднее значение сходится к истинному среднему значению .

LLN важен, поскольку он гарантирует стабильные долгосрочные результаты для средних значений некоторых случайных событий . ^{[1] [2]} Например, в то время как казино может проиграть деньги за один спин рулетки , его прибыль будет стремиться к предсказуемому проценту за большое количество спинов. Любая выигрышная серия игрока в конечном итоге будет преодолена параметрами игры. Важно отметить, что закон применяется (как следует из названия) только тогда, когда рассматривается большое количество наблюдений. Нет принципа, что небольшое количество наблюдений совпадет с ожидаемым значением или что серия одного значения будет немедленно «уравновешена» другими (см. ошибку игрока ).

LLN применяется только к среднему значению результатов, полученных в ходе повторных испытаний, и утверждает, что это среднее значение сходится к ожидаемому значению; оно не утверждает, что сумма n результатов приближается к ожидаемому значению, умноженному на n , по мере увеличения n .

На протяжении всей истории многие математики совершенствовали этот закон. Сегодня LLN используется во многих областях, включая статистику, теорию вероятностей, экономику и страхование. ^[3]

Примеры

Например, один бросок честной шестигранной кости выдает одно из чисел 1, 2, 3, 4, 5 или 6, каждое с равной вероятностью . Таким образом, ожидаемое значение среднего значения бросков равно:

$${\displaystyle {\frac {1+2+3+4+5+6}{6}}=3.5}$$

Согласно закону больших чисел, если бросить большое количество шестигранных игральных костей, среднее значение их значений (иногда называемое выборочным средним ) будет приближаться к 3,5, причем точность будет увеличиваться по мере броска большего количества игральных костей.

Из закона больших чисел следует, что эмпирическая вероятность успеха в серии испытаний Бернулли будет сходиться к теоретической вероятности. Для случайной величины Бернулли ожидаемое значение является теоретической вероятностью успеха, а среднее значение n таких переменных (предполагая, что они независимы и одинаково распределены (iid) ) является как раз относительной частотой.

Это изображение иллюстрирует сходимость относительных частот к их теоретическим вероятностям. Вероятность вытащить красный шар из мешка составляет 0,4, а черный шар — 0,6. Левый график показывает относительную частоту вытаскивания черного шара, а правый график показывает относительную частоту вытаскивания красного шара, оба за 10 000 попыток. По мере увеличения числа попыток относительные частоты приближаются к своим теоретическим вероятностям, демонстрируя закон больших чисел.

Например, подбрасывание честной монеты — это испытание Бернулли. Когда честная монета подбрасывается один раз, теоретическая вероятность того, что выпадет орел, равна 1 ⁄ 2 . Следовательно, согласно закону больших чисел, доля орлов при «большом» числе подбрасываний монеты «должна быть» примерно 1 ⁄ 2 . В частности, доля орлов после n подбрасываний почти наверняка будет стремиться к 1 ⁄ 2 , когда n стремится к бесконечности.

Хотя доля орлов (и решек) приближается к 1 ⁄ 2 , почти наверняка абсолютная разница в количестве орлов и решек станет больше по мере того, как число подбрасываний станет большим. То есть вероятность того, что абсолютная разница будет небольшим числом, приближается к нулю по мере того, как число подбрасываний станет большим. Также почти наверняка отношение абсолютной разницы к числу подбрасываний будет приближаться к нулю. Интуитивно понятно, что ожидаемая разница растет, но медленнее, чем число подбрасываний.

Другим хорошим примером LLN является метод Монте-Карло . Эти методы представляют собой широкий класс вычислительных алгоритмов , которые полагаются на повторную случайную выборку для получения числовых результатов. Чем больше число повторений, тем лучше, как правило, получается аппроксимация. Причина, по которой этот метод важен, заключается в основном в том, что иногда трудно или невозможно использовать другие подходы. ^[4]

Ограничение

Среднее значение результатов, полученных из большого числа испытаний, может не сходиться в некоторых случаях. Например, среднее значение n результатов, взятых из распределения Коши или некоторых распределений Парето (α < 1), не будет сходиться по мере увеличения n ; причина в тяжелых хвостах . ^[5] Распределение Коши и распределение Парето представляют собой два случая: распределение Коши не имеет ожидания, ^[6] тогда как ожидание распределения Парето ( α < 1) бесконечно. ^[7] Один из способов создания примера с распределением Коши заключается в том, что случайные числа равны тангенсу угла, равномерно распределенного между −90° и +90°. ^[8] Медиана равна нулю, но ожидаемого значения не существует, и, действительно, среднее значение n таких переменных имеет то же распределение, что и одна такая переменная. Оно не сходится по вероятности к нулю (или любому другому значению), когда n стремится к бесконечности.

И если испытания включают в себя смещение отбора , типичное для человеческого экономического/рационального поведения, закон больших чисел не помогает в решении смещения. Даже если число испытаний увеличивается, смещение отбора остается.

История

Диффузия — пример закона больших чисел. Первоначально молекулы растворенного вещества находятся слева от барьера (пурпурная линия), а справа их нет. Барьер удаляется, и растворенное вещество диффундирует, заполняя весь контейнер.

• Вверху: Движение одной молекулы кажется совершенно хаотичным.
• В середине: При большем количестве молекул четко прослеживается тенденция, при которой растворенное вещество заполняет контейнер все более и более равномерно, но также наблюдаются случайные колебания.
• Внизу: При огромном количестве молекул растворенного вещества (слишком много, чтобы увидеть) случайность по сути исчезает: растворенное вещество, по-видимому, плавно и систематически перемещается из областей с высокой концентрацией в области с низкой концентрацией. В реальных ситуациях химики могут описать диффузию как детерминированное макроскопическое явление (см. законы Фика ), несмотря на его базовую случайную природу.

Итальянский математик Джероламо Кардано (1501–1576) без доказательств утверждал, что точность эмпирической статистики имеет тенденцию улучшаться с числом испытаний. ^{[9] [3]} Затем это было формализовано как закон больших чисел. Специальная форма ЗБЧ (для двоичной случайной величины) была впервые доказана Якобом Бернулли . ^{[10] [3]} Ему потребовалось более 20 лет, чтобы разработать достаточно строгое математическое доказательство, которое было опубликовано в его Ars Conjectandi ( Искусство предположений ) в 1713 году. Он назвал это своей «Золотой теоремой», но она стала общеизвестной как « теорема Бернулли ». Ее не следует путать с принципом Бернулли , названным в честь племянника Якоба Бернулли Даниэля Бернулли . В 1837 году С. Д. Пуассон дополнительно описал его под названием «la loi des grands nombres» («закон больших чисел»). ^{[11] [12] [3]} Впоследствии он был известен под обоими названиями, но чаще всего использовался «закон больших чисел».

После того, как Бернулли и Пуассон опубликовали свои работы, другие математики также внесли свой вклад в уточнение закона, включая Чебышева , ^[13] Маркова , Бореля , Кантелли , Колмогорова и Хинчина . ^[3] Марков показал, что закон может применяться к случайной величине, которая не имеет конечной дисперсии при некотором другом более слабом предположении, а Хинчин в 1929 году показал, что если ряд состоит из независимых одинаково распределенных случайных величин, то для того, чтобы слабый закон больших чисел был истинным, достаточно, чтобы ожидаемое значение существовало. ^{[14] [15]} Эти дальнейшие исследования привели к появлению двух известных форм ЗБЧ. Одна называется «слабым» законом, а другая — «сильным» законом, в отношении двух различных режимов сходимости кумулятивных выборочных средних к ожидаемому значению; в частности, как объясняется ниже, сильная форма подразумевает слабую. ^[14]

Формы

Существуют две различные версии закона больших чисел , которые описаны ниже. Они называются усиленным законом больших чисел и слабым законом больших чисел . ^{[16] [1]} Сформулированные для случая, когда X ₁ , X ₂ , ... — бесконечная последовательность независимых и одинаково распределенных (iid) интегрируемых по Лебегу случайных величин с ожидаемым значением E( X ₁ ) = E( X ₂ ) = ... = μ , обе версии закона утверждают, что выборочное среднее

$${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}$$

сходится к ожидаемому значению:

(Интегрируемость по Лебегу X _j означает, что ожидаемое значение E( X _j ) существует согласно интегрированию по Лебегу и является конечным. Это не означает, что соответствующая вероятностная мера абсолютно непрерывна относительно меры Лебега .)

Вводные тексты по вероятности часто дополнительно предполагают одинаковую конечную дисперсию (для всех ) и отсутствие корреляции между случайными величинами. В этом случае дисперсия среднего значения n случайных величин равна ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$ ${\displaystyle i}$

$${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$$

что может быть использовано для сокращения и упрощения доказательств. Это предположение о конечной дисперсии не является необходимым . Большая или бесконечная дисперсия замедлит сходимость, но LLN в любом случае выполняется. ^[17]

Взаимная независимость случайных величин может быть заменена попарной независимостью ^[18] или взаимозаменяемостью ^[19] в обеих версиях закона.

Разница между сильной и слабой версиями касается режима конвергенции, который утверждается. Для интерпретации этих режимов см. Сходимость случайных величин .

Слабый закон

Моделирование, иллюстрирующее закон больших чисел. В каждом кадре монета, которая с одной стороны красная, а с другой синяя, переворачивается, и в соответствующий столбец добавляется точка. Круговая диаграмма показывает пропорцию красного и синего на данный момент. Обратите внимание, что хотя пропорция поначалу значительно меняется, она приближается к 50% по мере увеличения количества попыток.

Слабый закон больших чисел (также называемый законом Хинчина ) гласит, что при наличии набора независимых и одинаково распределенных (iid) выборок случайной величины с конечным средним значением выборочное среднее значение сходится по вероятности к ожидаемому значению ^[20]

То есть, для любого положительного числа ε ,

$${\displaystyle \lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.}$$

Интерпретируя этот результат, слабый закон гласит, что для любого заданного ненулевого запаса ( ε ), независимо от того, насколько он мал, при достаточно большой выборке будет очень высокая вероятность того, что среднее значение наблюдений будет близко к ожидаемому значению, то есть в пределах запаса.

Как упоминалось ранее, слабый закон применяется в случае случайных величин iid, но он также применяется в некоторых других случаях. Например, дисперсия может быть разной для каждой случайной величины в ряду, сохраняя ожидаемое значение постоянным. Если дисперсии ограничены, то закон применяется, как показал Чебышев еще в 1867 году. (Если ожидаемые значения изменяются в течение ряда, то мы можем просто применить закон к среднему отклонению от соответствующих ожидаемых значений. Тогда закон гласит, что это сходится по вероятности к нулю.) Фактически, доказательство Чебышева работает до тех пор, пока дисперсия среднего первых n значений стремится к нулю, когда n стремится к бесконечности. ^[15] В качестве примера предположим, что каждая случайная величина в ряду следует гауссовскому распределению (нормальному распределению) со средним значением, равным нулю, но с дисперсией, равной , которая не ограничена. На каждом этапе среднее будет нормально распределено (как среднее набора нормально распределенных величин). Дисперсия суммы равна сумме дисперсий, которая асимптотически равна . Дисперсия среднего, следовательно, асимптотически равна и стремится к нулю. ${\displaystyle 2n/\log(n+1)}$ ${\displaystyle n^{2}/\log n}$ ${\displaystyle 1/\log n}$

Существуют также примеры применения слабого закона, даже если ожидаемое значение не существует.

Строгий закон

Усиленный закон больших чисел (также называемый законом Колмогорова ) гласит, что выборочное среднее почти наверняка сходится к ожидаемому значению ^[21]

То есть,

$${\displaystyle \Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.}$$

Это означает, что вероятность того, что по мере того, как число испытаний n стремится к бесконечности, среднее значение наблюдений сходится к ожидаемому значению, равна единице. Современное доказательство сильного закона сложнее, чем доказательство слабого закона, и опирается на переход к соответствующей подпоследовательности. ^[17]

Усиленный закон больших чисел сам по себе может рассматриваться как частный случай точечной эргодической теоремы . Эта точка зрения оправдывает интуитивную интерпретацию ожидаемого значения (только для интегрирования Лебега) случайной величины при многократной выборке в качестве «долгосрочного среднего».

Закон 3 называется сильным законом, потому что случайные величины, которые сходятся сильно (почти наверняка), гарантированно сходятся слабо (по вероятности). Однако известно, что слабый закон выполняется в определенных условиях, когда сильный закон не выполняется, и тогда сходимость будет только слабой (по вероятности). Смотрите различия между слабым законом и сильным законом.

Сильный закон применяется к независимым одинаково распределенным случайным величинам, имеющим ожидаемое значение (как и слабый закон). Это было доказано Колмогоровым в 1930 году. Он также может применяться в других случаях. Колмогоров также показал в 1933 году, что если переменные независимы и одинаково распределены, то для того, чтобы среднее сходилось почти наверняка к чему-то (это можно считать еще одним утверждением сильного закона), необходимо, чтобы они имели ожидаемое значение (и тогда, конечно, среднее будет сходиться почти наверняка к этому). ^[22]

Если слагаемые независимы, но не одинаково распределены, то

при условии, что каждый X _k имеет конечный второй момент и

$${\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty .}$$

Это утверждение известно как усиленный закон Колмогорова , см., например, Sen & Singer (1993, теорема 2.3.10).

Различия между слабым и сильным правом

Слабый закон гласит, что для заданного большого n среднее значение, вероятно, будет близко к μ . ^[23] Таким образом, он оставляет открытой возможность того, что это произойдет бесконечное число раз, хотя и с редкими интервалами. (Не обязательно для всех n ). ${\displaystyle {\overline {X}}_{n}}$ ${\displaystyle |{\overline {X}}_{n}-\mu |>\varepsilon }$ ${\displaystyle |{\overline {X}}_{n}-\mu |\neq 0}$

Сильный закон показывает, что этого почти наверняка не произойдет. Это не означает, что с вероятностью 1 мы имеем, что для любого ε > 0 неравенство выполняется для всех достаточно больших n , поскольку сходимость не обязательно равномерна на множестве, где она выполняется. ^[24] ${\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon }$

Сильный закон не действует в следующих случаях, а слабый закон действует. ^{[25] [26]}

1. Пусть X — экспоненциально распределенная случайная величина с параметром 1. Случайная величина не имеет ожидаемого значения согласно интегрированию Лебега, но используя условную сходимость и интерпретируя интеграл как интеграл Дирихле , который является несобственным интегралом Римана , мы можем сказать: ${\displaystyle \sin(X)e^{X}X^{-1}}$ $${\displaystyle E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}}$$
2. Пусть X — геометрически распределенная случайная величина с вероятностью 0,5. Случайная величина не имеет ожидаемого значения в общепринятом смысле, поскольку бесконечный ряд не является абсолютно сходящимся, но, используя условную сходимость, мы можем сказать: ${\displaystyle 2^{X}(-1)^{X}X^{-1}}$ $${\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}$$
3. Если кумулятивная функция распределения случайной величины равна , то она не имеет ожидаемого значения, но слабый закон верен. ^{[27] [28]} $${\displaystyle {\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases}}}$$
4. Пусть X _k будет плюс или минус (начиная с достаточно большого k , так что знаменатель будет положительным) с вероятностью 1 ⁄ 2 для каждого. ^[22] Дисперсия X _k равна Тогда сильный закон Колмогорова неприменим, поскольку частичная сумма в его критерии вплоть до k  =  n асимптотически равна и это не ограничено. Если мы заменим случайные величины гауссовыми величинами, имеющими те же дисперсии, а именно , то среднее значение в любой точке также будет нормально распределено. Ширина распределения среднего значения будет стремиться к нулю (стандартное отклонение асимптотически равно ), но для заданного ε существует вероятность, которая не стремится к нулю с n , в то время как среднее значение когда-то после n -го испытания вернется к ε . Поскольку ширина распределения среднего значения не равна нулю, она должна иметь положительную нижнюю границу p ( ε ), что означает, что существует вероятность не менее p ( ε ), что среднее значение достигнет ε после n испытаний. Это произойдет с вероятностью p ( ε )/2 до некоторого m , которое зависит от n . Но даже после m все еще существует вероятность не менее p ( ε ), что это произойдет. (Это, по-видимому, указывает на то, что p ( ε )=1 и среднее значение будет достигать ε бесконечное число раз.) ${\textstyle {\sqrt {k/\log \log \log k}}}$ ${\displaystyle k/\log \log \log k.}$ ${\displaystyle \log n/\log \log \log n}$ ${\textstyle {\sqrt {k/\log \log \log k}}}$ ${\textstyle 1/{\sqrt {2\log \log \log n}}}$

Единые законы больших чисел

Существуют расширения закона больших чисел на совокупности оценок, где сходимость равномерна по всей совокупности; отсюда и название — равномерный закон больших чисел .

Предположим, что f ( x , θ ) — некоторая функция , определенная для θ ∈ Θ и непрерывная по θ . Тогда для любого фиксированного θ последовательность { f ( X ₁ , θ ), f ( X ₂ , θ ), ...} будет последовательностью независимых и одинаково распределенных случайных величин, такой, что выборочное среднее значение этой последовательности сходится по вероятности к E[ f ( X , θ )]. Это поточечная (по θ ) сходимость.

Частный пример равномерного закона больших чисел устанавливает условия, при которых сходимость происходит равномерно по θ . Если ^{[29] [30]}

1. Θ компактен,
2. f ( x , θ ) непрерывна при каждом θ ∈ Θ для почти всех x s и является измеримой функцией x при каждом θ .
3. существует доминирующая функция d ( x ) такая, что E[ d ( X )] < ∞, и $${\displaystyle \left\|f(x,\theta )\right\|\leq d(x)\quad {\text{for all}}\ \theta \in \Theta .}$$

Тогда E[ f ( X , θ )] непрерывна по θ , и

$${\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\overset {\mathrm {P} }{\rightarrow }}\ 0.}$$

Этот результат полезен для вывода согласованности большого класса оценок (см. Оценка экстремума ).

Закон больших чисел Бореля

Закон больших чисел Бореля , названный в честь Эмиля Бореля , гласит, что если эксперимент повторяется большое количество раз независимо при идентичных условиях, то доля раз, когда ожидается, что какое-либо указанное событие произойдет, приблизительно равна вероятности возникновения события в любом конкретном испытании; чем больше число повторений, тем лучше приближение. Точнее, если E обозначает рассматриваемое событие, p — его вероятность возникновения, а N _n ( E ) — количество раз, когда E происходит в первых n испытаниях, то с вероятностью один, ^[31] $${\displaystyle {\frac {N_{n}(E)}{n}}\to p{\text{ as }}n\to \infty .}$$

Эта теорема делает строгим интуитивное понятие вероятности как ожидаемой долгосрочной относительной частоты появления события. Это частный случай любого из нескольких более общих законов больших чисел в теории вероятностей.

Неравенство Чебышева . Пусть X — случайная величина с конечным математическим ожиданием μ и конечной ненулевой дисперсией σ ² . Тогда для любого действительного числа k > 0 ,

$${\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.}$$

Доказательство слабого закона

При наличии X ₁ , X ₂ , ... бесконечной последовательности независимых случайных величин с конечным ожидаемым значением нас интересует сходимость выборочного среднего ${\displaystyle E(X_{1})=E(X_{2})=\cdots =\mu <\infty }$

$${\displaystyle {\overline {X}}_{n}={\tfrac {1}{n}}(X_{1}+\cdots +X_{n}).}$$

Слабый закон больших чисел гласит:

Доказательство с использованием неравенства Чебышева, предполагающего конечную дисперсию

Это доказательство использует предположение о конечной дисперсии (для всех ). Независимость случайных величин подразумевает отсутствие корреляции между ними, и мы имеем, что ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$ ${\displaystyle i}$

$${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$$

Общее среднее значение μ последовательности равно среднему значению выборки:

$${\displaystyle E({\overline {X}}_{n})=\mu .}$$

Используя неравенство Чебышева на результатах в ${\displaystyle {\overline {X}}_{n}}$

$${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$$

Это может быть использовано для получения следующего:

$${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$$

Когда n стремится к бесконечности, выражение стремится к 1. И по определению сходимости по вероятности мы получили

Доказательство с использованием сходимости характеристических функций

По теореме Тейлора для комплексных функций характеристическая функция любой случайной величины X с конечным средним μ может быть записана как

$${\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0.}$$

Все X ₁ , X ₂ , ... имеют одну и ту же характеристическую функцию, поэтому мы будем просто обозначать ее φ _X .

К основным свойствам характеристических функций относятся:

$${\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{and}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad }$$если X и Y независимы.

Эти правила можно использовать для вычисления характеристической функции в терминах φ _X : ${\displaystyle {\overline {X}}_{n}}$

$${\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{as}}\quad n\to \infty .}$$

Предел e ^itμ является характеристической функцией постоянной случайной величины μ и, следовательно, по теореме Леви о непрерывности сходится по распределению к μ: ${\displaystyle {\overline {X}}_{n}}$

$${\displaystyle {\overline {X}}_{n}\,{\overset {\mathcal {D}}{\rightarrow }}\,\mu \qquad {\text{for}}\qquad n\to \infty .}$$

μ — константа, что означает, что сходимость по распределению к μ и сходимость по вероятности к μ эквивалентны (см. Сходимость случайных величин ). Следовательно,

Это показывает, что выборочное среднее значение сходится по вероятности к производной характеристической функции в начале координат, если последняя существует.

Доказательство сильного закона

Мы даем относительно простое доказательство сильного закона при предположениях, что являются iid , , , и . ${\displaystyle X_{i}}$ ${\displaystyle {\mathbb {E} }[X_{i}]=:\mu <\infty }$ ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}<\infty }$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]=:\tau <\infty }$

Сначала отметим, что без потери общности можно предположить, что центрированием. В этом случае сильный закон гласит, что ${\displaystyle \mu =0}$

$${\displaystyle \Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=0\right)=1,}$$или Это эквивалентно показу, что Заметим, что и, таким образом, чтобы доказать сильный закон, нам нужно показать, что для каждого , мы имеем Определим события , и если мы можем показать, что тогда лемма Бореля-Кантелли подразумевает результат. Итак, давайте оценим . $${\displaystyle \Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}=0\right)=1.}$$ $${\displaystyle \Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\right)=0,}$$ $${\displaystyle \lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\iff \exists \epsilon >0,\left|{\frac {S_{n}(\omega )}{n}}\right|\geq \epsilon \ {\mbox{infinitely often}},}$$ ${\displaystyle \epsilon >0}$ $${\displaystyle \Pr \left(\omega :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitely often}}\right)=0.}$$ ${\displaystyle A_{n}=\{\omega :|S_{n}|\geq n\epsilon \}}$ $${\displaystyle \sum _{n=1}^{\infty }\Pr(A_{n})<\infty ,}$$ ${\displaystyle \Pr(A_{n})}$

Мы вычисляем Сначала мы утверждаем, что каждый член формы , где все индексы различны, должен иметь нулевое ожидание. Это происходит потому, что по независимости, и последний член равен нулю --- и аналогично для других членов. Поэтому единственными членами в сумме с ненулевым ожиданием являются и . Поскольку распределены одинаково, все они одинаковы, и, более того , . $${\displaystyle {\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i}\right)^{4}\right]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l}\right].}$$ ${\displaystyle X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l}}$ ${\displaystyle {\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}]}$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]}$ ${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]}$ ${\displaystyle X_{i}}$ ${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2}}$

Существуют члены вида и члены вида , и так Обратите внимание, что правая часть является квадратичным многочленом от , и как таковая существует такое, что для достаточно большого. По Маркову, для достаточно большого, и, следовательно, этот ряд суммируем. Поскольку это справедливо для любого , мы установили Сильный ЗБЧ. ${\displaystyle n}$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]}$ ${\displaystyle 3n(n-1)}$ ${\displaystyle ({\mathbb {E} }[X_{i}^{2}])^{2}}$ $${\displaystyle {\mathbb {E} }[S_{n}^{4}]=n\tau +3n(n-1)\sigma ^{4}.}$$ ${\displaystyle n}$ ${\displaystyle C>0}$ ${\displaystyle {\mathbb {E} }[S_{n}^{4}]\leq Cn^{2}}$ ${\displaystyle n}$ $${\displaystyle \Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}},}$$ ${\displaystyle n}$ ${\displaystyle \epsilon >0}$

Другое доказательство было дано Этемади. ^[32]

Доказательство без дополнительного предположения о конечном четвертом моменте см. в разделе 22 Биллингсли. ^[33]

Последствия

Закон больших чисел обеспечивает ожидание неизвестного распределения из реализации последовательности, но также и любую особенность распределения вероятностей . ^[1] Применяя закон больших чисел Бореля , можно легко получить функцию массы вероятности. Для каждого события в объективной функции массы вероятности можно аппроксимировать вероятность наступления события пропорцией раз, когда происходит любое указанное событие. Чем больше число повторений, тем лучше аппроксимация. Что касается непрерывного случая: для малых положительных h. Таким образом, для больших n: ${\displaystyle C=(a-h,a+h]}$

$${\displaystyle {\frac {N_{n}(C)}{n}}\thickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx\thickapprox 2hf(a)}$$

Используя этот метод, можно покрыть всю ось x сеткой (с размером ячейки 2h) и получить столбчатую диаграмму, которая называется гистограммой .

Приложения

Одним из приложений LLN является важный метод аппроксимации, известный как метод Монте-Карло , ^[3] , который использует случайную выборку чисел для аппроксимации числовых результатов. Алгоритм вычисления интеграла f(x) на интервале [a,b] выглядит следующим образом: ^[3]

1. Моделируйте равномерные случайные величины X ₁ , X ₂ , ..., X _n , что можно сделать с помощью программного обеспечения, и используйте таблицу случайных чисел, которая дает U ₁ , U ₂ , ..., U _n независимые и одинаково распределенные (iid) случайные величины на [0,1]. Тогда пусть X _i = a+(b - a)U _i для i = 1, 2, ..., n. Тогда X ₁ , X ₂ , ..., X _n являются независимыми и одинаково распределенными равномерными случайными величинами на [a, b].
2. Оценить f(X ₁ ), f(X ₂ ), ..., f(X _n )
3. Берем среднее значение f(X ₁ ), f(X ₂ ), ..., f(X _n ) путем вычисления , а затем по усиленному закону больших чисел сходимся к = = ${\displaystyle (b-a){\tfrac {f(X_{1})+f(X_{2})+...+f(X_{n})}{n}}}$ ${\displaystyle (b-a)E(f(X_{1}))}$ ${\displaystyle (b-a)\int _{a}^{b}f(x){\tfrac {1}{b-a}}{dx}}$ ${\displaystyle \int _{a}^{b}f(x){dx}}$

Мы можем найти интеграл на [-1,2]. Использование традиционных методов для вычисления этого интеграла очень сложно, поэтому здесь можно использовать метод Монте-Карло. ^[3] Используя вышеприведенный алгоритм, мы получаем ${\displaystyle f(x)=cos^{2}(x){\sqrt {x^{3}+1}}}$

${\displaystyle \int _{-1}^{2}f(x){dx}}$ = 0,905 при n=25

и

${\displaystyle \int _{-1}^{2}f(x){dx}}$ = 1,028 при n=250

Мы наблюдаем, что с ростом n численное значение также увеличивается. Когда мы получаем фактические результаты для интеграла, мы получаем

${\displaystyle \int _{-1}^{2}f(x){dx}}$= 1,000194

При использовании LLN приближение интеграла было ближе к его истинному значению и, следовательно, более точным. ^[3]

Другим примером является интегрирование f(x) = на [0,1]. ^[34] Используя метод Монте-Карло и LLN, мы можем видеть, что по мере увеличения количества выборок численное значение приближается к 0,4180233. ^[34] ${\displaystyle {\frac {e^{x}-1}{e-1}}}$

Смотрите также

• Асимптотическое свойство равнораспределения
• Центральная предельная теорема
• Теорема о бесконечной обезьяне
• Трактат Кейнса о вероятности
• Закон средних чисел
• Закон повторного логарифма
• Закон действительно больших чисел
• эффект Линди
• Регрессия к среднему значению
• Жеребьевка
• Усиленный закон малых чисел

Примечания

1. Деккинг, Мишель (2005). Современное введение в теорию вероятностей и статистику . Springer. С. 181–190. ISBN 9781852338961.
2. Яо, Кай; Гао, Цзиньу (2016). «Закон больших чисел для неопределенных случайных величин». Труды IEEE по нечетким системам . 24 (3): 615–621. doi :10.1109/TFUZZ.2015.2466080. ISSN  1063-6706. S2CID  2238905.
3. Седор, Келли. «Закон больших чисел и его приложения» (PDF) .
4. Kroese, Dirk P.; Brereton, Tim; Taimre, Thomas; Botev, Zdravko I. (2014). «Почему метод Монте-Карло так важен сегодня». Wiley Interdisciplinary Reviews: Computational Statistics . 6 (6): 386–392. doi :10.1002/wics.1314. S2CID  18521840.
5. Деккинг, Мишель, ред. (2005). Современное введение в вероятность и статистику: понимание почему и как . Тексты Springer по статистике. Лондон [Гейдельберг]: Springer. стр. 187. ISBN 978-1-85233-896-1.
6. Деккинг, Мишель (2005). Современное введение в теорию вероятностей и статистику . Springer. С. 92. ISBN 9781852338961.
7. Деккинг, Мишель (2005). Современное введение в теорию вероятностей и статистику . Springer. С. 63. ISBN 9781852338961.
8. Pitman, EJG; Williams, EJ (1967). «Функции Коши, распределенные по Коши, от случайных величин Коши». Анналы математической статистики . 38 (3): 916–918. doi : 10.1214/aoms/1177698885 . ISSN  0003-4851. JSTOR  2239008.
9. Млодинов, Л. (2008). Прогулка пьяницы . Нью-Йорк: Random House. С. 50.
10. Бернулли, Якоб (1713). «4». Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & O Economicis (на латыни). Перевод Шейнина, Оскар.
11. Пуассон называет «закон больших чисел» ( la loi des grands nombres ) в: Poisson, SD (1837). Probabilité des jugements en Matière Criminelle et en Matière Civile, Precédées des règles générales du Calcul des probilitiés (на французском языке). Париж, Франция: Башелье. п. 7.На стр. 139–143 и стр. 277 и далее он пытается дать двухчастное доказательство закона.
12. Хакинг, Ян (1983). «Трещины XIX века в концепции детерминизма». Журнал истории идей . 44 (3): 455–475. doi :10.2307/2709176. JSTOR  2709176.
13. Чебишев, П. (1846). «Элементарная демонстрация общего предложения теории вероятностей». Journal für die reine und angewandte Mathematik (на французском языке). 1846 (33): 259–267. дои : 10.1515/crll.1846.33.259. S2CID  120850863.
14. Seneta 2013.
15. Юрий Прохоров . "Закон больших чисел". Энциклопедия математики . Издательство EMS.
16. Бхаттачарья, Раби; Лин, Лижен; Патрангенару, Виктор (2016). Курс математической статистики и теории больших выборок . Springer Texts in Statistics. Нью-Йорк, Нью-Йорк: Springer New York. doi :10.1007/978-1-4939-4032-5. ISBN 978-1-4939-4030-1.
17. "Усиленный закон больших чисел – Что нового". Terrytao.wordpress.com. 19 июня 2008 г. Получено 09.06.2012 г.
18. Этемади, Новая Зеландия (1981). «Элементарное доказательство сильного закона больших чисел». Wahrscheinlichkeitstheorie Verw Gebiete . 55 (1): 119–122. дои : 10.1007/BF01013465 . S2CID  122166046.
19. Кингман, Дж. Ф. К. (апрель 1978 г.). «Использование обмениваемости». Анналы вероятности . 6 (2). doi : 10.1214/aop/1176995566 . ISSN  0091-1798.
20. Loève 1977, Глава 1.4, стр. 14
21. Loève 1977, Глава 17.3, стр. 251
22. Юрий Прохоров. "Усиленный закон больших чисел". Энциклопедия математики .
23. «Что такое закон больших чисел? (Определение) | Встроено». builtin.com . Получено 2023-10-20 .
24. Росс (2009)
25. Леманн, Эрих Л.; Романо, Джозеф П. (2006-03-30). Слабый закон сходится к константе. Springer. ISBN 9780387276052.
26. Dguvl Hun Hong; Sung Ho Lee (1998). "Заметка о слабом законе больших чисел для заменяемых случайных величин" (PDF) . Сообщения Корейского математического общества . 13 (2): 385–391. Архивировано из оригинала (PDF) 2016-07-01 . Получено 2014-06-28 .
27. Мукерджи, Саян. "Закон больших чисел" (PDF) . Архивировано из оригинала (PDF) 2013-03-09 . Получено 2014-06-28 .
28. Дж. Гейер, Чарльз. «Закон больших чисел» (PDF) .
29. Ньюи и Макфадден 1994, Лемма 2.4.
30. Дженнрих, Роберт И. (1969). «Асимптотические свойства нелинейных оценок наименьших квадратов». Анналы математической статистики . 40 (2): 633–643. doi : 10.1214/aoms/1177697731 .
31. Вэнь, Лю (1991). «Аналитический метод доказательства сильного закона больших чисел Бореля». The American Mathematical Monthly . 98 (2): 146–148. doi :10.2307/2323947. JSTOR  2323947.
32. Этемади, Насролла (1981). «Элементарное доказательство сильного закона больших чисел». Zeitschrift für Wahrscheinlichkeitstheorie und verwandte Gebiete . 55 . Спрингер: 119–122. дои : 10.1007/BF01013465 . S2CID  122166046.
33. Биллингсли, Патрик (1979). Вероятность и мера .
34. Reiter, Detlev (2008), Fehske, H.; Schneider, R.; Weiße, A. (ред.), "Метод Монте-Карло, введение", Computational Many-Particle Physics , Lecture Notes in Physics, т. 739, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 63–78, doi :10.1007/978-3-540-74686-7_3, ISBN 978-3-540-74685-0, получено 2023-12-08

Ссылки

• Grimmett, GR; Stirzaker, DR (1992). Вероятность и случайные процессы (2-е изд.). Oxford: Clarendon Press. ISBN 0-19-853665-8.
• Дарретт, Ричард (1995). Вероятность: теория и примеры (2-е изд.). Duxbury Press.
• Мартин Якобсен (1992). Videregående Sandsynlighedsregning [ Расширенная теория вероятностей ] (на датском языке) (3-е изд.). Копенгаген: HCØ-tryk. ISBN 87-91180-71-6.
• Лоэв, Мишель (1977). Теория вероятностей 1 (4-е изд.). Springer.
• Ньюи, Уитни К.; Макфадден, Дэниел (1994). "36". Оценка большой выборки и проверка гипотез . Справочник по эконометрике. Т. IV. Elsevier Science. С. 2111–2245.
• Росс, Шелдон (2009). Первый курс по вероятности (8-е изд.). Prentice Hall. ISBN 978-0-13-603313-4.
• Сен, П. К.; Сингер, Дж. М. (1993). Методы больших выборок в статистике . Чапман и Холл.
• Сенета, Евгений (2013). «Трехсотлетняя история закона больших чисел». Бернулли . 19 (4): 1088–1121. arXiv : 1309.6488 . дои : 10.3150/12-BEJSP12. S2CID  88520834.

Внешние ссылки

• «Закон больших чисел», Энциклопедия математики , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Слабый закон больших чисел». MathWorld .
• Вайсштейн, Эрик В. «Усиленный закон больших чисел». MathWorld .
• Анимации для закона больших чисел от Yihui Xie с использованием анимации пакета R
• Генеральный директор Apple Тим Кук сказал нечто, от чего статистики бы содрогнулись. «Мы не верим в такие законы, как законы больших чисел. Это своего рода, э-э, старая догма, я думаю, которую кто-то выдумал [...]», — сказал Тим Кук и добавил: «Однако закон больших чисел не имеет ничего общего с крупными компаниями, большими доходами или большими темпами роста. Закон больших чисел — это фундаментальная концепция в теории вероятностей и статистике, связывающая теоретические вероятности, которые мы можем вычислить, с фактическими результатами экспериментов, которые мы проводим эмпирически». пояснил Business Insider