Закон больших чисел

Средние значения повторных испытаний сходятся к ожидаемому значению.

Иллюстрация закона больших чисел с использованием определенной серии бросков одной игральной кости . По мере увеличения количества бросков в этом прогоне среднее значение всех результатов приближается к 3,5. Хотя каждый забег будет иметь отличительную форму при небольшом количестве бросков (слева), при большом количестве бросков (справа) формы будут чрезвычайно похожими.

В теории вероятностей закон больших чисел ( LLN ) — это математическая теорема , которая утверждает, что среднее значение результатов, полученных из большого количества независимых и одинаковых случайных выборок, сходится к истинному значению, если оно существует. ^[1] Более формально, LLN утверждает, что при наличии выборки независимых и одинаково распределенных значений среднее значение выборки сходится к истинному среднему значению .

LLN важен, поскольку он гарантирует стабильные долгосрочные результаты для средних значений некоторых случайных событий . ^{[1] [2]} Например, хотя казино может потерять деньги за одно вращение колеса рулетки , его доходы будут иметь тенденцию к предсказуемому проценту за большое количество вращений. Любая победная серия игрока в конечном итоге будет преодолена параметрами игры. Важно отметить, что закон применяется (как следует из названия) только тогда, когда учитывается большое количество наблюдений. Не существует принципа, согласно которому небольшое количество наблюдений совпадет с ожидаемым значением или что полоса одного значения будет немедленно «уравновешена» другими (см. заблуждение игрока ) .

LLN применяется только к среднему значению результатов, полученных в результате повторных испытаний, и утверждает, что это среднее значение сходится к ожидаемому значению; он не утверждает, что сумма n результатов приближается к ожидаемому значению, умноженному на n , по мере увеличения n .

На протяжении всей своей истории многие математики уточняли этот закон. Сегодня LLN используется во многих областях, включая статистику, теорию вероятностей, экономику и страхование. ^[3]

Примеры

Например, при одном броске шестигранного игрального кубика выпадает одно из чисел 1, 2, 3, 4, 5 или 6, каждое из которых выпадает с одинаковой вероятностью . Следовательно, ожидаемое значение среднего значения бросков равно:

$${\displaystyle {\frac {1+2+3+4+5+6}{6}}=3.5}$$

Согласно закону больших чисел, если бросить большое количество шестигранных игральных костей, среднее их значений (иногда называемое выборочным средним ) будет приближаться к 3,5, причем точность увеличивается по мере того, как бросается больше игральных костей.

Из закона больших чисел следует, что эмпирическая вероятность успеха в серии испытаний Бернулли будет сходиться к теоретической вероятности. Для случайной величины Бернулли ожидаемое значение — это теоретическая вероятность успеха, а среднее значение n таких переменных (при условии, что они независимы и одинаково распределены (iid) ) — это в точности относительная частота.

Графический пример закона больших чисел, используемый для двух бросков игральной кости. Сумма двух игральных костей колеблется в течение первых нескольких бросков, но по мере увеличения количества бросков ожидаемое значение суммы двух игральных костей приближается к 7.

Например, честный подбрасывание монеты — это процесс Бернулли. Когда честная монета подбрасывается один раз, теоретическая вероятность того, что выпадет орел, равна 1 ⁄ 2 . Следовательно, согласно закону больших чисел, доля орла при «большом» количестве подбрасываний монеты «должна составлять» примерно 1 ⁄ 2 . В частности, доля орлов после n переворотов почти наверняка будет стремиться к 1 ⁄ 2 по мере того, как n приближается к бесконечности.

Хотя доля орлов (и решок) приближается к 1/2 , почти наверняка абсолютная разница в количестве орлов и решок станет большой по мере увеличения количества подбрасываний. То есть вероятность того, что абсолютная разница представляет собой небольшое число, приближается к нулю по мере того, как количество переворотов становится большим. Также почти наверняка отношение абсолютной разницы к количеству бросков будет приближаться к нулю. Интуитивно ожидаемая разница растет, но медленнее, чем количество переворотов.

Еще одним хорошим примером LLN является метод Монте-Карло . Эти методы представляют собой широкий класс вычислительных алгоритмов , которые полагаются на повторяющуюся случайную выборку для получения численных результатов. Чем больше число повторений, тем лучше будет аппроксимация. Причина важности этого метода заключается главным образом в том, что иногда трудно или невозможно использовать другие подходы. ^[4]

Ограничение

В некоторых случаях среднее значение результатов, полученных в результате большого количества испытаний, может не сходиться. Например, среднее значение n результатов, взятых из распределения Коши или некоторых распределений Парето (α<1), не будет сходиться по мере увеличения n ; причина в тяжелых хвостах . ^[5] Распределение Коши и распределение Парето представляют два случая: распределение Коши не имеет математического ожидания, ^[6] тогда как математическое ожидание распределения Парето ( α <1) бесконечно. ^[7] Один из способов создания примера распределения Коши заключается в том, что случайные числа равны тангенсу угла , равномерно распределенного между -90° и +90°. ^[8] Медиана равна нулю, но ожидаемого значения не существует, и действительно, среднее значение n таких переменных имеет то же распределение, что и одна такая переменная . Он не сходится по вероятности к нулю (или любому другому значению) при стремлении n к бесконечности.

И если в испытаниях присутствует систематическая ошибка отбора , типичная для экономического/рационального поведения человека, закон больших чисел не поможет устранить эту систематическую ошибку. Даже если количество испытаний увеличится, систематическая ошибка отбора останется.

История

Диффузия является примером закона больших чисел. Первоначально молекулы растворенного вещества находятся на левой стороне барьера (пурпурная линия), а справа нет. Барьер удаляется, и растворенное вещество диффундирует, заполняя весь контейнер.

• Вверху: движение одной молекулы кажется совершенно случайным.
• В центре: при большем количестве молекул явно прослеживается тенденция, при которой растворенное вещество заполняет контейнер все более и более равномерно, но наблюдаются и случайные колебания.
• Внизу: Благодаря огромному количеству молекул растворенного вещества (слишком много, чтобы его можно было увидеть), случайность практически исчезла: кажется, что растворенное вещество плавно и систематически перемещается из областей с высокой концентрацией в области с низкой концентрацией. В реальных ситуациях химики могут описать диффузию как детерминированное макроскопическое явление (см. законы Фика ), несмотря на лежащую в ее основе случайную природу.

Итальянский математик Джероламо Кардано (1501–1576) без доказательств заявил, что точность эмпирической статистики имеет тенденцию улучшаться с увеличением количества испытаний. ^{[9] [3]} Затем это было формализовано как закон больших чисел. Особая форма LLN (для двоичной случайной величины) была впервые доказана Якобом Бернулли . ^{[10] [3]} Ему потребовалось более 20 лет, чтобы разработать достаточно строгое математическое доказательство, которое было опубликовано в его книге Ars Conjectandi ( «Искусство строить предположения ») в 1713 году. Он назвал это своей «Золотой теоремой», но оно стало широко известно как « Теорема Бернулли ». Это не следует путать с принципом Бернулли , названным в честь племянника Якоба Бернулли Даниэля Бернулли . В 1837 году С.Д. Пуассон далее описал его под названием «la loi des grands nombres» («закон больших чисел»). ^{[11] [12] [3]} После этого он был известен под обоими названиями, но чаще всего используется «закон больших чисел».

После того, как Бернулли и Пуассон опубликовали свои усилия, в уточнение закона внесли свой вклад и другие математики, в том числе Чебышев , ^[13] Марков , Борель , Кантелли , Колмогоров и Хинчин . ^[3] Марков показал, что закон может применяться к случайной величине, которая не имеет конечной дисперсии при каком-то другом, более слабом предположении, а Хинчин показал в 1929 году, что если ряд состоит из независимых одинаково распределенных случайных величин, то достаточно, чтобы ожидаемое значение существует для того, чтобы слабый закон больших чисел был верен. ^{[14] [15]} Эти дальнейшие исследования привели к появлению двух известных форм LLN. Один из них называется «слабым» законом, а другой — «сильным» в отношении двух различных способов сходимости совокупных выборочных средних к ожидаемому значению; в частности, как поясняется ниже, сильная форма подразумевает слабую. ^[14]

Формы

Существуют две разные версии закона больших чисел , которые описаны ниже. Их называют сильным законом больших чисел и слабым законом больших чисел . ^{[16] [1]} Сформулировано для случая, когда X ₁ , X ₂ , ... представляет собой бесконечную последовательность независимых и одинаково распределенных (iid) интегрируемых по Лебегу случайных величин с математическим ожиданием E( X ₁ ) = E( X ₂ ). = ... = µ обе версии закона гласят, что выборочное среднее

$${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}$$

сходится к ожидаемому значению:

(Интегрируемость по Лебегу X _j означает, что ожидаемое значение E( X _j ) существует в соответствии с интегрированием Лебега и конечно. Это не означает , что соответствующая вероятностная мера абсолютно непрерывна относительно меры Лебега .)

Вводные тексты по вероятностям часто дополнительно предполагают идентичную конечную дисперсию (для всех ) и отсутствие корреляции между случайными величинами. В этом случае дисперсия среднего значения n случайных величин равна ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$ ${\displaystyle i}$

$${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$$

которые можно использовать для сокращения и упрощения доказательств. Это предположение о конечной дисперсии не является необходимым . Большая или бесконечная дисперсия замедлит сходимость, но LLN все равно сохраняется. ^[17]

Взаимная независимость случайных величин может быть заменена попарной независимостью ^[18] или взаимозаменяемостью ^[19] в обеих версиях закона.

Разница между сильной и слабой версиями связана с утверждаемым способом конвергенции. Интерпретацию этих режимов см. в разделе «Сходимость случайных величин» .

Слабый закон

Моделирование, иллюстрирующее закон больших чисел. В каждом кадре подбрасывается монета, красная с одной стороны и синяя с другой, и в соответствующем столбце добавляется точка. Круговая диаграмма показывает соотношение красного и синего цветов на данный момент. Обратите внимание, что, хотя поначалу эта доля значительно варьируется, по мере увеличения количества испытаний она приближается к 50%.

Слабый закон больших чисел (также называемый законом Хинчина ) гласит, что при наличии набора выборок iid из случайной величины с конечным средним значением выборочное среднее сходится по вероятности к ожидаемому значению ^[20]

То есть для любого положительного числа ε

$${\displaystyle \lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.}$$

Интерпретируя этот результат, слабый закон утверждает, что для любого заданного ненулевого запаса ( ε ), независимо от того, насколько он мал, при достаточно большой выборке будет очень высокая вероятность того, что среднее значение наблюдений будет близко к ожидаемому значению; то есть в пределах нормы.

Как упоминалось ранее, слабый закон применяется в случае случайных величин iid, но он также применим и в некоторых других случаях. Например, дисперсия может быть разной для каждой случайной величины в ряду, сохраняя при этом ожидаемое значение постоянным. Если дисперсии ограничены, то применяется закон, как показал Чебышев еще в 1867 году. (Если ожидаемые значения изменяются в течение ряда, то мы можем просто применить закон к среднему отклонению от соответствующих ожидаемых значений. Закон тогда утверждает, что это сходится по вероятности к нулю.) Фактически, доказательство Чебышева работает до тех пор, пока дисперсия среднего значения первых n значений стремится к нулю по мере того, как n стремится к бесконечности. ^[15] В качестве примера предположим, что каждая случайная величина в ряду соответствует распределению Гаусса (нормальному распределению) со средним нулевым значением, но с дисперсией, равной , которая не ограничена. На каждом этапе среднее будет иметь нормальное распределение (как среднее от набора нормально распределенных переменных). Дисперсия суммы равна сумме дисперсий, которая асимптотична . Таким образом, дисперсия среднего асимптотична и стремится к нулю. ${\displaystyle 2n/\log(n+1)}$ ${\displaystyle n^{2}/\log n}$ ${\displaystyle 1/\log n}$

Есть также примеры применения слабого закона, даже если ожидаемая стоимость не существует.

Сильный закон

Усиленный закон больших чисел (также называемый законом Колмогорова ) утверждает, что выборочное среднее почти наверняка сходится к ожидаемому значению ^[21]

То есть,

$${\displaystyle \Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.}$$

Это означает, что вероятность того, что по мере того, как число испытаний n стремится к бесконечности, среднее значение наблюдений сходится к ожидаемому значению, равна единице. Современное доказательство сильного закона более сложное, чем доказательство слабого закона, и основано на переходе к соответствующей подпоследовательности. ^[17]

Усиленный закон больших чисел сам по себе можно рассматривать как частный случай поточечной эргодической теоремы . Эта точка зрения оправдывает интуитивную интерпретацию ожидаемого значения (только для интеграции Лебега) случайной величины при многократной выборке как «долгосрочного среднего значения».

Закон 3 называется сильным законом, потому что случайные величины, которые сильно сходятся (почти наверняка), гарантированно сходятся слабо (по вероятности). Однако известно, что слабый закон выполняется в определенных условиях, когда сильный закон не выполняется, и тогда сходимость является лишь слабой (по вероятности). См. различия между слабым и сильным законом.

Сильный закон применяется к независимым одинаково распределенным случайным величинам, имеющим ожидаемое значение (как и слабый закон). Это было доказано Колмогоровым в 1930 году. Это применимо и в других случаях. Колмогоров также показал в 1933 году, что если переменные независимы и одинаково распределены, то для того, чтобы среднее почти наверняка к чему-то сходилось (это можно считать еще одним утверждением сильного закона), необходимо, чтобы они имели ожидаемое значение ( и тогда, конечно, среднее почти наверняка сходится к этому). ^[22]

Если слагаемые независимы, но не одинаково распределены, то

при условии, что каждое X _k имеет конечный второй момент и

$${\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty .}$$

Это утверждение известно как сильный закон Колмогорова , см., например, Сен и Сингер (1993, теорема 2.3.10).

Различия между слабым законом и сильным законом

Слабый закон утверждает, что для заданного большого n среднее значение, вероятно, будет около µ . ^[23] Таким образом, остается открытой возможность того, что произойдет бесконечное количество раз, хотя и через нечастые промежутки времени. (Не обязательно для всех n ). ${\displaystyle {\overline {X}}_{n}}$ ${\displaystyle |{\overline {X}}_{n}-\mu |>\varepsilon }$ ${\displaystyle |{\overline {X}}_{n}-\mu |\neq 0}$

Сильный закон показывает, что этого почти наверняка не произойдет. Это не означает, что с вероятностью 1 мы имеем, что для любого ε > 0 неравенство выполняется для всех достаточно больших n , поскольку сходимость не обязательно равномерна на множестве, где она выполняется. ^[24] ${\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon }$

Сильный закон не действует в следующих случаях, а слабый закон — работает. ^{[25] [26]}

1. Пусть X — экспоненциально распределенная случайная величина с параметром 1. Случайная величина не имеет ожидаемого значения согласно интегрированию Лебега, но используя условную сходимость и интерпретируя интеграл как интеграл Дирихле , который является несобственным интегралом Римана , мы можем сказать: ${\displaystyle \sin(X)e^{X}X^{-1}}$
   $${\displaystyle E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}}$$
2. Пусть X — геометрически распределенная случайная величина с вероятностью 0,5. Случайная величина не имеет ожидаемого значения в общепринятом смысле, поскольку бесконечный ряд не является абсолютно сходящимся, но используя условную сходимость, мы можем сказать: ${\displaystyle 2^{X}(-1)^{X}X^{-1}}$
   $${\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}$$
3. Если кумулятивная функция распределения случайной величины равна
   $${\displaystyle {\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases}}}$$
   тогда он не имеет ожидаемого значения, но слабый закон верен. ^{[27] [28]}
4. Пусть X _k будет плюсом или минусом (начиная с достаточно большого k , чтобы знаменатель был положительным) с вероятностью 1 ⁄ 2 для каждого. ^[22] Дисперсия X _k равна тогда сильному закону Колмогорова, поскольку частичная сумма в его критерии до k  =  n асимптотична и не ограничена. Если мы заменим случайные величины гауссовскими переменными, имеющими такие же дисперсии, а именно , то среднее значение в любой точке также будет нормально распределено. Ширина распределения среднего будет стремиться к нулю (стандартное отклонение, асимптотическое к ), но для данного ε существует вероятность, которая не стремится к нулю с n , в то время как среднее значение через некоторое время после n -го испытания снова увеличится. до ε . Поскольку ширина распределения среднего значения не равна нулю, оно должно иметь положительную нижнюю границу p ( ε ), что означает, что существует вероятность не менее p ( ε ), что среднее значение достигнет ε после n испытаний. Это произойдет с вероятностью p ( ε )/2 до некоторого m , зависящего от n . Но даже после m все еще существует вероятность, по крайней мере, p ( ε ), что это произойдет. (Похоже, это указывает на то, что p ( ε )=1 и среднее значение будет достигать ε бесконечное число раз.) ${\textstyle {\sqrt {k/\log \log \log k}}}$ ${\displaystyle k/\log \log \log k.}$ ${\displaystyle \log n/\log \log \log n}$ ${\textstyle {\sqrt {k/\log \log \log k}}}$ ${\textstyle 1/{\sqrt {2\log \log \log n}}}$

Равномерные законы больших чисел

Существуют расширения закона больших чисел на наборы оценок, где сходимость равномерна по всему набору; отсюда и название «единый закон больших чисел» .

Предположим, f ( x , θ ) — некоторая функция , определенная для θ ∈ Θ и непрерывная по θ . Тогда для любого фиксированного θ последовательность { f ( X ₁ , θ ), f ( X ₂ , θ ), ...} будет последовательностью независимых и одинаково распределенных случайных величин, таких что выборочное среднее этой последовательности сходится по вероятности равно E[ f ( X , θ )]. Это и есть поточечная (по θ ) сходимость.

Конкретный пример равномерного закона больших чисел устанавливает условия, при которых сходимость происходит равномерно по θ . Если ^{[29] [30]}

1. Θ компактен,
2. f ( x , θ ) непрерывна при каждом θ ∈ Θ почти для всех x s и является измеримой функцией x при каждом θ .
3. существует доминирующая функция d ( x ) такая, что E[ d ( X )] < ∞, и
   $${\displaystyle \left\|f(x,\theta )\right\|\leq d(x)\quad {\text{for all}}\ \theta \in \Theta .}$$

Тогда E[ f ( X , θ )] непрерывен по θ и

$${\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\overset {\mathrm {P} }{\rightarrow }}\ 0.}$$

Этот результат полезен для получения согласованности большого класса оценок (см. Оценка экстремума ).

Закон больших чисел Бореля

Закон больших чисел Бореля , названный в честь Эмиля Бореля , гласит, что если эксперимент повторяется большое количество раз независимо при одинаковых условиях, то доля раз, когда ожидается, что какое-либо заданное событие произойдет, примерно равна вероятности возникновения этого события. по какому-либо конкретному судебному разбирательству; чем больше число повторений, тем лучше будет аппроксимация. Точнее, если E обозначает рассматриваемое событие, p — его вероятность возникновения, а N _n ( E ) — количество раз, когда E происходит в первых n испытаниях, то с вероятностью единица ^[31]

$${\displaystyle {\frac {N_{n}(E)}{n}}\to p{\text{ as }}n\to \infty .}$$

Эта теорема делает более строгим интуитивное понятие вероятности как ожидаемой в долгосрочной перспективе относительной частоты возникновения события. Это частный случай любого из нескольких более общих законов больших чисел в теории вероятностей.

Неравенство Чебышева . Пусть X — случайная величина с конечным ожидаемым значением µ и конечной ненулевой дисперсией σ ² .Тогда для любого действительного числа k > 0

$${\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.}$$

Доказательство слабого закона

Учитывая X ₁ , X ₂ , ... бесконечную последовательность iid случайных величин с конечным ожидаемым значением , нас интересует сходимость выборочного среднего значения. ${\displaystyle E(X_{1})=E(X_{2})=\cdots =\mu <\infty }$

$${\displaystyle {\overline {X}}_{n}={\tfrac {1}{n}}(X_{1}+\cdots +X_{n}).}$$

Слабый закон больших чисел гласит:

Доказательство с использованием неравенства Чебышева в предположении конечной дисперсии.

Это доказательство использует предположение о конечной дисперсии (для всех ). Независимость случайных величин подразумевает отсутствие корреляции между ними, и мы имеем, что ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$ ${\displaystyle i}$

$${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$$

Общее среднее значение μ последовательности представляет собой среднее значение выборки:

$${\displaystyle E({\overline {X}}_{n})=\mu .}$$

Используя неравенство Чебышева для результатов в ${\displaystyle {\overline {X}}_{n}}$

$${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$$

Это можно использовать для получения следующего:

$${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$$

Когда n приближается к бесконечности, выражение приближается к 1. И по определению сходимости по вероятности мы получили

Доказательство с использованием сходимости характеристических функций.

По теореме Тейлора для комплексных функций характеристическую функцию любой случайной величины X с конечным средним значением µ можно записать как

$${\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0.}$$

Все X ₁ , X ₂ , ... имеют одну и ту же характеристическую функцию, поэтому мы будем обозначать это просто φ _X .

К основным свойствам характеристических функций относятся

$${\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{and}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad }$$

XY

Эти правила можно использовать для вычисления характеристической функции через φ _X : ${\displaystyle {\overline {X}}_{n}}$

$${\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{as}}\quad n\to \infty .}$$

Предел e ^itµ является характеристической функцией постоянной случайной величины µ и, следовательно , по теореме о непрерывности Леви сходится по распределению к µ: ${\displaystyle {\overline {X}}_{n}}$

$${\displaystyle {\overline {X}}_{n}\,{\overset {\mathcal {D}}{\rightarrow }}\,\mu \qquad {\text{for}}\qquad n\to \infty .}$$

µ — константа, из чего следует, что сходимость по распределению к µ и сходимость по вероятности к µ эквивалентны (см. Сходимость случайных величин ). Следовательно,

Это показывает, что выборочное среднее сходится по вероятности к производной характеристической функции в начале координат, пока последняя существует.

Доказательство сильного закона

Мы даем относительно простое доказательство сильного закона в предположении, что iid, , и . ${\displaystyle X_{i}}$ ${\displaystyle {\mathbb {E} }[X_{i}]=:\mu <\infty }$ ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}<\infty }$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]=:\tau <\infty }$

Прежде всего отметим, что без ограничения общности можно считать, что по центрированию. В этом случае сильный закон гласит, что ${\displaystyle \mu =0}$

$${\displaystyle \Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=0\right)=1,}$$

$${\displaystyle \Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}=0\right)=1.}$$

$${\displaystyle \Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\right)=0,}$$

$${\displaystyle \lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\iff \exists \epsilon >0,\left|{\frac {S_{n}(\omega )}{n}}\right|\geq \epsilon \ {\mbox{infinitely often}},}$$

${\displaystyle \epsilon >0}$

$${\displaystyle \Pr \left(\omega :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitely often}}\right)=0.}$$

${\displaystyle A_{n}=\{\omega :|S_{n}|\geq n\epsilon \}}$

$${\displaystyle \sum _{n=1}^{\infty }\Pr(A_{n})<\infty ,}$$

${\displaystyle \Pr(A_{n})}$

Мы вычисляем

$${\displaystyle {\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i}\right)^{4}\right]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l}\right].}$$

${\displaystyle X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l}}$ ${\displaystyle {\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}]}$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]}$ ${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]}$ ${\displaystyle X_{i}}$ ${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2}}$

Есть члены формы и члены формы , и так ${\displaystyle n}$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]}$ ${\displaystyle 3n(n-1)}$ ${\displaystyle ({\mathbb {E} }[X_{i}^{2}])^{2}}$

$${\displaystyle {\mathbb {E} }[S_{n}^{4}]=n\tau +3n(n-1)\sigma ^{4}.}$$

${\displaystyle n}$ ${\displaystyle C>0}$ ${\displaystyle {\mathbb {E} }[S_{n}^{4}]\leq Cn^{2}}$ ${\displaystyle n}$

$${\displaystyle \Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}},}$$

${\displaystyle n}$ ${\displaystyle \epsilon >0}$

Другое доказательство можно найти в ^[32].

Доказательство без дополнительного предположения о конечности четвертого момента см. в разделе 22. ^[33]

Последствия

Закон больших чисел обеспечивает ожидание неизвестного распределения из реализации последовательности, а также любой особенности распределения вероятностей . ^[1] Применяя закон больших чисел Бореля , можно легко получить функцию массы вероятности. Для каждого события в целевой функции массы вероятности можно аппроксимировать вероятность возникновения события долей раз, когда происходит любое заданное событие. Чем больше число повторений, тем лучше аппроксимация. Что касается непрерывного случая: , для малых положительных h. Таким образом, для больших n: ${\displaystyle C=(a-h,a+h]}$

$${\displaystyle {\frac {N_{n}(C)}{n}}\thickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx\thickapprox 2hf(a)}$$

С помощью этого метода можно покрыть всю ось X сеткой (с размером сетки 2h) и получить гистограмму, которая называется гистограммой .

Приложения

Одним из применений LLN является использование важного метода аппроксимации — метода Монте-Карло . ^[3] Этот метод использует случайную выборку чисел для аппроксимации численных результатов. Алгоритм вычисления интеграла от f(x) на интервале [a,b] следующий: ^[3]

1. Смоделируйте однородные случайные величины X ₁ , X ₂ , ..., X _n , что можно сделать с помощью программного обеспечения, и используйте таблицу случайных чисел, которая дает U ₁ , U ₂ , ..., Un _{независимые} и одинаково распределенные (iid ) случайные величины на [0,1]. Тогда пусть X _i = a+(b - a)U _i для i = 1, 2, ..., n. Тогда X ₁ , X ₂ , ..., X _n — независимые и одинаково распределенные однородные случайные величины на [a, b].
2. Оценить f(X ₁ ), f(X ₂ ), ..., f(X _n )
3. Возьмите среднее значение f(X ₁ ), f(X ₂ ), ..., f(X _n ) путем вычисления , а затем по сильному закону больших чисел, это сходится к = = ${\displaystyle (b-a){\tfrac {f(X_{1})+f(X_{2})+...+f(X_{n})}{n}}}$ ${\displaystyle (b-a)E(f(X_{1}))}$ ${\displaystyle (b-a)\int _{a}^{b}f(x){\tfrac {1}{b-a}}{dx}}$ ${\displaystyle \int _{a}^{b}f(x){dx}}$

Мы можем найти интеграл от на [-1,2]. Традиционными методами вычислить этот интеграл очень сложно, поэтому здесь можно использовать метод Монте-Карло. ^[3] Используя приведенный выше алгоритм, получаем ${\displaystyle f(x)=cos^{2}(x){\sqrt {x^{3}+1}}}$

${\displaystyle \int _{-1}^{2}f(x){dx}}$ = 0,905 при n=25

и

${\displaystyle \int _{-1}^{2}f(x){dx}}$ = 1,028 при n=250

Мы видим, что с увеличением n числовое значение также увеличивается. Когда мы получим фактические результаты для интеграла, мы получим

${\displaystyle \int _{-1}^{2}f(x){dx}}$= 1,000194

При использовании LLN аппроксимация интеграла была более точной и ближе к истинному значению. ^[3]

Другой пример — интегрирование f(x) = на [0,1]. ^[34] Используя метод Монте-Карло и LLN, мы видим, что по мере увеличения количества выборок числовое значение приближается к 0,4180233. ^[34] ${\displaystyle {\frac {e^{x}-1}{e-1}}}$

Смотрите также

• Свойство асимптотического равнораспределения
• Центральная предельная теорема
• Теорема о бесконечных обезьянах
• Трактат Кейнса о вероятности
• Закон средних чисел
• Закон повторного логарифма
• Закон действительно больших чисел
• Эффект Линди
• Регрессия к среднему значению
• Жеребьевка
• Сильный закон малых чисел

Примечания

1. Деккинг, Мишель (2005). Современное введение в теорию вероятности и статистики . Спрингер. стр. 181–190. ISBN 9781852338961.
2. Яо, Кай; Гао, Цзиньву (2016). «Закон больших чисел для неопределенных случайных величин». Транзакции IEEE в нечетких системах . 24 (3): 615–621. дои : 10.1109/TFUZZ.2015.2466080. ISSN  1063-6706. S2CID  2238905.
3. Седор, Келли. «Закон больших чисел и его приложения» (PDF) .
4. Крозе, Дирк П.; Бреретон, Тим; Таймре, Томас; Ботев, Здравко И. (2014). «Почему метод Монте-Карло так важен сегодня». Междисциплинарные обзоры Wiley: вычислительная статистика . 6 (6): 386–392. дои : 10.1002/wics.1314. S2CID  18521840.
5. Деккинг, Мишель, изд. (2005). Современное введение в вероятность и статистику: понимание почему и как . Тексты Спрингера в статистике. Лондон [Гейдельберг]: Springer. п. 187. ИСБН 978-1-85233-896-1.
6. Деккинг, Мишель (2005). Современное введение в теорию вероятности и статистики . Спрингер. стр. 92. ISBN 9781852338961.
7. Деккинг, Мишель (2005). Современное введение в теорию вероятности и статистики . Спрингер. стр. 63. ISBN 9781852338961.
8. Питман, EJG; Уильямс, Э.Дж. (1967). «Распределенные Коши функции переменных Коши». Анналы математической статистики . 38 (3): 916–918. ISSN  0003-4851.
9. Млодинов, Л. (2008). Прогулка пьяницы . Нью-Йорк: Рэндом Хаус. п. 50.
10. Бернулли, Якоб (1713). «4». Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & O Economicis (на латыни). Перевод Шейнина, Оскар.
11. Пуассон называет «закон больших чисел» ( la loi des grands nombres ) в: Poisson, SD (1837). Probabilité des jugements en Matière Criminelle et en Matière Civile, Précédées des regles générales du Calcul des villitiés (на французском языке). Париж, Франция: Башелье. п. 7.Он пытается доказать закон, состоящий из двух частей, на стр. 139–143 и стр. 277 и далее.
12. Хакерство, Ян (1983). «Трещины XIX века в концепции детерминизма». Журнал истории идей . 44 (3): 455–475. дои : 10.2307/2709176. JSTOR  2709176.
13. Чебишев, П. (1846). «Элементарная демонстрация общего предложения теории вероятностей». Journal für die reine und angewandte Mathematik (на французском языке). 1846 (33): 259–267. дои : 10.1515/crll.1846.33.259. S2CID  120850863.
14. Сенета 2013.
15. Юрий Прохоров . «Закон больших чисел». Энциклопедия математики . ЭМС Пресс.
16. Бхаттачарья, Лави; Линь, Лижень; Патрангенару, Виктор (2016). Курс математической статистики и теории больших выборок . Тексты Спрингера в статистике. Нью-Йорк, штат Нью-Йорк: Springer New York. дои : 10.1007/978-1-4939-4032-5. ISBN 978-1-4939-4030-1.
17. «Сильный закон больших чисел – Что нового». Terrytao.wordpress.com. 19 июня 2008 года . Проверено 9 июня 2012 г.
18. Этемади, Новая Зеландия (1981). «Элементарное доказательство сильного закона больших чисел». Wahrscheinlichkeitstheorie Verw Gebiete . 55 (1): 119–122. дои : 10.1007/BF01013465 . S2CID  122166046.
19. Кингман, JFC (апрель 1978 г.). «Использование взаимозаменяемости». Анналы вероятности . 6 (2). дои : 10.1214/aop/1176995566 . ISSN  0091-1798.
20. Loève 1977, глава 1.4, с. 14
21. Loève 1977, глава 17.3, с. 251
22. Юрий Прохоров. «Сильный закон больших чисел». Энциклопедия математики .
23. «Что такое закон больших чисел? (Определение) | Встроенный». встроенный.com . Проверено 20 октября 2023 г.
24. Росс (2009)
25. Леманн, Эрих Л.; Романо, Джозеф П. (30 марта 2006 г.). Слабый закон сходится к постоянному. Спрингер. ISBN 9780387276052.
26. Дгувл Хун Хонг; Сон Хо Ли (1998). «Заметки о слабом законе больших чисел для заменяемых случайных величин» (PDF) . Сообщения Корейского математического общества . 13 (2): 385–391. Архивировано из оригинала (PDF) 1 июля 2016 г. Проверено 28 июня 2014 г.
27. Мукерджи, Саян. «Закон больших чисел» (PDF) . Архивировано из оригинала (PDF) 9 марта 2013 г. Проверено 28 июня 2014 г.
28. Дж. Гейер, Чарльз. «Закон больших чисел» (PDF) .
29. Ньюи и Макфадден 1994, Лемма 2.4.
30. Дженнрих, Роберт И. (1969). «Асимптотические свойства нелинейных оценок методом наименьших квадратов». Анналы математической статистики . 40 (2): 633–643. дои : 10.1214/aoms/1177697731 .
31. Вэнь, Лю (1991). «Аналитический метод доказательства сильного закона больших чисел Бореля». Американский математический ежемесячник . 98 (2): 146–148. дои : 10.2307/2323947. JSTOR  2323947.
32. Этемади, Насролла (1981). «Элементарное доказательство сильного закона больших чисел». Zeitschrift f{\u}r Wahrscheinlichkeitstheorie und verwandte Gebiete . Springer. 55 : 119–122. doi : 10.1007/BF01013465 . S2CID  122166046.
33. Биллингсли, Патрик (1979). Вероятность и мера .
34. Reiter, Детлев (2008), Феске, Х.; Шнайдер, Р.; Вайссе, А. (ред.), «Метод Монте-Карло, введение», Вычислительная физика многих частиц , Берлин, Гейдельберг: Springer Berlin Heidelberg, vol. 739, стр. 63–78, номер документа : 10.1007/978-3-540-74686-7_3, ISBN. 978-3-540-74685-0, получено 8 декабря 2023 г.

Рекомендации

• Гримметт, Греция; Стирзакер, Д.Р. (1992). Вероятность и случайные процессы (2-е изд.). Оксфорд: Кларендон Пресс. ISBN 0-19-853665-8.
• Дарретт, Ричард (1995). Вероятность: теория и примеры (2-е изд.). Даксбери Пресс.
• Мартин Якобсен (1992). Videregående Sandsynlighedsregning [ Расширенная теория вероятностей ] (на датском языке) (3-е изд.). Копенгаген: HCØ-tryk. ISBN 87-91180-71-6.
• Лоев, Мишель (1977). Теория вероятностей 1 (4-е изд.). Спрингер.
• Ньюи, Уитни К.; Макфадден, Дэниел (1994). «36». Оценка большой выборки и проверка гипотез . Справочник по эконометрике. Том. IV. Эльзевир Наука. стр. 2111–2245.
• Росс, Шелдон (2009). Первый курс теории вероятности (8-е изд.). Прентис Холл. ISBN 978-0-13-603313-4.
• Сен, П.К.; Сингер, Дж. М. (1993). Методы большой выборки в статистике . Чепмен и Холл.
• Сенета, Евгений (2013). «Трехсотлетняя история закона больших чисел». Бернулли . 19 (4): 1088–1121. arXiv : 1309.6488 . дои : 10.3150/12-BEJSP12. S2CID  88520834.

Внешние ссылки

• «Закон больших чисел», Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Слабый закон больших чисел». Математический мир .
• Вайсштейн, Эрик В. «Сильный закон больших чисел». Математический мир .
• Анимации для закона больших чисел от Ихуэй Се с использованием анимации пакета R.
• Генеральный директор Apple Тим Кук сказал нечто такое, что заставило бы статистов съежиться. «Мы не верим в такие законы, как в законы больших чисел. Я думаю, это своего рода старая догма, которую кто-то придумал [..]», — сказал Тим Кук и при этом: «Однако закон Закон больших чисел не имеет ничего общего с крупными компаниями, большими доходами или высокими темпами роста. эмпирически, объяснил Business Insider