В теории вероятностей центральная предельная теорема (ЦПТ) утверждает, что во многих ситуациях, когда добавляются независимые и одинаково распределенные случайные величины, их правильно нормированная сумма стремится к нормальному распределению. В этой статье приводятся две иллюстрации этой теоремы. Обе включают сумму независимых и одинаково распределенных случайных величин и показывают, как распределение вероятностей суммы приближается к нормальному распределению по мере увеличения числа членов в сумме.
Первая иллюстрация включает в себя непрерывное распределение вероятностей , для которого случайные величины имеют функцию плотности вероятности . Вторая иллюстрация, для которой большая часть вычислений может быть сделана вручную, включает в себя дискретное распределение вероятностей , которое характеризуется функцией массы вероятности .
Плотность суммы двух независимых действительных случайных величин равна свертке функций плотности исходных переменных.
Таким образом, плотность суммы m + n членов последовательности независимых одинаково распределенных величин равна свертке плотностей сумм m членов и n члена. В частности, плотность суммы n +1 членов равна свертке плотности суммы n членов с исходной плотностью («суммой» 1 члена).
Функция плотности вероятности показана на первом рисунке ниже. Затем плотности сумм двух, трех и четырех независимых одинаково распределенных переменных , каждая из которых имеет исходную плотность, показаны на следующих рисунках. Если исходная плотность является кусочно -полиномиальной , как в примере, то такими же являются и плотности сумм, все более высокой степени. Хотя исходная плотность далека от нормальной, плотность суммы всего нескольких переменных с такой плотностью гораздо более гладкая и имеет некоторые качественные особенности нормальной плотности .
Свертки вычислялись с помощью дискретного преобразования Фурье . Был составлен список значений y = f ( x 0 + k Δ x ), где f — исходная функция плотности, а Δ x приблизительно равно 0,002, а k равно от 0 до 1000. Было вычислено дискретное преобразование Фурье Y для y . Затем свертка f с собой пропорциональна обратному дискретному преобразованию Фурье поточечного произведения Y с собой.
Начнем с функции плотности вероятности. Эта функция, хотя и прерывистая, далеко не самый патологический пример, который можно было бы создать. Это кусочно-полиномиальный, с частями степеней 0 и 1. Среднее значение этого распределения равно 0, а его стандартное отклонение равно 1.
Далее мы вычисляем плотность суммы двух независимых переменных , каждая из которых имеет указанную выше плотность. Плотность суммы является сверткой указанной выше плотности с самой собой.
Сумма двух переменных имеет среднее значение 0. Плотность, показанная на рисунке справа, была изменена на , так что ее стандартное отклонение равно 1.
Эта плотность уже более гладкая, чем исходная. Имеются явные комки, которые соответствуют интервалам, на которых определялась исходная плотность.
Затем мы вычисляем плотность суммы трех независимых переменных, каждая из которых имеет указанную выше плотность. Плотность суммы является сверткой первой плотности со второй.
Сумма трех переменных имеет среднее значение 0. Плотность, показанная на рисунке справа, была изменена на √ 3 , так что ее стандартное отклонение равно 1.
Эта плотность еще более гладкая, чем предыдущая. На этом рисунке комки едва заметны.
Наконец, мы вычисляем плотность суммы четырех независимых переменных, каждая из которых имеет указанную выше плотность. Плотность суммы является сверткой первой плотности с третьей (или второй плотности с самой собой).
Сумма четырех переменных имеет среднее значение 0. Плотность, показанная на рисунке справа, была изменена на √ 4 , так что ее стандартное отклонение равно 1.
Эта плотность выглядит качественно очень похожей на нормальную плотность . На глаз не видно никаких комков.
В этом разделе центральная предельная теорема иллюстрируется на примере, вычисления для которого можно быстро выполнить вручную на бумаге, в отличие от более ресурсоемкого примера из предыдущего раздела.
Предположим, что распределение вероятностей дискретной случайной величины X присваивает равные веса 1, 2 и 3:
Функция массы вероятности случайной величины X может быть изображена следующей столбчатой диаграммой :
Очевидно, что это совсем не похоже на колоколообразную кривую нормального распределения. Сравните вышесказанное с изображениями ниже.
Теперь рассмотрим сумму двух независимых копий X :
Вероятностную массовую функцию этой суммы можно изобразить следующим образом:
Это все еще не очень похоже на колоколообразную кривую, но, как и колоколообразная кривая и в отличие от самой функции массы вероятности X , она выше в середине, чем в двух хвостах.
Теперь рассмотрим сумму трех независимых копий этой случайной величины:
Вероятностную массовую функцию этой суммы можно изобразить следующим образом:
Мало того, что в центре он больше, чем в хвостах, так еще и по мере движения к центру от любого из хвостов наклон сначала увеличивается, а затем уменьшается, как и в случае с колоколообразной кривой.
Степень ее сходства с колоколообразной кривой можно количественно оценить следующим образом. Рассмотрим
Насколько это близко к тому, что дала бы нормальная аппроксимация? Легко видеть, что ожидаемое значение Y = X 1 + X 2 + X 3 равно 6, а стандартное отклонение Y равно квадратному корню из 2. Поскольку Y ≤ 7 (слабое неравенство) тогда и только тогда, когда Y < 8 (строгое неравенство), мы используем поправку на непрерывность и ищем
где Z имеет стандартное нормальное распределение. Разница между 0,85185... и 0,85558... кажется на удивление малой, если учесть, что число независимых случайных величин, которые были добавлены, составило всего три.
На следующем изображении показан результат моделирования на основе примера, представленного на этой странице. Извлечение из равномерного распределения повторяется 1000 раз, а результаты суммируются.
Поскольку моделирование основано на методе Монте-Карло , процесс повторяется 10 000 раз. Результаты показывают, что распределение суммы 1000 равномерных извлечений очень хорошо напоминает колоколообразную кривую.
