Поправка Бесселя

Поправка на систематическую ошибку выборочной дисперсии

В статистике поправка Бесселя представляет собой использование n  - 1 вместо n в формуле выборочной дисперсии и выборочного стандартного отклонения , [ ^1] где n — количество наблюдений в выборке . Этот метод корректирует смещение в оценке дисперсии генеральной совокупности. Это также частично исправляет погрешность в оценке стандартного отклонения генеральной совокупности. Однако коррекция часто увеличивает среднеквадратическую ошибку в этих оценках. Эта техника названа в честь Фридриха Бесселя .

Формулировка

При оценке генеральной дисперсии по выборке, когда среднее значение генеральной совокупности неизвестно, нескорректированная выборочная дисперсия представляет собой среднее значение квадратов отклонений выборочных значений от выборочного среднего (т. е. с использованием мультипликативного коэффициента 1/ n ). В этом случае выборочная дисперсия является смещенной оценкой генеральной дисперсии. Умножение неисправленной выборочной дисперсии на коэффициент

${\displaystyle {\frac {n}{n-1}}}$

дает несмещенную оценку генеральной дисперсии. В некоторой литературе ^{[2] [3]} указанный выше коэффициент называют поправкой Бесселя .

Поправку Бесселя можно понимать как степени свободы вектора остатков (остатки, а не ошибки, поскольку среднее значение совокупности неизвестно):

${\displaystyle (x_{1}-{\overline {x}},\,\dots ,\,x_{n}-{\overline {x}}),}$

где выборочное среднее. Хотя в выборке имеется n независимых наблюдений, независимых остатков только n  - 1, поскольку их сумма равна 0. Более интуитивное объяснение необходимости поправки Бесселя см. в § Источник систематической ошибки. ${\displaystyle {\overline {x}}}$

Обычно поправка Бесселя представляет собой подход, позволяющий уменьшить погрешность из-за конечного размера выборки. Такая коррекция смещения конечной выборки также необходима для других оценок, таких как асимметрия и эксцесс , но в них неточности часто значительно больше. Чтобы полностью устранить такую ​​предвзятость, необходимо провести более сложную многопараметрическую оценку. Например, правильная поправка на стандартное отклонение зависит от эксцесса (нормализованного центрального 4-го момента), но это снова имеет конечное смещение выборки и зависит от стандартного отклонения, т. е. обе оценки должны быть объединены.

Предостережения

В отношении поправки Бесселя следует учитывать три предостережения :

1. Он не дает несмещенной оценки стандартного отклонения .
2. Скорректированная оценка часто имеет более высокую среднеквадратическую ошибку (MSE), чем нескорректированная оценка. ^[4] Более того, не существует распределения населения, для которого оно имело бы минимальную MSE, поскольку всегда можно выбрать другой масштабный коэффициент для минимизации MSE.
3. Это необходимо только в том случае, если среднее значение генеральной совокупности неизвестно (и оценивается как среднее выборочное). На практике обычно так и происходит.

Во-первых, хотя выборочная дисперсия (с использованием поправки Бесселя) является несмещенной оценкой генеральной дисперсии, ее квадратный корень , выборочное стандартное отклонение, является смещенной оценкой генерального стандартного отклонения; поскольку квадратный корень является вогнутой функцией , по неравенству Йенсена смещение направлено вниз . Не существует общей формулы для несмещенной оценки стандартного отклонения генеральной совокупности, хотя существуют поправочные коэффициенты для конкретных распределений, таких как нормальное; Подробности см. в разделе «несмещенная оценка стандартного отклонения» . Приближение точного поправочного коэффициента для нормального распределения дается с использованием n  - 1,5 в формуле: смещение убывает квадратично (а не линейно, как в нескорректированной форме и скорректированной форме Бесселя).

Во-вторых, несмещенная оценка не минимизирует среднеквадратическую ошибку (MSE) и обычно имеет худшую СКО, чем нескорректированная оценка (это зависит от избыточного эксцесса ). MSE можно минимизировать, используя другой коэффициент. Оптимальное значение зависит от избыточного эксцесса, как описано в среднеквадратичной ошибке: дисперсия ; для нормального распределения это оптимизируется путем деления на n  + 1 (вместо n  - 1 или n ).

В-третьих, поправка Бесселя необходима только в том случае, если среднее значение генеральной совокупности неизвестно, и можно оценить как среднее генеральное значение , так и дисперсию генеральной совокупности по данной выборке, используя выборочное среднее значение для оценки среднего генерального значения. В этом случае в выборке из n точек имеется n степеней свободы , и одновременная оценка среднего значения и дисперсии означает, что одна степень свободы переходит к выборочному среднему, а оставшиеся n  - 1 степеней свободы ( остатки ) переходят к выборочному. дисперсия. Однако если среднее значение популяции известно, то отклонения наблюдений от среднего значения совокупности имеют n степеней свободы (поскольку среднее значение не оценивается - отклонения являются не остатками, а ошибками ) и поправка Бесселя неприменима.

Источник предвзятости

Проще всего, чтобы понять предвзятость, которую необходимо исправить, подумайте о крайнем случае. Предположим, что популяция равна (0,0,0,1,2,9), среднее значение которой равно 2, а дисперсия популяции равна . Делается выборка n = 1, и оказывается, что наилучшая оценка среднего значения генеральной совокупности равна Но что, если мы воспользуемся формулой для оценки дисперсии? Оценка дисперсии будет равна нулю – и эта оценка будет равна нулю для любой совокупности и любой выборки с n = 1. Проблема в том, что при оценке выборочного среднего процесс уже приблизил нашу оценку среднего значения к значению мы выбрали - идентичны, для n = 1. В случае n = 1 дисперсию просто невозможно оценить, потому что в выборке нет изменчивости. ${\displaystyle 31/3}$ ${\displaystyle x_{1}=0.}$ ${\displaystyle {\bar {x}}=x_{1}/n=0/1=0.}$ ${\displaystyle (x_{1}-{\bar {x}})^{2}/n=(0-0)/1=0}$

Но рассмотрим n = 2. Предположим, что выборка равна (0, 2). Тогда и , но с поправкой Бесселя, которая является несмещенной оценкой (если взяты все возможные выборки n = 2 и используется этот метод, средняя оценка будет 12,4, такая же, как выборочная дисперсия с поправкой Бесселя.) ${\displaystyle {\bar {x}}=1}$ ${\displaystyle \left[(x_{1}-{\bar {x}})^{2}+(x_{2}-{\bar {x}})^{2}\right]/n=(1+1)/2=1}$ ${\displaystyle \left[(x_{1}-{\bar {x}})^{2}+(x_{2}-{\bar {x}})^{2}\right]/(n-1)=(1+1)/1=2}$

Чтобы увидеть это более подробно, рассмотрим следующий пример. Предположим, что среднее значение всей совокупности равно 2050, но статистик этого не знает и должен оценить его на основе этой небольшой выборки, случайно выбранной из населения:

${\displaystyle 2051,\quad 2053,\quad 2055,\quad 2050,\quad 2051}$

Можно вычислить выборочное среднее:

${\displaystyle {\frac {1}{5}}\left(2051+2053+2055+2050+2051\right)=2052}$

Это может служить наблюдаемой оценкой ненаблюдаемой средней численности населения, которая равна 2050 году. Теперь мы сталкиваемся с проблемой оценки дисперсии численности населения. Это среднее значение квадратов отклонений от 2050 года. Если бы мы знали, что средняя численность населения равна 2050 году, мы могли бы поступить следующим образом:

${\displaystyle {\begin{aligned}{}&{\frac {1}{5}}\left[(2051-2050)^{2}+(2053-2050)^{2}+(2055-2050)^{2}+(2050-2050)^{2}+(2051-2050)^{2}\right]\\[6pt]={}&{\frac {36}{5}}=7.2\end{aligned}}}$

Но наша оценка средней численности населения — это выборочное среднее, 2052. Фактическое среднее значение, 2050, неизвестно. Таким образом, необходимо использовать выборочное среднее значение 2052:

${\displaystyle {\begin{aligned}{}&{\frac {1}{5}}\left[(2051-2052)^{2}+(2053-2052)^{2}+(2055-2052)^{2}+(2050-2052)^{2}+(2051-2052)^{2}\right]\\[6pt]={}&{\frac {16}{5}}=3.2\end{aligned}}}$

Теперь разница намного меньше. Как показано ниже, дисперсия почти всегда будет меньше при расчете с использованием суммы квадратов расстояний до выборочного среднего значения по сравнению с использованием суммы квадратов расстояний до среднего значения генеральной совокупности. Единственным исключением из этого правила является случай, когда выборочное среднее оказывается равным генеральному среднему, и в этом случае дисперсия также равна.

Чтобы понять, почему это происходит, мы воспользуемся простым тождеством из алгебры:

${\displaystyle (a+b)^{2}=a^{2}+2ab+b^{2}}$

С представлением отклонения отдельной выборки от среднего значения выборки и представлением отклонения среднего значения выборки от среднего значения генеральной совокупности. Обратите внимание, что мы просто разложили фактическое отклонение отдельной выборки от (неизвестного) среднего значения совокупности на два компонента: отклонение отдельной выборки от выборочного среднего, которое мы можем вычислить, и дополнительное отклонение выборочного среднего от население означает, что мы не можем. Теперь мы применим это тождество к квадратам отклонений от среднего значения генеральной совокупности: ${\displaystyle a}$ ${\displaystyle b}$

${\displaystyle {\begin{aligned}{[}\,\underbrace {2053-2050} _{\begin{smallmatrix}{\text{Deviation from}}\\{\text{the population}}\\{\text{mean}}\end{smallmatrix}}\,]^{2}&=[\,\overbrace {(\,\underbrace {2053-2052} _{\begin{smallmatrix}{\text{Deviation from}}\\{\text{the sample mean}}\end{smallmatrix}}\,)} ^{{\text{This is }}a.}+\overbrace {(2052-2050)} ^{{\text{This is }}b.}\,]^{2}\\&=\overbrace {(2053-2052)^{2}} ^{{\text{This is }}a^{2}.}+\overbrace {2(2053-2052)(2052-2050)} ^{{\text{This is }}2ab.}+\overbrace {(2052-2050)^{2}} ^{{\text{This is }}b^{2}.}\end{aligned}}}$

Теперь примените это ко всем пяти наблюдениям и обратите внимание на определенные закономерности:

${\displaystyle {\begin{alignedat}{2}\overbrace {(2051-2052)^{2}} ^{{\text{This is }}a^{2}.}\ &+\ \overbrace {2(2051-2052)(2052-2050)} ^{{\text{This is }}2ab.}\ &&+\ \overbrace {(2052-2050)^{2}} ^{{\text{This is }}b^{2}.}\\(2053-2052)^{2}\ &+\ 2(2053-2052)(2052-2050)\ &&+\ (2052-2050)^{2}\\(2055-2052)^{2}\ &+\ 2(2055-2052)(2052-2050)\ &&+\ (2052-2050)^{2}\\(2050-2052)^{2}\ &+\ 2(2050-2052)(2052-2050)\ &&+\ (2052-2050)^{2}\\(2051-2052)^{2}\ &+\ \underbrace {2(2051-2052)(2052-2050)} _{\begin{smallmatrix}{\text{The sum of the entries in this}}\\{\text{middle column must be 0.}}\end{smallmatrix}}\ &&+\ (2052-2050)^{2}\end{alignedat}}}$

Сумма записей в среднем столбце должна быть равна нулю, поскольку термин a будет добавлен ко всем 5 строкам, что само по себе должно быть равно нулю. Это связано с тем, что a содержит 5 отдельных выборок (левая часть в круглых скобках), которые при сложении естественно имеют ту же сумму, что и сложение 5-кратного выборочного среднего этих 5 чисел (2052). Это означает, что вычитание этих двух сумм должно равняться нулю. Коэффициент 2 и член b в среднем столбце одинаковы для всех строк, а это означает, что относительная разница во всех строках среднего столбца остается одинаковой и поэтому ее можно игнорировать. Следующие утверждения объясняют значение остальных столбцов:

• Сумма записей в первом столбце ( a ² ) представляет собой сумму квадратов расстояния от выборки до выборочного среднего значения;
• Сумма записей в последнем столбце ( b ² ) представляет собой сумму квадратов расстояний между измеренным средним значением выборки и правильным средним значением генеральной совокупности.
• Каждая отдельная строка теперь состоит из пар a ² (смещенная, поскольку используется выборочное среднее) и b ² (коррекция систематической ошибки, поскольку учитывается разница между «реальным» средним значением генеральной совокупности и неточным средним значением выборки). Таким образом, сумма всех записей первого и последнего столбца теперь представляет правильную дисперсию, а это означает, что теперь используется сумма квадратов расстояния между выборками и средним значением генеральной совокупности.
• Сумма столбцов a ² и столбца b ² должна быть больше, чем сумма в записях столбца a ² , поскольку все записи в столбце b ² положительны (за исключением случаев, когда среднее значение совокупности одинаково в качестве выборочного среднего, и в этом случае все числа в последнем столбце будут равны 0).

Поэтому:

• Сумма квадратов расстояния от выборки до среднего значения генеральной совокупности всегда будет больше, чем сумма квадратов расстояния до среднего значения выборки , за исключением случаев, когда среднее значение выборки совпадает со средним значением генеральной совокупности, и в этом случае два равны.

Вот почему сумма квадратов отклонений от выборочного среднего слишком мала, чтобы дать несмещенную оценку дисперсии генеральной совокупности, когда находится среднее значение этих квадратов. Чем меньше размер выборки, тем больше разница между выборочной дисперсией и популяционной дисперсией.

Терминология

Эта поправка настолько распространена, что термины «выборочная дисперсия» и «выборочное стандартное отклонение» часто используются для обозначения скорректированных оценок (несмещенная выборочная вариация, менее смещенное выборочное стандартное отклонение), использующих n  - 1. Однако необходима осторожность: некоторые калькуляторы а пакеты программного обеспечения могут предусматривать обе или только более необычную формулировку. В этой статье используются следующие символы и определения:

• μ - среднее значение генеральной совокупности
• ${\displaystyle {\overline {x}}}$это выборочное среднее
• σ ² — популяционная дисперсия
• s _n ² — смещенная выборочная дисперсия (т. е. без поправки Бесселя)
• s ² — несмещенная выборочная дисперсия (т. е. с поправкой Бесселя).

Тогда стандартные отклонения будут представлять собой квадратные корни соответствующих дисперсий. Поскольку квадратный корень вносит смещение, для оценок стандартного отклонения предпочтительна терминология «нескорректированный» и «скорректированный»:

• s _n — нескорректированное стандартное отклонение выборки (т. е. без поправки Бесселя).
• s — скорректированное стандартное отклонение выборки (т. е. с поправкой Бесселя), которое менее смещено, но все же смещено.

Формула

Выборочное среднее определяется выражением

$${\displaystyle {\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}.}$$

Затем записывается смещенная выборочная дисперсия:

$${\displaystyle s_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}={\frac {\sum _{i=1}^{n}x_{i}^{2}}{n}}-{\frac {\left(\sum _{i=1}^{n}x_{i}\right)^{2}}{n^{2}}}}$$

и несмещенная выборочная дисперсия записывается:

$${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}={\frac {\sum _{i=1}^{n}x_{i}^{2}}{n-1}}-{\frac {\left(\sum _{i=1}^{n}x_{i}\right)^{2}}{(n-1)n}}=\left({\frac {n}{n-1}}\right)\,s_{n}^{2}.}$$

Доказательство

Предположим, что это независимые и одинаково распределенные случайные величины со математическим ожиданием и дисперсией . ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

Зная значения at исхода базового выборочного пространства, мы хотели бы получить хорошую оценку дисперсии , которая неизвестна. Для этого построим математическую формулу, содержащую такое , что математическое ожидание этой формулы равно . Это означает, что в среднем эта формула должна давать правильный ответ. ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \omega \in \Omega }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \sigma ^{2}}$

Образованный, но наивный способ угадать такую ​​формулу был бы

${\displaystyle {\frac {1}{n}}\sum _{k=1}^{n}(x_{k}-{\overline {x}})^{2}}$,

где ; это была бы дисперсия, если бы у нас была дискретная случайная величина в дискретном вероятностном пространстве , имеющая значение . Но давайте посчитаем ожидаемое значение этого выражения: ${\displaystyle x_{k}=X_{k}(\omega )}$ ${\displaystyle \{1,\ldots ,n\}}$ ${\displaystyle x_{k}}$ ${\displaystyle k}$

${\displaystyle {\begin{aligned}\mathbb {E} \left[{\frac {1}{n}}\sum _{k=1}^{n}(x_{k}-{\overline {x}})^{2}\right]&=\mathbb {E} \left[{\frac {1}{n}}\sum _{k=1}^{n}\left(x_{k}-{\frac {1}{n}}\sum _{j=1}^{n}x_{j}\right)^{2}\right]\\&=\mathbb {E} \left[{\frac {1}{n}}\sum _{k=1}^{n}\left({\frac {1}{n}}\sum _{j=1}^{n}(x_{k}-x_{j})\right)^{2}\right];\end{aligned}}}$

вот мы имеем (по независимости, симметричному сокращению и равному распределению)

${\displaystyle {\begin{aligned}\mathbb {E} \left[\left(\sum _{j=1}^{n}(x_{k}-x_{j})\right)^{2}\right]&=\mathbb {E} \left[\sum _{j=1}^{n}\sum _{l=1}^{n}(x_{k}-x_{j})(x_{k}-x_{l})\right]\\&=n(n-1)\mathbb {E} [X_{1}^{2}]-n(n-1)\mathbb {E} [X_{1}]^{2},\end{aligned}}}$

и поэтому

${\displaystyle \mathbb {E} \left[{\frac {1}{n}}\sum _{k=1}^{n}(x_{k}-{\overline {x}})^{2}\right]={\frac {n-1}{n}}\left(\mathbb {E} [X_{1}^{2}]-\mathbb {E} [X_{1}]^{2}\right)}$.

В отличие,

${\displaystyle \operatorname {Var} (X_{1})=\mathbb {E} [X_{1}^{2}]-\mathbb {E} [X_{1}]^{2}}$.

Таким образом, наше первоначальное предположение было ошибочным в несколько раз.

${\displaystyle {\frac {n-1}{n}}}$,

и это именно поправка Бесселя.

Смотрите также

• Теорема Кокрена
• Смещение оценщика
• Среднеквадратичное отклонение
• Непредвзятая оценка стандартного отклонения
• Неравенство Дженсена

Примечания

1. Радзивилл, Николь М (2017). Статистика (более простой способ) с R . Ляпис Люцера. ISBN 9780996916059. ОСЛК  1030532622.
2. WJ Reichmann, WJ (1961) Использование статистики и злоупотребление ею , Метуэн. Перепечатано издательством Pelican в 1964–1970 годах. Приложение 8.
3. Аптон, Г.; Кук, И. (2008) Оксфордский статистический словарь , OUP. ISBN 978-0-19-954145-4 (запись «Отклонение (данные)») 
4. Розенталь, Джеффри С. (2015). «Дети в порядке: разделите на n при оценке дисперсии». Вестник Института математической статистики . Декабрь 2015: 9.

Внешние ссылки

• Вайсштейн, Эрик В. «Поправка Бесселя». Математический мир .
• Анимационный эксперимент, демонстрирующий коррекцию, в Академии Хана.