Непредвзятая оценка стандартного отклонения

Процедура оценки стандартного отклонения выборки

В статистике и, в частности, статистической теории , несмещенная оценка стандартного отклонения — это расчет по статистической выборке оценочного значения стандартного отклонения (меры статистической дисперсии ) совокупности значений таким образом, что ожидаемое значение расчета соответствует истинному значению. За исключением некоторых важных ситуаций, описанных ниже, эта задача не имеет большого отношения к приложениям статистики, поскольку ее необходимость устраняется с помощью стандартных процедур, таких как использование тестов значимости и доверительных интервалов или использование байесовского анализа .

Однако для статистической теории это представляет собой образцовую задачу в контексте теории оценивания , которую легко сформулировать и для которой результаты не могут быть получены в закрытой форме. Это также является примером того, как навязывание требования объективной оценки может рассматриваться как просто добавление неудобств, не приносящее реальной пользы.

Мотивация

В статистике стандартное отклонение совокупности чисел часто оценивается на основе случайной выборки, взятой из совокупности. Это выборочное стандартное отклонение, которое определяется формулой

${\displaystyle s={\sqrt {\frac {\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}{n-1}}},}$

где – выборка (формально, реализации случайной величины X ) и – выборочное среднее . ${\displaystyle \{x_{1},x_{2},\ldots ,x_{n}\}}$ ${\displaystyle {\overline {x}}}$

Один из способов увидеть, что это смещенная оценка стандартного отклонения генеральной совокупности, состоит в том, чтобы исходить из того, что s 2 является несмещенной оценкой дисперсии σ ² базовой совокупности , если ^эта дисперсия существует и значения выборки получены независимо. с заменой. Квадратный корень — нелинейная функция, и только линейные функции коммутируют с учетом математического ожидания. Поскольку квадратный корень является строго вогнутой функцией, из неравенства Йенсена следует, что квадратный корень выборочной дисперсии является заниженной оценкой.

Использование n  - 1 вместо n в формуле выборочной дисперсии известно как поправка Бесселя , которая исправляет смещение при оценке генеральной дисперсии, а также некоторую, но не всю, смещение при оценке генерального стандарта. отклонение.

Невозможно найти оценку стандартного отклонения, которая была бы несмещенной для всех распределений населения, поскольку смещение зависит от конкретного распределения. Большая часть нижеследующего относится к оценкам, предполагающим нормальное распределение .

Коррекция смещения

Результаты для нормального распределения

Поправочный коэффициент в зависимости от размера выборки n . ${\displaystyle c_{4}}$

Когда случайная величина имеет нормальное распределение , существует незначительная поправка для устранения систематической ошибки. Чтобы вывести поправку, обратите внимание, что для нормально распределенного X теорема Кокрана подразумевает, что он имеет распределение хи-квадрат со степенями свободы и, следовательно, его квадратный корень имеет распределение хи со степенями свободы. Следовательно, вычислив математическое ожидание этого последнего выражения и переставив константы, ${\displaystyle (n-1)s^{2}/\sigma ^{2}}$ ${\displaystyle n-1}$ ${\displaystyle {\sqrt {n-1}}s/\sigma }$ ${\displaystyle n-1}$

${\displaystyle \operatorname {E} [s]=c_{4}(n)\sigma }$

где поправочный коэффициент — это среднее масштабное распределение хи со степенями свободы, . Это зависит от размера выборки n и определяется следующим образом: ^[1] ${\displaystyle c_{4}(n)}$ ${\displaystyle n-1}$ ${\displaystyle \mu _{1}/{\sqrt {n-1}}}$

${\displaystyle c_{4}(n)={\sqrt {\frac {2}{n-1}}}{\frac {\Gamma \left({\frac {n}{2}}\right)}{\Gamma \left({\frac {n-1}{2}}\right)}}=1-{\frac {1}{4n}}-{\frac {7}{32n^{2}}}-{\frac {19}{128n^{3}}}+O(n^{-4})}$

где Γ(·) – гамма-функция . Несмещенную оценку σ можно получить путем деления на . По мере увеличения оно приближается к 1, и даже для меньших значений поправка незначительна. На рисунке показан график зависимости размера выборки. В таблице ниже приведены числовые значения и алгебраические выражения для некоторых значений ; более полные таблицы ^можно найти в большинстве учебников ^{по статистическому} контролю качества . ${\displaystyle s}$ ${\displaystyle c_{4}(n)}$ ${\displaystyle n}$ ${\displaystyle c_{4}(n)}$ ${\displaystyle c_{4}(n)}$ ${\displaystyle n}$

Важно иметь в виду, что эта поправка дает только несмещенную оценку для нормально и независимо распределенного X. Когда это условие выполнено, другой результат, связанный с использованием s, заключается в том, что стандартная ошибка s равна ^{[2] [3]} , в то время как стандартная ошибка несмещенной оценки равна ${\displaystyle c_{4}(n)}$ ${\displaystyle \sigma {\sqrt {1-c_{4}^{2}}}}$ ${\displaystyle \sigma {\sqrt {c_{4}^{-2}-1}}.}$

Эмпирическое правило нормального распределения

Если вычисление функции c ₄ ( n ) кажется слишком сложным, существует простое эмпирическое правило ^[4], позволяющее использовать оценщик

${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}$

Формула отличается от привычного выражения для s ² только тем, что в знаменателе стоит n − 1,5 вместо n − 1 . Это выражение является лишь приблизительным; фактически,

${\displaystyle \operatorname {E} \left[{\hat {\sigma }}\right]=\sigma \cdot \left(1+{\frac {1}{16n^{2}}}+{\frac {3}{16n^{3}}}+O(n^{-4})\right).}$

Смещение сравнительно невелико: скажем, для оно равно 2,3%, а для смещение уже 0,1%. ${\displaystyle n=3}$ ${\displaystyle n=9}$

Другие дистрибутивы

В тех случаях, когда статистически независимые данные моделируются параметрическим семейством распределений, отличных от нормального распределения , стандартное отклонение генеральной совокупности, если оно существует, будет функцией параметров модели. Одним из общих подходов к оценке является метод максимального правдоподобия . В качестве альтернативы можно использовать теорему Рао-Блэквелла как способ найти хорошую оценку стандартного отклонения. Ни в том, ни в другом случае полученные оценки обычно не будут несмещенными. Теоретически можно было бы получить теоретические поправки, которые привели бы к несмещенным оценкам, но, в отличие от нормального распределения, они обычно будут зависеть от оцениваемых параметров.

Если требуется просто уменьшить погрешность оценки стандартного отклонения, а не полностью устранить ее, то доступны два практических подхода, оба в контексте повторной выборки . Это складной нож и бутстрэппинг . Оба могут применяться либо к параметрическим оценкам стандартного отклонения, либо к выборочному стандартному отклонению.

Для несмещенных распределений приблизительная (с точностью до O ( n ⁻¹ )) формула для несмещенной оценки стандартного отклонения:

${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5-{\tfrac {1}{4}}\gamma _{2}}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}},}$

где γ _{2 обозначает} избыточный эксцесс популяции . Избыточный эксцесс может быть либо известен заранее для определенных распределений, либо оценен на основе данных.

Эффект автокорреляции (серийная корреляция)

Приведенный выше материал, чтобы еще раз подчеркнуть эту мысль, применим только к независимым данным. Однако реальные данные часто не отвечают этому требованию; это автокорреляция (также известная как серийная корреляция). Например, последовательные показания измерительного прибора, который включает в себя ту или иную форму процесса «сглаживания» (точнее, фильтрации нижних частот), будут автокоррелированы, поскольку любое конкретное значение рассчитывается на основе некоторой комбинации более ранних и поздних показаний.

Оценки дисперсии и стандартного отклонения автокоррелированных данных будут смещены. Ожидаемое значение выборочной дисперсии равно ^[5]

${\displaystyle {\rm {E}}\left[s^{2}\right]=\sigma ^{2}\left[1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}\left(1-{\frac {k}{n}}\right)\rho _{k}\right]}$

где n — размер выборки (количество измерений), а — автокорреляционная функция (АКФ) данных. (Обратите внимание, что выражение в скобках равно единице минус среднее ожидаемое значение автокорреляции показаний.) Если АКФ состоит из положительных значений, то оценка дисперсии (и ее квадратного корня, стандартного отклонения) будет иметь низкое смещение. То есть фактическая изменчивость данных будет больше, чем та, на которую указывает расчет неисправленной дисперсии или стандартного отклонения. Важно понимать, что если это выражение будет использоваться для корректировки систематической ошибки путем деления оценки на величину в скобках выше, то АКФ должен быть известен аналитически , а не посредством оценки на основе данных. Это связано с тем, что расчетная АКФ сама по себе будет смещенной. ^[6] ${\displaystyle \rho _{k}}$ ${\displaystyle s^{2}}$

Пример смещения стандартного отклонения

Чтобы проиллюстрировать величину систематической ошибки стандартного отклонения, рассмотрим набор данных, состоящий из последовательных показаний прибора, использующего определенный цифровой фильтр, чья АКФ, как известно, определяется выражением

${\displaystyle \rho _{k}=(1-\alpha )^{k}}$

где α — параметр фильтра, принимающий значения от нуля до единицы. Таким образом, АКФ положителен и геометрически убывает.

Смещение стандартного отклонения для автокоррелированных данных.

На рисунке показано отношение оцененного стандартного отклонения к его известному значению (которое может быть рассчитано аналитически для этого цифрового фильтра) для нескольких настроек α в зависимости от размера выборки n . Изменение α изменяет коэффициент уменьшения дисперсии фильтра, который, как известно,

${\displaystyle {\rm {VRR}}={\frac {\alpha }{2-\alpha }}}$

так что меньшие значения α приводят к большему уменьшению дисперсии или «сглаживанию». Смещение обозначается значениями на вертикальной оси, отличными от единицы; то есть, если бы не было систематической ошибки, отношение оцененного к известному стандартному отклонению было бы единицей. Очевидно, что при небольших размерах выборки может иметь место значительная погрешность (в два и более раз).

Отклонение среднего значения

Часто представляет интерес оценить дисперсию или стандартное отклонение предполагаемого среднего значения , а не дисперсию генеральной совокупности. Когда данные автокоррелированы, это оказывает прямое влияние на теоретическую дисперсию выборочного среднего значения, которая составляет ^[7]

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\left[1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)\rho _{k}}\right].}$

Затем дисперсию выборочного среднего можно оценить, подставив оценку σ ² . Одну такую ​​оценку можно получить из приведенного выше уравнения для E[s ² ]. Сначала определите следующие константы, предполагая, опять же, известную АКФ:

${\displaystyle \gamma _{1}\equiv 1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}$

${\displaystyle \gamma _{2}\equiv 1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}$

так что

${\displaystyle {\rm {E}}\left[s^{2}\right]=\sigma ^{2}\gamma _{1}\Rightarrow {\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\right]=\sigma ^{2}}$

Это говорит о том, что ожидаемое значение величины, полученное путем деления наблюдаемой выборочной дисперсии на поправочный коэффициент, дает несмещенную оценку дисперсии. Аналогично, переписав приведенное выше выражение для дисперсии среднего значения: ${\displaystyle \gamma _{1}}$

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}}$

и подставив оценку для дает ^[8] ${\displaystyle \sigma ^{2}}$

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\left({\frac {\gamma _{2}}{n}}\right)\right]={\rm {E}}\left[{\frac {s^{2}}{n}}\left\{{\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}\right\}\right]}$

который представляет собой несмещенную оценку дисперсии среднего значения с точки зрения наблюдаемой выборочной дисперсии и известных величин. Если автокорреляции тождественно равны нулю, это выражение сводится к хорошо известному результату для дисперсии среднего значения для независимых данных. Эффект оператора ожидания в этих выражениях заключается в том, что равенство сохраняется в среднем (т. е. в среднем). ${\displaystyle \rho _{k}}$

Оценка стандартного отклонения генеральной совокупности

Имея приведенные выше выражения, включающие дисперсию совокупности и оценку среднего значения этой совокупности, казалось бы логичным просто извлечь квадратный корень из этих выражений, чтобы получить несмещенные оценки соответствующих стандартных отклонений. Однако дело в том, что, поскольку ожидания являются интегралами,

${\displaystyle {\rm {E}}[s]\neq {\sqrt {{\rm {E}}\left[s^{2}\right]}}\neq \sigma {\sqrt {\gamma _{1}}}}$

Вместо этого предположим, что существует функция θ такая, что несмещенную оценку стандартного отклонения можно записать

${\displaystyle {\rm {E}}[s]=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}}$

и θ зависит от размера выборки n и АКФ. В случае данных NID (нормально и независимо распределенных) подкоренное выражение равно единице, а θ — это просто функция c ₄ , указанная в первом разделе выше. Как и в случае с c ₄ , θ приближается к единице по мере увеличения размера выборки (как и γ ₁ ).

С помощью имитационного моделирования можно продемонстрировать, что игнорирование θ (то есть принимая его за единицу) и использование

${\displaystyle {\rm {E}}[s]\approx \sigma {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}}$

удаляет все смещения, вызванные автокорреляцией, кроме нескольких процентов, что делает эту оценку уменьшенной -смещенной, а не несмещенной оценкой. В практических ситуациях измерения такое снижение погрешности может быть значительным и полезным, даже если остается некоторая относительно небольшая погрешность. Рисунок выше, показывающий пример смещения стандартного отклонения в зависимости от размера выборки, основан на этом приближении; фактическое смещение будет несколько больше, чем указано на этих графиках, поскольку смещение преобразования θ туда не включено.

Оценка стандартного отклонения выборочного среднего значения

Несмещенная дисперсия среднего значения с точки зрения генеральной дисперсии и АКФ определяется выражением

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}}$

и поскольку здесь нет ожидаемых значений, в этом случае можно извлечь квадратный корень, так что

${\displaystyle \sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}}$

Используя приведенное выше выражение несмещенной оценки для σ , оценка стандартного отклонения среднего значения будет тогда

${\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{\theta {\sqrt {n}}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}}$

Если данные являются NID, так что ACF исчезает, это сводится к

${\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}}$

При наличии ненулевой АКФ игнорирование функции θ , как и раньше, приводит к уменьшенной оценке -смещения

${\displaystyle {\hat {\sigma }}_{\overline {x}}\approx {\frac {s}{\sqrt {n}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}={\frac {s}{\sqrt {n}}}{\sqrt {\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}}}$

что опять-таки можно продемонстрировать, что оно устраняет большую часть предвзятости.

Смотрите также

• Поправка Бесселя
• Оценка ковариационных матриц
• Выборочное среднее и выборочная ковариация

Рекомендации

1. Бен В. Болч, «Подробнее о несмещенной оценке стандартного отклонения», The American Statistician, 22 (3), стр. 27 (1968)
2. Дункан, AJ, Контроль качества и промышленная статистика, 4-е изд., Ирвин (1974) ISBN  0-256-01558-9 , стр.139
3. * Н. Л. Джонсон, С. Коц и Н. Балакришнан, Непрерывные одномерные распределения, Том 1 , 2-е издание, Wiley and sons, 1994. ISBN 0-471-58495-9 . Глава 13, раздел 8.2 
4. Ричард М. Брюггер, «Заметки о несмещенной оценке стандартного отклонения», Американский статистик (23) 4 стр. 32 (1969)
5. Лоу и Келтон, Имитационное моделирование и анализ , 2-е изд. МакГроу-Хилл (1991), стр. 284, ISBN 0-07-036698-5 . Это выражение можно получить из его первоначального источника в книге Андерсона « Статистический анализ временных рядов» , Wiley (1971), ISBN 0-471-04745-7 , стр. 448, уравнение 51.  
6. Ло и Келтон, стр.286. Это смещение количественно выражено у Андерсона, стр. 448, уравнения 52–54.
7. Ло и Келтон, стр.285. Это уравнение можно вывести из теоремы 8.2.3 Андерсона. Он также появляется в книге Бокса, Дженкинса, Рейнселя, « Анализ временных рядов: прогнозирование и контроль» , 4-е изд. Уайли (2008), ISBN 978-0-470-27284-8 , стр.31. 
8. Ло и Келтон, стр.285.

• Дуглас К. Монтгомери и Джордж К. Рангер, Прикладная статистика и теория вероятностей для инженеров , 3-е издание, Wiley and sons, 2003 г. (см. разделы 7–2.2 и 16–5).

Внешние ссылки

• Интерактивная графика Java, показывающая PDF-файл Helmert, из которого получены коэффициенты коррекции смещения.
• Демонстрация моделирования Монте-Карло для объективной оценки стандартного отклонения.
• http://www.itl.nist.gov/div898/handbook/pmc/section3/pmc32.htm Что такое диаграммы управления переменными?

 Эта статья включает общедоступные материалы Национального института стандартов и технологий.