Стандартная ошибка

Статистическая собственность

Для значения, выбранного с несмещенной нормально распределенной ошибкой, приведенная выше диаграмма отображает долю выборок, которые попадают в диапазон 0, 1, 2 и 3 стандартных отклонений выше и ниже фактического значения.

Стандартная ошибка ( SE ) ^[1] статистики ( обычно оценка параметра ) — это стандартное отклонение ее выборочного распределения ^[2] или оценка этого стандартного отклонения. Если статистика — это выборочное среднее, она называется стандартной ошибкой среднего ( SEM ). ^[1] Стандартная ошибка — это ключевой ингредиент в создании доверительных интервалов . ^[3]

Выборочное распределение среднего значения генерируется путем повторной выборки из той же совокупности и записи полученных выборочных средних значений. Это формирует распределение различных средних значений, и это распределение имеет свое собственное среднее значение и дисперсию . Математически дисперсия полученного выборочного распределения среднего значения равна дисперсии совокупности, деленной на размер выборки. Это происходит потому, что по мере увеличения размера выборки выборочные средние значения группируются более тесно вокруг среднего значения совокупности.

Таким образом, соотношение между стандартной ошибкой среднего значения и стандартным отклонением таково, что для заданного размера выборки стандартная ошибка среднего значения равна стандартному отклонению, деленному на квадратный корень размера выборки. ^[1] Другими словами, стандартная ошибка среднего значения является мерой дисперсии выборочных средних значений вокруг среднего значения совокупности.

В регрессионном анализе термин «стандартная ошибка» относится либо к квадратному корню из приведенной статистики хи-квадрат , либо к стандартной ошибке для конкретного коэффициента регрессии (используемого, например, в доверительных интервалах ).

Стандартная ошибка выборочного среднего

Точное значение

Предположим, что статистически независимая выборка наблюдений взята из статистической совокупности со стандартным отклонением . Среднее значение, вычисленное по выборке, , будет иметь связанную стандартную ошибку среднего , , заданную как: ^[1] ${\displaystyle n}$ ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$ ${\displaystyle \sigma }$ ${\displaystyle {\bar {x}}}$ ${\displaystyle {\sigma }_{\bar {x}}}$ $${\displaystyle {\sigma }_{\bar {x}}={\frac {\sigma }{\sqrt {n}}}.}$$

На практике это означает, что при попытке оценить значение среднего значения совокупности, с учетом фактора , уменьшение ошибки оценки в два раза требует получения в четыре раза большего числа наблюдений в выборке; уменьшение в десять раз требует получения в сто раз большего числа наблюдений. ${\displaystyle 1/{\sqrt {n}}}$

Оценивать

Стандартное отклонение выборочной совокупности редко известно. Поэтому стандартная ошибка среднего значения обычно оценивается путем замены ее на стандартное отклонение выборки : ${\displaystyle \sigma }$ ${\displaystyle \sigma }$ ${\displaystyle \sigma _{x}}$ $${\displaystyle {\sigma }_{\bar {x}}\ \approx {\frac {\sigma _{x}}{\sqrt {n}}}.}$$

Поскольку это всего лишь оценка истинной «стандартной ошибки», здесь часто можно увидеть другие обозначения, например: $${\displaystyle {\widehat {\sigma }}_{\bar {x}}:={\frac {\sigma _{x}}{\sqrt {n}}}\qquad {\text{ or }}\qquad {s}_{\bar {x}}\ :={\frac {s}{\sqrt {n}}}.}$$

Распространенной причиной путаницы является неспособность четко различать:

• стандартное отклонение популяции ( ) , ${\displaystyle \sigma }$
• стандартное отклонение выборки ( ) , ${\displaystyle \sigma _{x}}$
• стандартное отклонение самого среднего значения ( , которое является стандартной ошибкой), и ${\displaystyle \sigma _{\bar {x}}}$
• оценка стандартного отклонения среднего значения ( , которая является наиболее часто вычисляемой величиной и часто в разговорной речи называется стандартной ошибкой ). ${\displaystyle {\widehat {\sigma }}_{\bar {x}}}$

Точность оценки

Если размер выборки мал, использование стандартного отклонения выборки вместо истинного стандартного отклонения генеральной совокупности будет иметь тенденцию к систематической недооценке стандартного отклонения генеральной совокупности, а следовательно, и стандартной ошибки. При n = 2 недооценка составляет около 25%, но при n = 6 недооценка составляет всего 5%. Гурланд и Трипати (1971) приводят поправку и уравнение для этого эффекта. ^[4] Сокал и Рольф (1981) приводят уравнение поправочного коэффициента для малых выборок n < 20. ^[5] См. непредвзятую оценку стандартного отклонения для дальнейшего обсуждения.

Вывод

Стандартная ошибка среднего может быть получена из дисперсии суммы независимых случайных величин, ^[6] учитывая определение дисперсии и некоторые ее свойства . Если это выборка независимых наблюдений из совокупности со средним и стандартным отклонением , то мы можем определить общую сумму , которая, согласно формуле Бьенеме , будет иметь дисперсию , где мы аппроксимировали стандартные отклонения, т. е. неопределенности самих измерений с наилучшим значением для стандартного отклонения совокупности. Среднее значение этих измерений определяется как ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$ ${\displaystyle n}$ ${\displaystyle {\bar {x}}}$ ${\displaystyle \sigma }$ $${\displaystyle T=(x_{1}+x_{2}+\cdots +x_{n})}$$ $${\displaystyle \operatorname {Var} (T)={\big (}\operatorname {Var} (x_{1})+\operatorname {Var} (x_{2})+\cdots +\operatorname {Var} (x_{n}){\big )}=n\sigma ^{2}.}$$ ${\displaystyle {\bar {x}}}$ $${\displaystyle {\bar {x}}=T/n.}$$

Тогда дисперсия среднего равна $${\displaystyle \operatorname {Var} ({\bar {x}})=\operatorname {Var} \left({\frac {T}{n}}\right)={\frac {1}{n^{2}}}\operatorname {Var} (T)={\frac {1}{n^{2}}}n\sigma ^{2}={\frac {\sigma ^{2}}{n}}.}$$

Стандартная ошибка, по определению, представляет собой стандартное отклонение, равное квадратному корню дисперсии: ${\displaystyle {\bar {x}}}$ $${\displaystyle \sigma _{\bar {x}}={\sqrt {\frac {\sigma ^{2}}{n}}}={\frac {\sigma }{\sqrt {n}}}.}$$

Для коррелированных случайных величин выборочную дисперсию необходимо вычислять в соответствии с центральной предельной теоремой цепи Маркова .

Независимые и одинаково распределенные случайные величины со случайным размером выборки

Бывают случаи, когда выборка берется без знания заранее, сколько наблюдений будет приемлемо по какому-либо критерию. В таких случаях размер выборки является случайной величиной, вариация которой добавляется к вариации таким образом, что, ^[7] что следует из закона полной дисперсии . ${\displaystyle N}$ ${\displaystyle X}$ $${\displaystyle \operatorname {Var} (T)=\operatorname {E} (N)\operatorname {Var} (X)+\operatorname {Var} (N){\big (}\operatorname {E} (X){\big )}^{2}}$$

Если имеет распределение Пуассона , то с оценщиком . Следовательно, оценщик становится , что приводит к следующей формуле для стандартной ошибки: (поскольку стандартное отклонение является квадратным корнем дисперсии). ${\displaystyle N}$ ${\displaystyle \operatorname {E} (N)=\operatorname {Var} (N)}$ ${\displaystyle n=N}$ ${\displaystyle \operatorname {Var} (T)}$ ${\displaystyle nS_{X}^{2}+n{\bar {X}}^{2}}$ $${\displaystyle \operatorname {Standard~Error} ({\bar {X}})={\sqrt {\frac {S_{X}^{2}+{\bar {X}}^{2}}{n}}}}$$

Приближение студента, когдаσзначение неизвестно

Во многих практических приложениях истинное значение σ неизвестно. В результате нам нужно использовать распределение, которое учитывает этот разброс возможных σ' s. Когда известно, что истинное базовое распределение является гауссовым, хотя и с неизвестным σ, то полученное оценочное распределение следует распределению Стьюдента. Стандартная ошибка — это стандартное отклонение распределения Стьюдента. Распределения T немного отличаются от гауссовского и различаются в зависимости от размера выборки. Малые выборки несколько более склонны недооценивать стандартное отклонение совокупности и иметь среднее значение, которое отличается от истинного среднего значения совокупности, а распределение Стьюдента учитывает вероятность этих событий с несколько более тяжелыми хвостами по сравнению с гауссовым. Чтобы оценить стандартную ошибку распределения Стьюдента, достаточно использовать стандартное отклонение выборки «s» вместо σ , и мы могли бы использовать это значение для расчета доверительных интервалов.

Примечание: распределение вероятности Стьюдента хорошо аппроксимируется распределением Гаусса, когда размер выборки превышает 100. Для таких выборок можно использовать последнее распределение, которое намного проще. Кроме того, даже если «истинное» распределение совокупности неизвестно, предположение о нормальности распределения выборки имеет смысл для разумного размера выборки и при определенных условиях выборки, см. CLT . Если эти условия не выполняются, то использование распределения Bootstrap для оценки стандартной ошибки часто является хорошим обходным путем, но это может быть вычислительно интенсивным.

Предположения и использование

Примером того, как используется, является создание доверительных интервалов неизвестного среднего значения совокупности. Если распределение выборки распределено нормально , то среднее значение выборки, стандартная ошибка и квантили нормального распределения могут быть использованы для вычисления доверительных интервалов для истинного среднего значения совокупности. Следующие выражения могут быть использованы для вычисления верхнего и нижнего 95% доверительных пределов, где равно среднему значению выборки, равно стандартной ошибке для среднего значения выборки, а 1,96 является приблизительным значением 97,5 процентильной точки нормального распределения : ${\displaystyle \operatorname {SE} }$ ${\displaystyle {\bar {x}}}$ ${\displaystyle \operatorname {SE} }$

• Верхний 95% предел = , и ${\displaystyle {\bar {x}}+(\operatorname {SE} \times 1.96)}$
• Нижний 95% предел = . ${\displaystyle {\bar {x}}-(\operatorname {SE} \times 1.96)}$

В частности, стандартная ошибка выборочной статистики (например, выборочное среднее ) — это фактическое или оценочное стандартное отклонение выборочного среднего в процессе, с помощью которого оно было получено. Другими словами, это фактическое или оценочное стандартное отклонение выборочного распределения выборочной статистики. Обозначение для стандартной ошибки может быть любым из SE, SEM (для стандартной ошибки измерения или среднего ) или S _E .

Стандартные ошибки представляют собой простые меры неопределенности значения и часто используются по следующим причинам:

• во многих случаях, если известна стандартная ошибка нескольких отдельных величин, то можно легко вычислить стандартную ошибку некоторой функции этих величин;
• когда распределение вероятностей значения известно, его можно использовать для расчета точного доверительного интервала ;
• когда распределение вероятностей неизвестно, для расчета консервативного доверительного интервала можно использовать неравенства Чебышева или Высочанского–Петунина; и
• Поскольку размер выборки стремится к бесконечности, центральная предельная теорема гарантирует, что распределение выборки среднего значения является асимптотически нормальным .

Стандартная ошибка среднего значения против стандартного отклонения

В научной и технической литературе экспериментальные данные часто суммируются либо с использованием среднего значения и стандартного отклонения выборочных данных, либо среднего значения со стандартной ошибкой. Это часто приводит к путанице относительно их взаимозаменяемости. Однако среднее значение и стандартное отклонение являются описательными статистиками , тогда как стандартная ошибка среднего значения описывает процесс случайной выборки. Стандартное отклонение выборочных данных является описанием вариации измерений, тогда как стандартная ошибка среднего значения является вероятностным утверждением о том, как размер выборки обеспечит лучшую границу для оценок среднего значения совокупности в свете центральной предельной теоремы. ^[8]

Проще говоря, стандартная ошибка выборочного среднего — это оценка того, насколько далеко выборочное среднее, вероятно, будет от среднего значения популяции, тогда как стандартное отклонение выборки — это степень, в которой индивидуумы в выборке отличаются от среднего значения выборки. ^[9] Если стандартное отклонение популяции конечно, стандартная ошибка среднего значения выборки будет стремиться к нулю с увеличением размера выборки, поскольку оценка среднего значения популяции улучшится, в то время как стандартное отклонение выборки будет стремиться к стандартному отклонению популяции по мере увеличения размера выборки.

Расширения

Коррекция конечной популяции (FPC)

Формула, приведенная выше для стандартной ошибки, предполагает, что популяция бесконечна. Тем не менее, она часто используется для конечных популяций, когда люди заинтересованы в измерении процесса, который создал существующую конечную популяцию (это называется аналитическим исследованием ). Хотя приведенная выше формула не совсем верна, когда популяция конечна, разница между версиями для конечной и бесконечной популяции будет небольшой, когда доля выборки мала (например, изучается небольшая доля конечной популяции). В этом случае люди часто не вносят поправку на конечную популяцию, по сути рассматривая ее как «приблизительно бесконечную» популяцию.

Если кто-то заинтересован в измерении существующей конечной популяции, которая не будет меняться с течением времени, то необходимо сделать поправку на размер популяции (так называемое перечислительное исследование ). Когда доля выборки (часто называемая f ) велика (приблизительно 5% или более) в перечислительном исследовании , оценку стандартной ошибки необходимо скорректировать путем умножения на «поправку на конечную популяцию» (также известную как: FPC ): ^{[10] [11]} которая для больших N : учитывает дополнительную точность, полученную за счет выборки близкой к большему проценту популяции. Эффект FPC заключается в том, что ошибка становится равной нулю, когда размер выборки n равен размеру популяции N . $${\displaystyle \operatorname {FPC} ={\sqrt {\frac {N-n}{N-1}}}}$$ $${\displaystyle \operatorname {FPC} \approx {\sqrt {1-{\frac {n}{N}}}}={\sqrt {1-f}}}$$

Это происходит в методологии обследования при выборке без замены . Если выборка с заменой, то FPC не вступает в игру.

Поправка на корреляцию в выборке

Ожидаемая ошибка среднего значения A для выборки из n точек данных с коэффициентом смещения выборки  ρ . Несмещенная стандартная ошибка отображается в виде диагональной линии ρ  = 0 с наклоном в логарифмическом масштабе − 1 ⁄ 2 .

Если значения измеренной величины A не являются статистически независимыми, но были получены из известных местоположений в пространстве параметров  x , несмещенную оценку истинной стандартной ошибки среднего (фактически поправку на часть стандартного отклонения) можно получить, умножив вычисленную стандартную ошибку выборки на фактор  f : где коэффициент смещения выборки ρ — это широко используемая оценка Прайса–Винстена коэффициента автокорреляции (величина между −1 и +1) для всех пар точек выборки. Эта приближенная формула подходит для выборок среднего и большого размера; в справочнике приведены точные формулы для любого размера выборки, и ее можно применять к сильно автокоррелированным временным рядам, таким как котировки акций Уолл-стрит. Более того, эта формула работает как для положительных, так и для отрицательных ρ. ^[12] См. также несмещенную оценку стандартного отклонения для более подробного обсуждения. $${\displaystyle f={\sqrt {\frac {1+\rho }{1-\rho }}},}$$

Смотрите также

• Иллюстрация центральной предельной теоремы
• Допустимая погрешность
• Вероятная ошибка
• Стандартная ошибка средневзвешенного значения
• Выборочное среднее и выборочная ковариация
• Стандартная ошибка медианы
• Дисперсия
• Дисперсия среднего и прогнозируемого ответов

Ссылки

1. Альтман, Дуглас Г; Бланд, Дж. Мартин (15.10.2005). "Стандартные отклонения и стандартные ошибки". BMJ: British Medical Journal . 331 (7521): 903. doi :10.1136/bmj.331.7521.903. ISSN  0959-8138. PMC  1255808 . PMID  16223828.
2. Эверитт, Б.С. (2003). Кембриджский словарь статистики . Издательство Кембриджского университета. ISBN 978-0-521-81099-9.
3. Вулдридж, Джеффри М. (2023). «Что такое стандартная ошибка? (И как ее вычислить?)». Журнал эконометрики . 237 (2, часть A). doi :10.1016/j.jeconom.2023.105517. ISSN  0304-4076.
4. Гурланд, Дж.; Трипати РК (1971). «Простая аппроксимация для несмещенной оценки стандартного отклонения». American Statistician . 25 (4): 30–32. doi :10.2307/2682923. JSTOR  2682923.
5. Сокал; Рольф (1981). Биометрия: принципы и практика статистики в биологических исследованиях (2-е изд.). стр. 53. ISBN 978-0-7167-1254-1.
6. Хатчинсон, TP (1993). Основы статистических методов, на 41 странице . Аделаида: Рамсби. ISBN 978-0-646-12621-0.
7. Корнелл, Дж. Р.; Бенджамин, К. А. (1970). Вероятность, статистика и решения для инженеров-строителей . Нью-Йорк: McGraw-Hill. С. 178–179. ISBN 0486796094.
8. Барде, М. (2012). «Что использовать для выражения изменчивости данных: стандартное отклонение или стандартная ошибка среднего?». Perspect. Clin. Res. 3 (3): 113–116. doi : 10.4103/2229-3485.100662 . PMC 3487226 . PMID  23125963.  
9. Вассертейль-Смоллер, Сильвия (1995). Биостатистика и эпидемиология: Учебник для специалистов здравоохранения (Второе издание). Нью-Йорк: Springer. С. 40–43. ISBN 0-387-94388-9.
10. Иссерлис, Л. (1918). «О значении среднего, вычисленного по выборке». Журнал Королевского статистического общества . 81 (1): 75–81. doi :10.2307/2340569. JSTOR  2340569.(Уравнение 1)
11. Бонди, Уоррен; Злот, Уильям (1976). «Стандартная ошибка среднего и разность между средними для конечных совокупностей». Американский статистик . 30 (2): 96–97. doi :10.1080/00031305.1976.10479149. JSTOR  2683803.(Уравнение 2)
12. Бенс, Джеймс Р. (1995). «Анализ коротких временных рядов: коррекция автокорреляции». Экология . 76 (2): 628–639. doi :10.2307/1941218. JSTOR  1941218.