Стандартная ошибка ( SE ) [1] статистики (обычно оценка параметра ) — это стандартное отклонение выборочного распределения [2] или оценка этого стандартного отклонения . Если статистика является выборочным средним, она называется стандартной ошибкой среднего ( SEM ). [1] Стандартная ошибка является ключевым фактором при построении доверительных интервалов . [3]
Выборочное распределение среднего получается путем повторной выборки из одной и той же совокупности и записи полученных выборочных средних. Это формирует распределение различных средних значений, и это распределение имеет свое среднее значение и дисперсию . Математически дисперсия полученного распределения выборочного среднего равна дисперсии генеральной совокупности, деленной на размер выборки. Это связано с тем, что по мере увеличения размера выборки средние значения выборки более тесно группируются вокруг среднего значения генеральной совокупности.
Следовательно, связь между стандартной ошибкой среднего и стандартным отклонением такова, что для данного размера выборки стандартная ошибка среднего равна стандартному отклонению, деленному на квадратный корень из размера выборки. [1] Другими словами, стандартная ошибка среднего является мерой дисперсии выборочных средних вокруг среднего значения генеральной совокупности.
В регрессионном анализе термин «стандартная ошибка» относится либо к квадратному корню из приведенной статистики хи-квадрат , либо к стандартной ошибке для конкретного коэффициента регрессии (как, например, используется в доверительных интервалах ).
Предположим, что статистически независимая выборка наблюдений взята из статистической совокупности со стандартным отклонением . Среднее значение, рассчитанное по выборке, будет иметь соответствующую стандартную ошибку среднего значения , определяемую следующим выражением: [1]
На практике это говорит нам о том, что при попытке оценить значение генеральной совокупности из-за фактора уменьшение ошибки оценки в два раза требует получения в четыре раза большего количества наблюдений в выборке; уменьшение его в десять раз требует в сто раз больше наблюдений.
Стандартное отклонение выборки генеральной совокупности редко известно. Следовательно, стандартная ошибка среднего значения обычно оценивается путем замены стандартным отклонением выборки :
Поскольку это всего лишь оценка истинной «стандартной ошибки», здесь часто можно увидеть другие обозначения, такие как:
Распространенным источником путаницы является невозможность провести четкое различие между:
Когда размер выборки невелик, использование стандартного отклонения выборки вместо истинного стандартного отклонения генеральной совокупности приведет к систематической недооценке стандартного отклонения генеральной совокупности, а, следовательно, и стандартной ошибки. При n = 2 занижение составляет около 25%, а при n = 6 занижение составляет всего 5%. Гурланд и Трипати (1971) представили поправку и уравнение для этого эффекта. [4] Сокал и Рольф (1981) приводят уравнение поправочного коэффициента для небольших выборок с n < 20. [5] Для дальнейшего обсуждения см. несмещенную оценку стандартного отклонения .
Стандартная ошибка среднего может быть получена из дисперсии суммы независимых случайных величин [6] с учетом определения дисперсии и некоторых ее свойств . Если это выборка независимых наблюдений из совокупности со средним и стандартным отклонением , то мы можем определить общее количество
Тогда дисперсия среднего
Стандартная ошибка — это, по определению, стандартное отклонение, которое представляет собой квадратный корень из дисперсии:
Для коррелированных случайных величин выборочную дисперсию необходимо вычислять в соответствии с центральной предельной теоремой цепи Маркова .
Бывают случаи, когда выборку берут, не зная заранее, сколько наблюдений будет приемлемым по какому-либо критерию. В таких случаях размер выборки представляет собой случайную величину, вариация которой добавляется к вариации такой, что:
Если имеет распределение Пуассона , то с оценщиком . Следовательно, оценка становится , что приводит к следующей формуле для стандартной ошибки:
Во многих практических приложениях истинное значение σ неизвестно. В результате нам нужно использовать распределение, которое учитывает этот разброс возможных σ . Когда известно, что истинное основное распределение является гауссовским, хотя и с неизвестным σ, тогда результирующее расчетное распределение соответствует t-распределению Стьюдента. Стандартная ошибка — это стандартное отклонение t-распределения Стьюдента. Т-распределения немного отличаются от гауссового и варьируются в зависимости от размера выборки. Небольшие выборки с несколько большей вероятностью недооценивают стандартное отклонение генеральной совокупности и имеют среднее значение, отличающееся от истинного среднего генеральной совокупности, а t-распределение Стьюдента учитывает вероятность этих событий с несколько более тяжелыми хвостами по сравнению с гауссовым. Чтобы оценить стандартную ошибку t-распределения Стьюдента, достаточно использовать выборочное стандартное отклонение «s» вместо σ , и мы могли бы использовать это значение для расчета доверительных интервалов.
Примечание. Распределение вероятностей Стьюдента хорошо аппроксимируется распределением Гаусса, когда размер выборки превышает 100. Для таких выборок можно использовать последнее распределение, которое намного проще. Кроме того, даже несмотря на то, что «истинное» распределение генеральной совокупности неизвестно, предположение о нормальности выборочного распределения имеет смысл для разумного размера выборки и при определенных условиях выборки, см. CLT . Если эти условия не выполняются, то использование распределения Bootstrap для оценки стандартной ошибки часто является хорошим решением, но оно может потребовать больших вычислительных ресурсов.
Примером использования является определение средних доверительных интервалов неизвестной совокупности. Если выборочное распределение нормально распределено , выборочное среднее, стандартная ошибка и квантили нормального распределения могут использоваться для расчета доверительных интервалов для истинного генерального среднего. Следующие выражения можно использовать для расчета верхнего и нижнего 95% доверительного интервала, где равно выборочному среднему значению, равно стандартной ошибке выборочного среднего значения, а 1,96 — приблизительному значению 97,5 процентильной точки нормального значения . распределение :
В частности, стандартная ошибка выборочной статистики (например, выборочного среднего ) — это фактическое или расчетное стандартное отклонение выборочного среднего в процессе, посредством которого оно было создано. Другими словами, это фактическое или предполагаемое стандартное отклонение выборочного распределения выборочной статистики. Обозначением стандартной ошибки может быть любое из SE, SEM (стандартная ошибка измерения или среднего значения ) или SE .
Стандартные ошибки обеспечивают простые меры неопределенности значения и часто используются, потому что:
В научно-технической литературе экспериментальные данные часто обобщаются либо с использованием среднего и стандартного отклонения выборочных данных, либо среднего со стандартной ошибкой. Это часто приводит к путанице в отношении их взаимозаменяемости. Однако среднее значение и стандартное отклонение являются описательной статистикой , тогда как стандартная ошибка среднего описывает процесс случайной выборки. Стандартное отклонение данных выборки представляет собой описание вариации измерений, тогда как стандартная ошибка среднего значения представляет собой вероятностное утверждение о том, как размер выборки обеспечит лучшую оценку оценок среднего значения генеральной совокупности в свете центрального предела. теорема. [8]
Проще говоря, стандартная ошибка выборочного среднего значения — это оценка того, насколько далеко выборочное среднее значение может находиться от среднего значения генеральной совокупности, тогда как стандартное отклонение выборки — это степень, в которой отдельные лица в выборке отличаются от выборочного среднего значения. [9] Если стандартное отклонение генеральной совокупности конечно, стандартная ошибка среднего значения выборки будет стремиться к нулю с увеличением размера выборки, поскольку оценка среднего значения генеральной совокупности улучшится, в то время как стандартное отклонение выборки будет иметь тенденцию приближаться к нулю. стандартное отклонение генеральной совокупности по мере увеличения размера выборки.
Приведенная выше формула стандартной ошибки предполагает, что популяция бесконечна. Тем не менее, его часто используют для конечных популяций, когда люди заинтересованы в измерении процесса, который создал существующую конечную популяцию (это называется аналитическим исследованием ). Хотя приведенная выше формула не совсем правильна, когда популяция конечна, разница между версиями с конечной и бесконечной популяцией будет небольшой, когда доля выборки мала (например, изучается небольшая часть конечной популяции). В этом случае люди часто не делают поправку на конечную популяцию, по сути рассматривая ее как «приблизительно бесконечную» популяцию.
Если кто-то заинтересован в измерении существующей конечной популяции, которая не изменится с течением времени, тогда необходимо внести поправку на размер популяции (так называемое переписное исследование ). Когда доля выборки (часто называемая f ) велика (приблизительно 5% или более) в перечислительном исследовании , оценка стандартной ошибки должна быть скорректирована путем умножения на «конечную популяционную поправку» (также известную как FPC ): [10] [11]
Это происходит в методологии обследования при выборке без замещения . Если выборка с заменой, то FPC в дело не играет.
Если значения измеряемой величины A не являются статистически независимыми, но были получены из известных мест в пространстве параметров x , несмещенная оценка истинной стандартной ошибки среднего значения (фактически поправка на часть стандартного отклонения) может быть получена путем умножения рассчитанная стандартная ошибка выборки по коэффициенту f :