Объединенная дисперсия

Метод оценки дисперсии нескольких различных популяций

В статистике объединенная дисперсия (также известная как комбинированная дисперсия , составная дисперсия или общая дисперсия и написанная как ) — это метод оценки дисперсии нескольких различных совокупностей, когда среднее значение каждой совокупности может быть разным , но можно предположить, что дисперсия каждой совокупности одинакова. Численная оценка, полученная в результате использования этого метода, также называется объединенной дисперсией. ${\displaystyle \sigma ^{2}}$

При условии равных дисперсий совокупности объединенная выборочная дисперсия обеспечивает более высокую точность оценки дисперсии, чем индивидуальные выборочные дисперсии. Эта более высокая точность может привести к увеличению статистической мощности при использовании в статистических тестах , сравнивающих совокупности, таких как t -тест .

Квадратный корень из объединенной оценки дисперсии известен как объединенное стандартное отклонение (также известное как объединенное стандартное отклонение , составное стандартное отклонение или общее стандартное отклонение ).

Мотивация

В статистике часто собираются данные для зависимой переменной y в диапазоне значений независимой переменной x . Например, наблюдение за расходом топлива может изучаться как функция скорости двигателя, в то время как нагрузка на двигатель остается постоянной. Если для достижения небольшой дисперсии y требуется множество повторных испытаний при каждом значении x , стоимость испытаний может стать непомерной. Разумные оценки дисперсии можно определить, используя принцип объединенной дисперсии после повторения каждого испытания при определенном x всего несколько раз.

Определение и расчет

Объединенная дисперсия представляет собой оценку фиксированной общей дисперсии, лежащей в основе различных совокупностей, имеющих разные средние значения. ${\displaystyle \sigma ^{2}}$

Нам дан набор выборочных дисперсий , где популяции индексированы , ${\displaystyle s_{i}^{2}}$ ${\displaystyle i=1,\ldots ,m}$

${\displaystyle s_{i}^{2}}$= ${\displaystyle {\frac {1}{n_{i}-1}}\sum _{j=1}^{n_{i}}\left(y_{i,j}-{\overline {y}}_{i}\right)^{2}.}$

Предполагая, что размеры выборки одинаковы , объединенную дисперсию можно вычислить с помощью среднего арифметического : ${\displaystyle n_{i}=n}$ ${\displaystyle s_{p}^{2}}$

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{m}s_{i}^{2}}{m}}={\frac {s_{1}^{2}+s_{2}^{2}+\cdots +s_{m}^{2}}{m}}.}$

Если размеры выборки неравномерны, то объединенную дисперсию можно вычислить с помощью средневзвешенного значения , используя в качестве весов соответствующие степени свободы (см. также: поправка Бесселя ): ${\displaystyle s_{p}^{2}}$ ${\displaystyle w_{i}=n_{i}-1}$

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{m}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{m}(n_{i}-1)}}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}+\cdots +(n_{m}-1)s_{m}^{2}}{n_{1}+n_{2}+\cdots +n_{m}-m}}.}$

Распределение равно . ${\displaystyle s_{p}^{2}/\sigma ^{2}}$ ${\displaystyle \chi ^{2}(\sum _{i}n_{i}-m)}$

Доказательство. Когда есть одно среднее, распределение является гауссовым в , -мерном симплексе, со стандартным отклонением . Когда есть несколько средних, распределение является гауссовым в . ${\displaystyle (y_{1}-{\bar {y}},\dots ,y_{n}-{\bar {y}})}$ ${\displaystyle \Delta _{n-1}}$ ${\displaystyle (n-1)}$ ${\displaystyle \sigma }$ ${\displaystyle (y_{1,1}-{\bar {y}}_{1},\dots ,y_{1,n_{1}}-{\bar {y}}_{1},\dots ,y_{m,1}-{\bar {y}}_{m},\dots ,y_{m,n_{m}}-{\bar {y}}_{m})}$ ${\displaystyle \Delta _{n_{1}-1}\times \dots \times \Delta _{n_{m}-1}}$

Варианты

Несмещенная оценка наименьших квадратов (как представлено выше) и смещенная оценка максимального правдоподобия ниже: ${\displaystyle \sigma ^{2}}$

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{N}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{N}n_{i}}},}$

используются в разных контекстах. ^{[ необходима цитата ]} Первый может дать несмещенную оценку , когда две группы разделяют равную дисперсию популяции. Последний может дать более эффективную оценку , хотя и подвержен смещению. Обратите внимание, что величины в правых частях обоих уравнений являются несмещенными оценками. ${\displaystyle s_{p}^{2}}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle s_{p}^{2}}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle s_{i}^{2}}$

Пример

Рассмотрим следующий набор данных для y, полученных на различных уровнях независимой переменной  x .

Количество испытаний, среднее значение, дисперсия и стандартное отклонение представлены в следующей таблице.

Эти статистики представляют дисперсию и стандартное отклонение для каждого подмножества данных на различных уровнях x . Если мы можем предположить, что одни и те же явления генерируют случайную ошибку на каждом уровне x , то приведенные выше данные можно «объединить» для выражения единой оценки дисперсии и стандартного отклонения. В некотором смысле это предполагает нахождение средней дисперсии или стандартного отклонения среди пяти приведенных выше результатов. Эта средняя дисперсия вычисляется путем взвешивания отдельных значений с размером подмножества для каждого уровня x . Таким образом, объединенная дисперсия определяется как

${\displaystyle s_{p}^{2}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}+\cdots +(n_{k}-1)s_{k}^{2}}{(n_{1}-1)+(n_{2}-1)+\cdots +(n_{k}-1)}}}$

где n ₁ , n ₂ , . . ., n _k — размеры подмножеств данных на каждом уровне переменной x , а s ₁ ² , s ₂ ² , . . ., s _k ² — их соответствующие дисперсии.

Таким образом, объединенная дисперсия данных, показанных выше, составляет:

${\displaystyle s_{p}^{2}=2.764\,}$

Влияние на точность

Объединенная дисперсия является оценкой, когда между объединенными наборами данных существует корреляция или среднее значение наборов данных не идентично. Объединенная дисперсия менее точна, чем больше ненулевая корреляция или чем больше удалены средние значения между наборами данных.

Вариация данных для непересекающихся наборов данных составляет:

${\displaystyle \sigma _{X}^{2}={\frac {\sum _{i}\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]-\left[\sum _{i}N_{X_{i}}\right]\mu _{X}^{2}}{\sum _{i}N_{X_{i}}-1}}}$

где среднее значение определяется как:

${\displaystyle \mu _{X}={\frac {\sum _{i}N_{X_{i}}\mu _{X_{i}}}{\sum _{i}N_{X_{i}}}}}$

Учитывая смещенное максимальное правдоподобие, определяемое как:

${\displaystyle s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}n_{i}}},}$

Тогда ошибка в смещенной оценке максимального правдоподобия равна:

${\displaystyle {\begin{aligned}{\text{Error}}&=s_{p}^{2}-\sigma _{X}^{2}\\[6pt]&={\frac {\sum _{i}(N_{X_{i}}-1)s_{i}^{2}}{\sum _{i}N_{X_{i}}}}-{\frac {1}{\sum _{i}N_{X_{i}}-1}}\left(\sum _{i}\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]-\left[\sum _{i}N_{X_{i}}\right]\mu _{X}^{2}\right)\end{aligned}}}$

Предположим, что N велико, так что:

${\displaystyle \sum _{i}N_{X_{i}}\approx \sum _{i}N_{X_{i}}-1}$

Тогда ошибка в оценке уменьшается до:

${\displaystyle {\begin{aligned}E&=-{\frac {\left(\sum _{i}\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]-\left[\sum _{i}N_{X_{i}}\right]\mu _{X}^{2}\right)}{\sum _{i}N_{X_{i}}}}\\[3pt]&=\mu _{X}^{2}-{\frac {\sum _{i}\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}{\sum _{i}N_{X_{i}}}}\end{aligned}}}$

Или альтернативно:

${\displaystyle {\begin{aligned}E&=\left[{\frac {\sum _{i}N_{X_{i}}\mu _{X_{i}}}{\sum _{i}N_{X_{i}}}}\right]^{2}-{\frac {\sum _{i}\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}{\sum _{i}N_{X_{i}}}}\\[3pt]&={\frac {\left[\sum _{i}N_{X_{i}}\mu _{X_{i}}\right]^{2}-\sum _{i}N_{X_{i}}\sum _{i}\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}{\left[\sum _{i}N_{X_{i}}\right]^{2}}}\end{aligned}}}$

Агрегация данных стандартного отклонения

Вместо оценки объединенного стандартного отклонения можно использовать следующий способ точного агрегирования стандартного отклонения при наличии дополнительной статистической информации.

Статистика по населению

Популяции наборов, которые могут перекрываться, можно просто рассчитать следующим образом:

${\displaystyle {\begin{aligned}&&N_{X\cup Y}&=N_{X}+N_{Y}-N_{X\cap Y}\\\end{aligned}}}$

Популяции наборов, которые не перекрываются, можно просто рассчитать следующим образом:

${\displaystyle {\begin{aligned}X\cap Y=\varnothing &\Rightarrow &N_{X\cap Y}&=0\\&\Rightarrow &N_{X\cup Y}&=N_{X}+N_{Y}\end{aligned}}}$

Стандартные отклонения неперекрывающихся ( X ∩ Y = ∅ ) субпопуляций можно агрегировать следующим образом, если известны размер (фактический или относительный друг к другу) и средние значения каждой из них:

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {N_{X}\mu _{X}+N_{Y}\mu _{Y}}{N_{X}+N_{Y}}}\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {N_{X}\sigma _{X}^{2}+N_{Y}\sigma _{Y}^{2}}{N_{X}+N_{Y}}}+{\frac {N_{X}N_{Y}}{(N_{X}+N_{Y})^{2}}}(\mu _{X}-\mu _{Y})^{2}}}\end{aligned}}}$

Например, предположим, что известно, что средний рост американского мужчины составляет 70 дюймов со стандартным отклонением в три дюйма, а средний рост американской женщины составляет 65 дюймов со стандартным отклонением в два дюйма. Также предположим, что количество мужчин N равно количеству женщин. Тогда среднее значение и стандартное отклонение роста взрослых американцев можно рассчитать как

${\displaystyle {\begin{aligned}\mu &={\frac {N\cdot 70+N\cdot 65}{N+N}}={\frac {70+65}{2}}=67.5\\[3pt]\sigma &={\sqrt {{\frac {3^{2}+2^{2}}{2}}+{\frac {(70-65)^{2}}{2^{2}}}}}={\sqrt {12.75}}\approx 3.57\end{aligned}}}$

Для более общего случая M неперекрывающихся популяций, X ₁ через X _M , и совокупной популяции , ${\textstyle X\,=\,\bigcup _{i}X_{i}}$

${\displaystyle {\begin{aligned}\mu _{X}&={\frac {\sum _{i}N_{X_{i}}\mu _{X_{i}}}{\sum _{i}N_{X_{i}}}}\\[3pt]\sigma _{X}&={\sqrt {{\frac {\sum _{i}N_{X_{i}}\sigma _{X_{i}}^{2}}{\sum _{i}N_{X_{i}}}}+{\frac {\sum _{i<j}N_{X_{i}}N_{X_{j}}(\mu _{X_{i}}-\mu _{X_{j}})^{2}}{{\big (}\sum _{i}N_{X_{i}}{\big )}^{2}}}}}\end{aligned}}}$,

где

${\displaystyle X_{i}\cap X_{j}=\varnothing ,\quad \forall \ i<j.}$

Если известны размер (фактический или относительный друг к другу), среднее значение и стандартное отклонение двух перекрывающихся популяций, а также их пересечение, то стандартное отклонение общей популяции все равно можно рассчитать следующим образом:

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}-N_{X\cap Y}\mu _{X\cap Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {1}{N_{X\cup Y}}}\left(N_{X}[\sigma _{X}^{2}+\mu _{X}^{2}]+N_{Y}[\sigma _{Y}^{2}+\mu _{Y}^{2}]-N_{X\cap Y}[\sigma _{X\cap Y}^{2}+\mu _{X\cap Y}^{2}]\right)-\mu _{X\cup Y}^{2}}}\end{aligned}}}$

Если два или более наборов данных суммируются по точкам, то стандартное отклонение результата можно рассчитать, если известны стандартное отклонение каждого набора данных и ковариация между каждой парой наборов данных:

${\displaystyle \sigma _{X}={\sqrt {\sum _{i}{\sigma _{X_{i}}^{2}}+2\sum _{i,j}\operatorname {cov} (X_{i},X_{j})}}}$

Для особого случая, когда между любой парой наборов данных не существует корреляции, отношение сводится к квадратному корню суммы квадратов:

${\displaystyle {\begin{aligned}&\operatorname {cov} (X_{i},X_{j})=0,\quad \forall i<j\\\Rightarrow &\;\sigma _{X}={\sqrt {\sum _{i}{\sigma _{X_{i}}^{2}}}}.\end{aligned}}}$

Статистика на основе выборки

Стандартные отклонения неперекрывающихся ( X ∩ Y = ∅ ) подвыборок можно агрегировать следующим образом, если известны фактический размер и средние значения каждой из них:

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {1}{N_{X\cup Y}-1}}\left([N_{X}-1]\sigma _{X}^{2}+N_{X}\mu _{X}^{2}+[N_{Y}-1]\sigma _{Y}^{2}+N_{Y}\mu _{Y}^{2}-[N_{X}+N_{Y}]\mu _{X\cup Y}^{2}\right)}}\end{aligned}}}$

Для более общего случая M неперекрывающихся наборов данных, от X ₁ до X _M , и совокупного набора данных , ${\textstyle X\,=\,\bigcup _{i}X_{i}}$

${\displaystyle {\begin{aligned}\mu _{X}&={\frac {1}{\sum _{i}{N_{X_{i}}}}}\left(\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right)\\[3pt]\sigma _{X}&={\sqrt {{\frac {1}{\sum _{i}{N_{X_{i}}-1}}}\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}}\end{aligned}}}$

где

${\displaystyle X_{i}\cap X_{j}=\varnothing ,\quad \forall i<j.}$

Если известны размер, среднее значение и стандартное отклонение двух перекрывающихся выборок, а также их пересечение, то стандартное отклонение агрегированной выборки все еще можно рассчитать. В общем,

${\displaystyle {\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}-N_{X\cap Y}\mu _{X\cap Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {\frac {[N_{X}-1]\sigma _{X}^{2}+N_{X}\mu _{X}^{2}+[N_{Y}-1]\sigma _{Y}^{2}+N_{Y}\mu _{Y}^{2}-[N_{X\cap Y}-1]\sigma _{X\cap Y}^{2}-N_{X\cap Y}\mu _{X\cap Y}^{2}-[N_{X}+N_{Y}-N_{X\cap Y}]\mu _{X\cup Y}^{2}}{N_{X\cup Y}-1}}}\end{aligned}}}$

Смотрите также

• Распределение хи-квадрат#Асимптотические свойства
• Используется для расчета d Коэна (величина эффекта)
• Распределение выборочной дисперсии
• Объединенная ковариационная матрица
• Объединенная степень свободы
• Объединенное среднее

Ссылки

• Killeen PR (май 2005 г.). «Альтернатива тестам значимости нулевой гипотезы». Psychol Sci . 16 (5): 345–53. doi :10.1111/j.0956-7976.2005.01538.x. PMC  1473027. PMID  15869691 .

Внешние ссылки

• Золотая книга ИЮПАК – объединенное стандартное отклонение
• [1]
• – также ссылаясь на d Коэна (на странице 6)