Выборочное среднее и ковариация

Statistics computed from a sample of data

Выборочное среднее ( выборочное среднее ) или эмпирическое среднее ( эмпирическое среднее ), а также выборочная ковариация или эмпирическая ковариация — это статистика , вычисляемая на основе выборки данных по одной или нескольким случайным переменным .

Среднее значение выборки — это среднее значение (или среднее значение ) выборки чисел , взятой из более крупной совокупности чисел, где «популяция» указывает не на количество людей, а на всю совокупность соответствующих данных, независимо от того, собраны они или нет. Для удобства вместо рассмотрения совокупности продаж всех 500 компаний можно использовать выборку продаж 40 компаний из списка Fortune 500 . Среднее значение выборки используется в качестве оценки среднего значения генеральной совокупности, среднего значения во всей совокупности, причем оценка с большей вероятностью будет близка к среднему значению генеральной совокупности, если выборка большая и репрезентативная. Надежность выборочного среднего оценивается с использованием стандартной ошибки , которая, в свою очередь, рассчитывается с использованием дисперсии выборки. Если выборка случайная, стандартная ошибка уменьшается вместе с размером выборки, а распределение выборочного среднего приближается к нормальному распределению по мере увеличения размера выборки.

Термин «выборочное среднее» также может использоваться для обозначения вектора средних значений, когда статистик рассматривает значения нескольких переменных в выборке, например, объем продаж, прибыль и сотрудники выборки компаний из списка Fortune 500. В этом случае существует не просто выборочная дисперсия для каждой переменной, а выборочная дисперсионно-ковариационная матрица (или просто ковариационная матрица ), показывающая также взаимосвязь между каждой парой переменных. Если рассматриваются 3 переменные, это будет матрица 3×3. Ковариация выборки полезна для оценки надежности выборочных средних в качестве оценщика, а также для оценки ковариационной матрицы генеральной совокупности.

Из-за простоты расчета и других желательных характеристик выборочное среднее и выборочная ковариация широко используются в статистике для представления местоположения и дисперсии распределения значений в выборке, а также для оценки значений для генеральной совокупности.

Определение выборочного среднего

Среднее значение выборки — это среднее значение переменной в выборке, которое представляет собой сумму этих значений, деленную на количество значений. Используя математические обозначения, если выборка из N наблюдений по переменной X берется из генеральной совокупности, выборочное среднее будет:

${\displaystyle {\bar {X}}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}.}$

Согласно этому определению, если выборка (1, 4, 1) берется из совокупности (1,1,3,4,0,2,1,0), то среднее значение выборки равно , по сравнению со средним значением генеральной совокупности . Даже если выборка является случайной, она редко бывает абсолютно репрезентативной, и другие выборки будут иметь другие средние выборочные значения, даже если все выборки будут принадлежать к одной и той же совокупности. Например, выборка (2, 1, 0) будет иметь выборочное среднее 1. ${\displaystyle {\bar {x}}=(1+4+1)/3=2}$ ${\displaystyle \mu =(1+1+3+4+0+2+1+0)/8=12/8=1.5}$

Если статистика интересуется K переменными, а не одной, причем каждое наблюдение имеет значение для каждой из этих K переменных, общее выборочное среднее состоит из K выборочных средних для отдельных переменных. Пусть это i- ^е независимо сделанное наблюдение ( i =1,..., N ) для j ^-й случайной величины ( j =1,..., K ). Эти наблюдения могут быть упорядочены в N векторов-столбцов, каждый из которых имеет K записей, причем вектор-столбец K ×1 дает i -е наблюдение всех обозначаемых переменных ( i =1,..., N ). ${\displaystyle x_{ij}}$ ${\displaystyle \mathbf {x} _{i}}$

Выборочный средний вектор представляет собой вектор-столбец, j -й элемент которого является средним значением N наблюдений j ^-й переменной: ${\displaystyle \mathbf {\bar {x}} }$ ${\displaystyle {\bar {x}}_{j}}$

${\displaystyle {\bar {x}}_{j}={\frac {1}{N}}\sum _{i=1}^{N}x_{ij},\quad j=1,\ldots ,K.}$

Таким образом, вектор выборочного среднего содержит среднее значение наблюдений для каждой переменной и записывается

${\displaystyle \mathbf {\bar {x}} ={\frac {1}{N}}\sum _{i=1}^{N}\mathbf {x} _{i}={\begin{bmatrix}{\bar {x}}_{1}\\\vdots \\{\bar {x}}_{j}\\\vdots \\{\bar {x}}_{K}\end{bmatrix}}}$

Определение выборочной ковариации

Выборочная ковариационная матрица представляет собой матрицу K - K с элементами ${\displaystyle \textstyle \mathbf {Q} =\left[q_{jk}\right]}$

${\displaystyle q_{jk}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right),}$

где — оценка ковариации между j - ^й переменной и k ^-й переменной совокупности, лежащей в основе данных. С точки зрения векторов наблюдения выборочная ковариация равна ${\displaystyle q_{jk}}$

${\displaystyle \mathbf {Q} ={1 \over {N-1}}\sum _{i=1}^{N}(\mathbf {x} _{i}.-\mathbf {\bar {x}} )(\mathbf {x} _{i}.-\mathbf {\bar {x}} )^{\mathrm {T} },}$

Альтернативно, расположив векторы наблюдения в виде столбцов матрицы, так что

${\displaystyle \mathbf {F} ={\begin{bmatrix}\mathbf {x} _{1}&\mathbf {x} _{2}&\dots &\mathbf {x} _{N}\end{bmatrix}}}$,

которая представляет собой матрицу из K строк и N столбцов. Здесь выборочная ковариационная матрица может быть вычислена как

${\displaystyle \mathbf {Q} ={\frac {1}{N-1}}(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })^{\mathrm {T} }}$,

где — вектор единиц размером N на 1 . Если наблюдения расположены в виде строк, а не столбцов, то есть теперь это вектор-строка 1 × K и матрица размера N × K , столбец j которой является вектором из N наблюдений над переменной j , тогда применение транспонирования в соответствующих местах дает ${\displaystyle \mathbf {1} _{N}}$ ${\displaystyle \mathbf {\bar {x}} }$ ${\displaystyle \mathbf {M} =\mathbf {F} ^{\mathrm {T} }}$

${\displaystyle \mathbf {Q} ={\frac {1}{N-1}}(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} )^{\mathrm {T} }(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} ).}$

Подобно ковариационным матрицам для случайного вектора , выборочные ковариационные матрицы являются положительно полуопределенными . Для доказательства заметим, что для любой матрицы матрица положительно полуопределена. Более того, ковариационная матрица является положительно определенной тогда и только тогда, когда ранг векторов равен K. ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} ^{T}\mathbf {A} }$ ${\displaystyle \mathbf {x} _{i}.-\mathbf {\bar {x}} }$

Беспристрастность

Выборочное среднее и выборочная ковариационная матрица представляют собой несмещенные оценки среднего и ковариационной матрицы случайного вектора , вектора-строки, j ^-й элемент которого ( j = 1,..., K ) является одной из случайных величин. ^[1] Матрица выборочной ковариации имеет знаменатель, а не из-за варианта поправки Бесселя : Короче говоря, выборочная ковариация зависит от разницы между каждым наблюдением и выборочным средним значением, но выборочное среднее слегка коррелирует с каждым наблюдением, поскольку оно определяется на основе всех наблюдений. Если известно среднее значение совокупности , аналогичная несмещенная оценка ${\displaystyle \textstyle \mathbf {X} }$ ${\displaystyle \textstyle N-1}$ ${\displaystyle \textstyle N}$ ${\displaystyle \operatorname {E} (\mathbf {X} )}$

${\displaystyle q_{jk}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{ij}-\operatorname {E} (X_{j})\right)\left(x_{ik}-\operatorname {E} (X_{k})\right),}$

используя среднее значение генеральной совокупности, имеет в знаменателе. Это пример того, почему в теории вероятности и статистике важно различать случайные величины (заглавные буквы) и реализации случайных величин (строчные буквы). ${\displaystyle \textstyle N}$

Оценка максимального правдоподобия ковариации

${\displaystyle q_{jk}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right)}$

для случая распределения Гаусса также N в знаменателе. Отношение 1/ N к 1/( N  − 1) приближается к 1 для больших  N , поэтому оценка максимального правдоподобия примерно равна несмещенной оценке, когда выборка велика.

Распределение выборочного среднего

Для каждой случайной величины выборочное среднее является хорошей оценкой генерального среднего значения, причем «хорошая» оценка определяется как эффективная и несмещенная. Конечно, оценщик, скорее всего, не будет истинным значением генерального среднего, поскольку разные выборки, взятые из одного и того же распределения, будут давать разные выборочные средние и, следовательно, разные оценки истинного среднего. Таким образом, выборочное среднее является случайной величиной , а не константой и, следовательно, имеет собственное распределение. Для случайной выборки из N наблюдений по j- ^й случайной величине само распределение выборочного среднего имеет среднее значение, равное среднему значению генеральной совокупности, и дисперсию, равную , где - дисперсия генеральной совокупности. ${\displaystyle E(X_{j})}$ ${\displaystyle \sigma _{j}^{2}/N}$ ${\displaystyle \sigma _{j}^{2}}$

Среднее арифметическое населения , или среднее значение населения, часто обозначается μ . ^[2] Выборочное среднее (среднее арифметическое выборки значений, взятых из генеральной совокупности) является хорошей оценкой среднего генеральной совокупности, поскольку ее ожидаемое значение равно среднему генеральной совокупности (то есть это несмещенная оценка ). Среднее значение выборки является случайной величиной , а не константой, поскольку ее расчетное значение будет случайным образом различаться в зависимости от того, какие члены генеральной совокупности отбираются в выборку, и, следовательно, оно будет иметь свое собственное распределение. Для случайной выборки из n независимых наблюдений ожидаемое значение выборочного среднего равно ${\displaystyle {\bar {x}}}$

${\displaystyle \operatorname {E} ({\bar {x}})=\mu }$

а дисперсия выборочного среднего равна

${\displaystyle \operatorname {var} ({\bar {x}})={\frac {\sigma ^{2}}{n}}.}$

Если выборки не независимы, а коррелированы , то необходимо соблюдать особую осторожность, чтобы избежать проблемы псевдорепликации .

Если совокупность распределена нормально , то выборочное среднее обычно распределяется следующим образом:

${\displaystyle {\bar {x}}\thicksim N\left\{\mu ,{\frac {\sigma ^{2}}{n}}\right\}.}$

Если совокупность не имеет нормального распределения, выборочное среднее, тем не менее, имеет приблизительно нормальное распределение, если n велико и  σ2 / n < + ^∞  . Это следствие центральной предельной теоремы .

Взвешенные выборки

Во взвешенной выборке каждому вектору (каждому набору отдельных наблюдений по каждой из K случайных величин) присваивается вес . Без ограничения общности предположим, что веса нормализованы : ${\displaystyle \textstyle {\textbf {x}}_{i}}$ ${\displaystyle \textstyle w_{i}\geq 0}$

${\displaystyle \sum _{i=1}^{N}w_{i}=1.}$

(Если это не так, разделите веса на их сумму). Тогда взвешенный средний вектор определяется выражением ${\displaystyle \textstyle \mathbf {\bar {x}} }$

${\displaystyle \mathbf {\bar {x}} =\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}.}$

а элементы взвешенной ковариационной матрицы равны ^[3] ${\displaystyle q_{jk}}$ ${\displaystyle \textstyle \mathbf {Q} }$

${\displaystyle q_{jk}={\frac {1}{1-\sum _{i=1}^{N}w_{i}^{2}}}\sum _{i=1}^{N}w_{i}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right).}$

Если все веса одинаковы, средневзвешенное значение и ковариация сводятся к (смещенному) выборочному среднему значению и ковариации, упомянутым выше. ${\displaystyle \textstyle w_{i}=1/N}$

Критика

Выборочное среднее и выборочная ковариация не являются надежными статистическими данными , а это означает, что они чувствительны к выбросам . Поскольку надежность часто является желательной характеристикой, особенно в реальных приложениях, желательными могут оказаться надежные альтернативы, в частности статистика на основе квантилей , такая как выборочная медиана для местоположения ^[4] и межквартильный диапазон (IQR) для дисперсии. Другие альтернативы включают обрезку и Winsorising , например, усеченное среднее и Winsorized среднее .

Смотрите также

• Оценка ковариационных матриц
• Матрица рассеяния
• Непредвзятая оценка стандартного отклонения

Рекомендации

1. Ричард Арнольд Джонсон; Дин В. Вичерн (2007). Прикладной многомерный статистический анализ. Пирсон Прентис Холл. ISBN 978-0-13-187715-3. Проверено 10 августа 2012 г.
2. Андерхилл, LG; Брэдфилд Д. (1998) Introstat , Juta and Company Ltd. ISBN 0-7021-3838-X стр. 181 
3. Марк Галасси, Джим Дэвис, Джеймс Тейлер, Брайан Гоф, Джерард Юнгман, Майкл Бут и Фабрис Росси. Научная библиотека GNU — Справочное руководство, версия 2.6, 2021 г. Статистика раздела: Взвешенные выборки
4. Всемирный центр вопросов 2006: Выборочное среднее, Барт Коско