Эффективность (статистика)

Мера качества статистического метода

В статистике эффективность является мерой качества оценщика , экспериментального плана ^[1] или процедуры проверки гипотез . ^[2] По сути, более эффективному оценщику требуется меньше входных данных или наблюдений, чем менее эффективному, чтобы достичь границы Крамера–Рао . Эффективный оценщик характеризуется наличием наименьшей возможной дисперсии , что указывает на то, что существует небольшое отклонение между оценочным значением и «истинным» значением в смысле нормы L2 . ^[1]

Относительная эффективность двух процедур — это отношение их эффективностей, хотя часто это понятие используется, когда сравнение проводится между данной процедурой и условной «наилучшей возможной» процедурой. Эффективности и относительная эффективность двух процедур теоретически зависят от размера выборки, доступной для данной процедуры, но часто можно использовать асимптотическую относительную эффективность (определяемую как предел относительной эффективности при увеличении размера выборки) в качестве основной меры сравнения.

Оценщики

Эффективность несмещенной оценки T параметра θ определяется как [ ³ ]

${\displaystyle e(T)={\frac {1/{\mathcal {I}}(\theta )}{\operatorname {var} (T)}}}$

где — информация Фишера выборки. Таким образом, e ( T ) — это минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Граница Крамера–Рао может быть использована для доказательства того, что e ( T ) ≤ 1. ${\displaystyle {\mathcal {I}}(\theta )}$

Эффективные оценщики

Эффективный оценщик — это оценщик , который оценивает интересующую величину некоторым «наилучшим возможным» способом. Понятие «наилучшего возможного» основано на выборе конкретной функции потерь — функции, которая количественно определяет относительную степень нежелательности ошибок оценки различных величин. Наиболее распространенный выбор функции потерь — квадратичный , что приводит к критерию оптимальности среднеквадратичной ошибки . ^[4]

В общем случае разброс оценщика вокруг параметра θ является мерой эффективности и производительности оценщика. Эта производительность может быть рассчитана путем нахождения среднеквадратической ошибки. Более формально, пусть T будет оценщиком для параметра θ . Среднеквадратическая ошибка T — это значение , которое можно разложить на сумму его дисперсии и смещения: ${\displaystyle \operatorname {MSE} (T)=E[(T-\theta )^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {MSE} (T)&=\operatorname {E} [(T-\theta )^{2}]=\operatorname {E} [(T-\operatorname {E} [T]+\operatorname {E} [T]-\theta )^{2}]\\[5pt]&=\operatorname {E} [(T-\operatorname {E} [T])^{2}]+2E[T-E[T]](\operatorname {E} [T]-\theta )+(\operatorname {E} [T]-\theta )^{2}\\[5pt]&=\operatorname {var} (T)+(\operatorname {E} [T]-\theta )^{2}\end{aligned}}}$

Оценщик T ₁ работает лучше, чем оценщик T ₂ , если . ^[5] Для более конкретного случая, если T ₁ и T ₂ являются двумя несмещенными оценщиками для одного и того же параметра θ, то дисперсию можно сравнить, чтобы определить производительность. В этом случае T 2 эффективнее T ₁ , если дисперсия _T 2 меньше _{дисперсии} T 1 , _т.е. для всех значений θ . Это соотношение можно определить, упростив более общий случай выше для среднеквадратичной ошибки; поскольку ожидаемое значение несмещенного оценщика равно значению параметра, . Следовательно, для несмещенного оценщика, , поскольку член выпадает при равенстве 0. ^[5] ${\displaystyle \operatorname {MSE} (T_{1})<\operatorname {MSE} (T_{2})}$ ${\displaystyle \operatorname {var} (T_{1})>\operatorname {var} (T_{2})}$ ${\displaystyle \operatorname {E} [T]=\theta }$ ${\displaystyle \operatorname {MSE} (T)=\operatorname {var} (T)}$ ${\displaystyle (\operatorname {E} [T]-\theta )^{2}}$

Если несмещенная оценка параметра θ достигается для всех значений параметра, то оценка называется эффективной. ^[3] ${\displaystyle e(T)=1}$

Эквивалентно, оценщик достигает равенства в неравенстве Крамера–Рао для всех θ . Нижняя граница Крамера–Рао — это нижняя граница дисперсии несмещенной оценки, представляющая «лучшее», каким может быть несмещенная оценка.

Эффективная оценка также является минимальной дисперсионной несмещенной оценкой (MVUE). Это происходит потому, что эффективная оценка поддерживает равенство по неравенству Крамера–Рао для всех значений параметров, что означает, что она достигает минимальной дисперсии для всех параметров (определение MVUE). Оценка MVUE, даже если она существует, не обязательно эффективна, потому что «минимум» не означает, что равенство выполняется по неравенству Крамера–Рао.

Таким образом, эффективная оценка не обязательно должна существовать, но если она есть, то это MVUE.

Эффективность конечной выборки

Предположим, что { P _θ | θ ∈ Θ } — параметрическая модель , а X = ( X ₁ , …, X _n ) — данные, выбранные из этой модели. Пусть T = T ( X ) — оценщик для параметра θ . Если этот оценщик несмещен (то есть E[  T  ] = θ ), то неравенство Крамера–Рао утверждает, что дисперсия этого оценщика ограничена снизу:

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

где — информационная матрица Фишера модели в точке θ . Обычно дисперсия измеряет степень дисперсии случайной величины вокруг ее среднего значения. Таким образом, оценщики с малыми дисперсиями более сконцентрированы, они точнее оценивают параметры. Мы говорим, что оценщик является эффективным оценщиком конечной выборки (в классе несмещенных оценщиков), если он достигает нижней границы в неравенстве Крамера–Рао выше для всех θ ∈ Θ . Эффективные оценщики всегда являются несмещенными оценщиками с минимальной дисперсией . Однако обратное утверждение неверно: существуют задачи точечной оценки, для которых несмещенный оценщик со средним минимальным дисперсией неэффективен. ^[6] ${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$

Исторически эффективность конечной выборки была ранним критерием оптимальности. Однако этот критерий имеет некоторые ограничения:

• Эффективные оценки конечной выборки встречаются крайне редко. Фактически, было доказано, что эффективная оценка возможна только в экспоненциальном семействе и только для натуральных параметров этого семейства. ^[7]
• Это понятие эффективности иногда ограничивается классом несмещенных оценщиков. (Часто это не так. ^[8] ) Поскольку нет веских теоретических причин требовать, чтобы оценщики были несмещенными, это ограничение неудобно. Фактически, если мы используем среднеквадратичную ошибку в качестве критерия выбора, многие смещенные оценщики будут немного превосходить «лучшие» несмещенные. Например, в многомерной статистике для измерения три или более, среднее-несмещенное оценщик, выборочное среднее , недопустимо : независимо от результата, его производительность хуже, чем, например, у оценщика Джеймса–Стейна . ^{[ требуется ссылка ]}
• Эффективность конечной выборки основана на дисперсии как критерии, по которому оцениваются оценщики. Более общий подход заключается в использовании функций потерь, отличных от квадратичных, в этом случае эффективность конечной выборки больше не может быть сформулирована. ^{[ необходима цитата ] [ сомнительно – обсудить ]}

Например, среди моделей, встречающихся на практике, существуют эффективные оценки для: среднего значения μ нормального распределения (но не дисперсии σ2 ⁾ , параметра λ распределения Пуассона , вероятности p в биномиальном или полиномиальном распределении .

Рассмотрим модель нормального распределения с неизвестным средним значением, но известной дисперсией: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Данные состоят из n независимых и одинаково распределенных наблюдений из этой модели: X = ( x ₁ , …, x _n ) . Мы оцениваем параметр θ, используя выборочное среднее значение всех наблюдений:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

Эта оценка имеет среднее значение θ и дисперсию σ ²  /  n , которая равна обратной величине информации Фишера из выборки. Таким образом, выборочное среднее значение является эффективной оценкой для конечной выборки для среднего значения нормального распределения.

Асимптотическая эффективность

Асимптотическая эффективность требует согласованности (статистики) , асимптотического нормального распределения оценки и асимптотической дисперсионно-ковариационной матрицы не хуже, чем у любой другой оценки. ^[9]

Пример: Медиана

Рассмотрим выборку размера, полученную из нормального распределения среднего значения и единичной дисперсии , т. е. ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

Выборочное среднее значение , , выборки , определяется как ${\displaystyle {\overline {X}}}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

Дисперсия среднего значения, 1/ N (квадрат стандартной ошибки ), равна обратной величине информации Фишера из выборки, и, таким образом, по неравенству Крамера–Рао , выборочное среднее значение эффективно в том смысле, что его эффективность равна единице (100%).

Теперь рассмотрим медиану выборки , . Это несмещенная и последовательная оценка для . Для больших медиана выборки приблизительно нормально распределена со средним значением и дисперсией ^[10] ${\displaystyle {\widetilde {X}}}$ ${\displaystyle \mu }$ ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle {\pi }/{2N},}$

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

Эффективность медианы для больших значений , таким образом, равна ${\displaystyle N}$

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

Другими словами, относительная дисперсия медианы будет на 57% больше, чем дисперсия среднего значения – стандартная ошибка медианы будет на 25% больше, чем у среднего значения. ^[11] ${\displaystyle \pi /2\approx 1.57}$

Обратите внимание, что это асимптотическая эффективность — то есть эффективность в пределе, когда размер выборки стремится к бесконечности. Для конечных значений эффективность выше этого (например, размер выборки 3 дает эффективность около 74%). ^{[ необходима цитата ]} ${\displaystyle N}$ ${\displaystyle N,}$

Таким образом, в этом примере выборочное среднее значение более эффективно, чем выборочная медиана. Однако могут быть меры, по которым медиана работает лучше. Например, медиана гораздо более устойчива к выбросам , так что если гауссовская модель сомнительна или приблизительна, могут быть преимущества в использовании медианы (см. Надежная статистика ).

Доминирующие оценщики

Если и являются оценками для параметра , то говорят, что доминируют, если: ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$ ${\displaystyle \theta }$ ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. его средняя квадратическая ошибка (MSE) меньше, по крайней мере, для некоторого значения ${\displaystyle \theta }$
2. СКО не превышает значения для любого значения θ. ${\displaystyle T_{2}}$

Формально доминирует , если ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

справедливо для всех , причем где-то выполняется строгое неравенство. ${\displaystyle \theta }$

Относительная эффективность

Относительная эффективность двух несмещенных оценок определяется как ^[12]

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Хотя в целом является функцией , во многих случаях зависимость пропадает; если это так, то значение больше единицы будет указывать на то, что оно предпочтительнее, независимо от истинного значения . ${\displaystyle e}$ ${\displaystyle \theta }$ ${\displaystyle e}$ ${\displaystyle T_{1}}$ ${\displaystyle \theta }$

Альтернативой относительной эффективности для сравнения оценщиков является критерий близости Питмана . Он заменяет сравнение среднеквадратических ошибок сравнением того, как часто один оценщик выдает оценки, более близкие к истинному значению, чем другой оценщик.

Оценки среднего значения переменных uid

При оценке среднего значения некоррелированных, одинаково распределенных переменных мы можем воспользоваться тем фактом, что дисперсия суммы является суммой дисперсий . В этом случае эффективность может быть определена как квадрат коэффициента вариации , т.е. ^[13]

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

Относительную эффективность двух таких оценок можно, таким образом, интерпретировать как относительный размер выборки одной, необходимый для достижения уверенности другой. Доказательство:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Теперь, поскольку у нас есть , относительная эффективность выражает относительный размер выборки первой оценки, необходимый для соответствия дисперсии второй. ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$ ${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

Надежность

Эффективность оценщика может значительно измениться, если распределение изменится, часто упав. Это одна из мотиваций надежной статистики — оценщик, такой как выборочное среднее, является эффективным оценщиком среднего значения популяции нормального распределения, например, но может быть неэффективным оценщиком распределения смеси двух нормальных распределений с одинаковым средним значением и разными дисперсиями. Например, если распределение представляет собой комбинацию 98% N ( μ, σ ) и 2% N ( μ, 10 σ ), наличие экстремальных значений из последнего распределения (часто «загрязняющих выбросов») значительно снижает эффективность выборочного среднего как оценщика μ. Напротив, усеченное среднее менее эффективно для нормального распределения, но более надежно (т. е. менее подвержено влиянию) изменений в распределении и, таким образом, может быть более эффективным для распределения смеси. Аналогично, форма распределения , такая как асимметрия или тяжелые хвосты , может значительно снизить эффективность оценок, которые предполагают симметричное распределение или тонкие хвосты.

Использование неэффективных оценщиков

Хотя эффективность является желательным качеством оценщика, ее необходимо сопоставлять с другими соображениями, и оценщик, который эффективен для определенных распределений, может быть неэффективен для других распределений. Что наиболее важно, оценщики, которые эффективны для чистых данных из простого распределения, такого как нормальное распределение (которое является симметричным, унимодальным и имеет тонкие хвосты), могут быть неустойчивы к загрязнению выбросами и могут быть неэффективны для более сложных распределений. В надежной статистике большее значение придается надежности и применимости к широкому спектру распределений, а не эффективности для одного распределения. M-оценщики представляют собой общий класс оценщиков, мотивированных этими проблемами. Они могут быть разработаны для обеспечения как надежности, так и высокой относительной эффективности, хотя, возможно, и более низкой эффективности, чем традиционные оценщики в некоторых случаях. Однако они могут быть очень вычислительно сложными.

Более традиционной альтернативой являются L-оценщики , которые являются очень простой статистикой, которую легко вычислять и интерпретировать, во многих случаях надежны и часто достаточно эффективны для первоначальных оценок. См. применение L-оценщиков для дальнейшего обсуждения.

Эффективность в статистике

Эффективность в статистике важна, поскольку она позволяет сравнивать производительность различных оценщиков. Хотя несмещенная оценка обычно предпочтительнее смещенной, более эффективная смещенная оценка иногда может быть более ценной, чем менее эффективная несмещенная оценка. Например, это может произойти, когда значения смещенной оценки собираются вокруг числа, более близкого к истинному значению. Таким образом, производительность оценщика можно легко предсказать, сравнивая их среднеквадратичные ошибки или дисперсии.

Проверка гипотез

Для сравнения значимости тестов значимая мера эффективности может быть определена на основе размера выборки, необходимого для того, чтобы тест достиг заданной мощности задачи . ^[14]

Эффективность Питмана ^[15] и эффективность Бахадура (или эффективность Ходжеса–Лемана) ^{[16] [17] [18]} относятся к сравнению производительности процедур проверки статистических гипотез .

Экспериментальный дизайн

Для экспериментальных проектов эффективность относится к способности проекта достигать цели исследования с минимальными затратами ресурсов, таких как время и деньги. В простых случаях относительная эффективность проектов может быть выражена как отношение размеров выборки, необходимых для достижения данной цели. ^[19]

Смотрите также

• Байесовский оценщик
• Последовательный оценщик
• Оценка Ходжеса
• Оптимальные инструменты

Примечания

1. Эверитт 2002, стр. 128.
2. Никулин, М.С. (2001) [1994], «Эффективность статистической процедуры», Энциклопедия математики , EMS Press
3. Фишер, Р. (1921). «О математических основах теоретической статистики». Philosophical Transactions of the Royal Society of London A. 222 : 309–368. JSTOR  91208.
4. Эверитт 2002, стр. 128.
5. Dekking, FM (2007). Современное введение в вероятность и статистику: понимание почему и как . Springer. стр. 303–305. ISBN 978-1852338961.
6. Романо, Джозеф П.; Сигел, Эндрю Ф. (1986). Контрпримеры в теории вероятностей и статистике . Чепмен и Холл. стр. 194.
7. Ван Трис, Гарри Л. (2013). Оценка обнаружения и теория модуляции. Кристин Л. Белл, Чжи Тянь (Второе изд.). Хобокен, Нью-Джерси ISBN 978-1-299-66515-6. OCLC  851161356.{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
8. ДеГрут; Шервиш (2002). Вероятность и статистика (3-е изд.). С. 440–441.
9. Грин, Уильям Х. (2012). Эконометрический анализ (7-е изд., международное изд.). Бостон: Pearson. ISBN 978-0-273-75356-8. OCLC  726074601.
10. Уильямс, Д. (2001). Взвешивание шансов . Cambridge University Press. стр. 165. ISBN 052100618X.
11. Maindonald, John; Braun, W. John (2010-05-06). Анализ данных и графика с использованием R: подход на основе примеров. Cambridge University Press. стр. 104. ISBN 978-1-139-48667-5.
12. Wackerly, Dennis D.; Mendenhall, William; Scheaffer, Richard L. (2008). Математическая статистика с приложениями (седьмое изд.). Belmont, CA: Thomson Brooks/Cole. стр. 445. ISBN 9780495110811. OCLC  183886598.
13. Граббс, Фрэнк (1965). Статистические меры точности для стрелков и инженеров-ракетчиков . С. 26–27.
14. Эверитт 2002, стр. 321.
15. Никитин, Я.Ю. (2001) [1994], "Эффективность, асимптотика", Энциклопедия математики , Издательство ЭМС
16. «Эффективность Бахадура — Энциклопедия математики».
17. Арконес М.А. "Эффективность теста отношения правдоподобия Бахадура" препринт
18. Canay IA & Otsu, T. «Оптимальность Ходжеса–Лемана для тестирования моделей моментных условий»
19. Додж, Y. (2006). Оксфордский словарь статистических терминов . Oxford University Press. ISBN 0-19-920613-9.

Ссылки

• Эверитт, Брайан С. (2002). Кембриджский словарь статистики . Издательство Кембриджского университета. ISBN 0-521-81099-X.
• Леманн, Эрих Л. (1998). Элементы теории больших выборок . Нью-Йорк: Springer Verlag. ISBN 978-0-387-98595-4.

Дальнейшее чтение

• Леманн, Э. Л .; Каселла, Г. (1998). Теория точечной оценки (2-е изд.). Springer. ISBN 0-387-98502-6.
• Пфанцагль, Иоганн ; при содействии Р. Хамбокера (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 3-11-013863-8. МР  1291393.