Эффективность (статистика)

Мера качества статистического метода

В статистике эффективность является мерой качества оценщика , плана эксперимента [ 1 ^] или процедуры проверки гипотезы . ^[2] По сути, более эффективный оценщик требует меньше входных данных или наблюдений, чем менее эффективный, чтобы достичь границы Крамера-Рао . Эффективная оценка характеризуется наименьшей возможной дисперсией , что указывает на небольшое отклонение между оцененным значением и «истинным» значением в смысле нормы L2 . ^[1]

Относительная эффективность двух процедур представляет собой соотношение их эффективности, хотя часто эта концепция используется там, где проводится сравнение данной процедуры и условно «наилучшей возможной» процедуры. Эффективность и относительная эффективность двух процедур теоретически зависят от размера выборки, доступной для данной процедуры, но часто можно использовать асимптотическую относительную эффективность (определяемую как предел относительной эффективности при увеличении размера выборки) в качестве основного параметра. мера сравнения.

Оценщики

Эффективность несмещенной оценки T параметра θ определяется как ^[ 3 ]

${\displaystyle e(T)={\frac {1/{\mathcal {I}}(\theta )}{\operatorname {var} (T)}}}$

где – информация Фишера образца. Таким образом, e ( T ) — это минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Границу Крамера –Рао можно использовать, чтобы доказать, что e ( T ) ≤ 1. ${\displaystyle {\mathcal {I}}(\theta )}$

Эффективные оценщики

Эффективный оценщик — это оценщик , который оценивает интересующую величину каким-то «наилучшим возможным» способом. Понятие «наилучшее возможное» основано на выборе конкретной функции потерь — функции, которая количественно определяет относительную степень нежелательности ошибок оценки различной величины. Наиболее распространенным выбором функции потерь является квадратичная функция , что приводит к критерию оптимальности среднеквадратической ошибки . ^[4]

В общем, разброс оценщика вокруг параметра θ является мерой эффективности и производительности оценщика. Эту производительность можно рассчитать, найдя среднеквадратическую ошибку. Более формально, пусть T будет оценкой параметра θ . Среднеквадратическая ошибка T — это значение , которое можно разложить как сумму его дисперсии и смещения: ${\displaystyle \operatorname {MSE} (T)=E[(T-\theta )^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {MSE} (T)&=\operatorname {E} [(T-\theta )^{2}]=\operatorname {E} [(T-\operatorname {E} [T]+\operatorname {E} [T]-\theta )^{2}]\\[5pt]&=\operatorname {E} [(T-\operatorname {E} [T])^{2}]+2E[T-E[T]](\operatorname {E} [T]-\theta )+(\operatorname {E} [T]-\theta )^{2}\\[5pt]&=\operatorname {var} (T)+(\operatorname {E} [T]-\theta )^{2}\end{aligned}}}$

Оценка T ₁ работает лучше, чем оценка T _2, если . ^[5] В более конкретном случае, если T ₁ и T ₂ являются двумя несмещенными оценками для одного и того же параметра θ, то дисперсию можно сравнить для определения производительности. В этом случае T ₂ более эффективен , чем T ₁ , если дисперсия T ₂ меньше дисперсии T ₁ , т.е. для всех значений θ . Эту взаимосвязь можно определить путем упрощения приведенного выше более общего случая среднеквадратичной ошибки; поскольку ожидаемое значение несмещенной оценки равно значению параметра, . Следовательно, для несмещенной оценки , поскольку член выпадает из-за того, что он равен 0. ^[5] ${\displaystyle \operatorname {MSE} (T_{1})<\operatorname {MSE} (T_{2})}$ ${\displaystyle \operatorname {var} (T_{1})>\operatorname {var} (T_{2})}$ ${\displaystyle \operatorname {E} [T]=\theta }$ ${\displaystyle \operatorname {MSE} (T)=\operatorname {var} (T)}$ ${\displaystyle (\operatorname {E} [T]-\theta )^{2}}$

Если несмещенная оценка параметра θ достигается для всех значений параметра, то такая оценка называется эффективной. ^[3] ${\displaystyle e(T)=1}$

Эквивалентно, средство оценки достигает равенства в неравенстве Крамера – Рао для всех θ . Нижняя граница Крамера -Рао представляет собой нижнюю границу дисперсии несмещенной оценки, представляющую «лучшее», чем может быть несмещенная оценка.

Эффективная оценка также является несмещенной оценкой минимальной дисперсии (MVUE). Это связано с тем, что эффективная оценка поддерживает равенство неравенства Крамера – Рао для всех значений параметров, что означает, что она достигает минимальной дисперсии для всех параметров (определение MVUE). Оценка MVUE, даже если она существует, не обязательно эффективна, поскольку «минимум» не означает, что равенство выполняется в неравенстве Крамера – Рао.

Таким образом, эффективный оценщик не обязательно должен существовать, но если он и существует, то это MVUE.

Эффективность конечной выборки

Предположим, { P _θ | θ ∈ Θ } — параметрическая модель , а X = ( X ₁ , …, X _n ) — данные, выбранные из этой модели. Пусть T = T ( X ) — оценка параметра θ . Если эта оценка несмещена ( т. е. E[  T  ] = θ ), то неравенство Крамера – Рао утверждает, что дисперсия этой оценки ограничена снизу:

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

где – информационная матрица Фишера модели в точке θ . Обычно дисперсия измеряет степень отклонения случайной величины вокруг ее среднего значения. Таким образом, оценки с небольшими отклонениями более концентрированы, они точнее оценивают параметры. Мы говорим, что оценка является эффективной оценкой конечной выборки (в классе несмещенных оценок), если она достигает нижней границы в приведенном выше неравенстве Крамера–Рао для всех θ ∈ Θ . Эффективные оценки всегда являются несмещенными оценками с минимальной дисперсией . Однако обратное неверно: существуют задачи точечного оценивания, для которых несмещенная к среднему оценка с минимальной дисперсией неэффективна. ^[6] ${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$

Исторически эффективность конечной выборки была ранним критерием оптимальности. Однако этот критерий имеет некоторые ограничения:

• Эффективные оценки конечной выборки встречаются крайне редко. Фактически было доказано, что эффективное оценивание возможно только в экспоненциальном семействе и только для натуральных параметров этого семейства. ^[7]
• Это понятие эффективности иногда ограничивается классом несмещенных оценок. (Часто это не так. ^[8] ). Поскольку нет веских теоретических оснований требовать, чтобы оценки были несмещенными, это ограничение неудобно. Фактически, если мы используем среднеквадратичную ошибку в качестве критерия отбора, многие смещенные оценки будут немного превосходить «лучшие» несмещенные оценки. Например, в многомерной статистике для измерения три или более несмещенная к среднему оценка, выборочное среднее , недопустима : независимо от результата, ее производительность хуже, чем, например, оценка Джеймса – Стейна . ^{[ нужна цитата ]}
• Эффективность конечной выборки основана на дисперсии как критерии, по которому оцениваются оценки. Более общий подход заключается в использовании функций потерь, отличных от квадратичных, и в этом случае эффективность конечной выборки больше не может быть сформулирована. ^{[ нужна ссылка ] [ сомнительно ]}

Например, среди встречающихся на практике моделей существуют эффективные оценки для: среднего ^µ нормального распределения ( но не дисперсии σ2 ), параметра λ распределения Пуассона , вероятности p в биномиальном или полиномиальном распределении .

Рассмотрим модель нормального распределения с неизвестным средним значением, но известной дисперсией: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Данные состоят из n независимых и одинаково распределенных наблюдений из этой модели: X = ( x ₁ , …, x _n ) . Мы оцениваем параметр θ , используя выборочное среднее всех наблюдений:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

Эта оценка имеет среднее значение θ и дисперсию σ ²  /  n , которая равна обратной величине информации Фишера из выборки. Таким образом, выборочное среднее является эффективной оценкой среднего значения нормального распределения для конечной выборки.

Асимптотическая эффективность

Асимптотическая эффективность требует согласованности (статистики) , асимптотического нормального распределения оценки и асимптотической дисперсионно-ковариационной матрицы не хуже, чем любая другая оценка. ^[9]

Пример: медиана

Рассмотрим выборку размера , полученную из нормального распределения среднего и единичной дисперсии , т. е. ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

Выборочное среднее , , выборки , определенное как ${\displaystyle {\overline {X}}}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

Дисперсия среднего значения 1/ N (квадрат стандартной ошибки ) равна обратной величине информации Фишера из выборки, и, таким образом, согласно неравенству Крамера – Рао , выборочное среднее эффективно в том смысле, что его эффективность единица (100%).

Теперь рассмотрим выборочную медиану , . Это несмещенная и последовательная оценка для . Для больших выборочная медиана примерно нормально распределяется со средним значением и дисперсией ^[10] ${\displaystyle {\widetilde {X}}}$ ${\displaystyle \mu }$ ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle {\pi }/{2N},}$

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

Таким образом, эффективность медианы для больших значений равна ${\displaystyle N}$

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

Другими словами, относительная дисперсия медианы будет на 57% больше, чем дисперсия среднего значения – стандартная ошибка медианы будет на 25% больше, чем у среднего значения. ^[11] ${\displaystyle \pi /2\approx 1.57}$

Обратите внимание, что это асимптотическая эффективность, то есть эффективность в пределе, когда размер выборки стремится к бесконечности. Для конечных значений эффективность выше этого значения (например, размер выборки 3 дает эффективность около 74%). ^{[ нужна цитата ]} ${\displaystyle N}$ ${\displaystyle N,}$

Таким образом, выборочное среднее в этом примере более эффективно, чем выборочная медиана. Однако могут существовать показатели, по которым медиана работает лучше. Например, медиана гораздо более устойчива к выбросам , поэтому, если модель Гаусса сомнительна или приблизительна, использование медианы может иметь преимущества (см. Надежная статистика ).

Доминирующие оценки

Если и являются оценками параметра , то говорят, что он доминирует , если: ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$ ${\displaystyle \theta }$ ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. его среднеквадратическая ошибка (MSE) меньше, по крайней мере, для некоторого значения ${\displaystyle \theta }$
2. СКО не превышает СКО ни для любого значения θ. ${\displaystyle T_{2}}$

Формально доминирует , если ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

справедливо для всех , причем где-то сохраняется строгое неравенство. ${\displaystyle \theta }$

Относительная эффективность

Относительная эффективность двух несмещенных оценок определяется как ^[12]

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Хотя в целом является функцией , во многих случаях зависимость исчезает; если это так, то значение больше единицы будет указывать на то, что это предпочтительнее, независимо от истинного значения . ${\displaystyle e}$ ${\displaystyle \theta }$ ${\displaystyle e}$ ${\displaystyle T_{1}}$ ${\displaystyle \theta }$

Альтернативой относительной эффективности сравнения оценок является критерий близости Питмана . Это заменяет сравнение среднеквадратических ошибок сравнением того, как часто один оценщик дает оценки, более близкие к истинному значению, чем другой оценщик.

Если и являются оценками параметра , то говорят, что он доминирует , если: ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$ ${\displaystyle \theta }$ ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. его среднеквадратическая ошибка (MSE) меньше, по крайней мере, для некоторого значения ${\displaystyle \theta }$
2. СКО не превышает СКО ни для любого значения θ. ${\displaystyle T_{2}}$

Формально доминирует , если ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

${\displaystyle \mathrm {E} \left[(T_{1}-\theta )^{2}\right]\leq \mathrm {E} \left[(T_{2}-\theta )^{2}\right]}$

справедливо для всех , причем где-то сохраняется строгое неравенство. ${\displaystyle \theta }$

Оценщики среднего значения переменных uid

При оценке среднего значения некоррелированных, одинаково распределенных переменных мы можем воспользоваться тем фактом, что дисперсия суммы является суммой дисперсий . В этом случае эффективность можно определить как квадрат коэффициента вариации , т.е. ^[13]

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

Таким образом, относительную эффективность двух таких оценок можно интерпретировать как относительный размер выборки одного, необходимый для достижения достоверности другого. Доказательство:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Теперь, поскольку у нас есть , относительная эффективность выражает относительный размер выборки первой оценки, необходимый для соответствия дисперсии второй. ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$ ${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

Надежность

Эффективность оценщика может существенно измениться, если распределение изменится, часто падая. Это одна из причин создания робастной статистики : например, такая оценка, как выборочное среднее, является эффективной оценкой генерального среднего нормального распределения, но может быть неэффективной оценкой смешанного распределения двух нормальных распределений с одинаковыми средние и различные отклонения. Например, если распределение представляет собой комбинацию 98% N ( μ, σ ) и 2% N ( μ, 10 σ ), наличие крайних значений из последнего распределения (часто «загрязняющих выбросов») значительно снижает эффективность выборочное среднее как средство оценки μ. Напротив, усеченное среднее менее эффективно для нормального распределения, но более устойчиво (т. е. менее подвержено влиянию) изменений в распределении и, таким образом, может быть более эффективным для смешанного распределения. Аналогично, форма распределения , такая как асимметрия или тяжелые хвосты , может значительно снизить эффективность оценок, предполагающих симметричное распределение или тонкие хвосты.

Использование неэффективных оценок

Хотя эффективность является желательным качеством оценщика, ее необходимо сопоставлять с другими соображениями, и оценщик, эффективный для определенных распределений, вполне может быть неэффективным для других распределений. Что наиболее важно, оценщики, которые эффективны для чистых данных из простого распределения, такого как нормальное распределение (которое является симметричным, унимодальным и имеет тонкие хвосты), могут быть неустойчивыми к загрязнению выбросами и могут быть неэффективными для более сложных распределений. В надежной статистике больше внимания уделяется надежности и применимости к широкому спектру распределений, а не эффективности одного распределения. M-оценщики — это общий класс оценщиков, мотивированных этими проблемами. Они могут быть спроектированы так, чтобы обеспечивать как надежность, так и высокую относительную эффективность, хотя в некоторых случаях, возможно, более низкую эффективность, чем традиционные методы оценки. Однако они могут быть очень сложными в вычислительном отношении.

Более традиционной альтернативой являются L-оценщики , которые представляют собой очень простые статистические данные, которые легко вычислять и интерпретировать, во многих случаях они надежны и часто достаточно эффективны для первоначальных оценок. См. применение L-оценок для дальнейшего обсуждения.

Эффективность в статистике

Эффективность статистики важна, поскольку она позволяет сравнивать эффективность различных оценщиков. Хотя несмещенная оценка обычно предпочтительнее смещенной, более эффективная смещенная оценка иногда может быть более ценной, чем менее эффективная несмещенная оценка. Например, это может произойти, когда значения смещенной оценки собираются вокруг числа, более близкого к истинному значению. Таким образом, производительность оценщика можно легко предсказать, сравнивая их среднеквадратические ошибки или дисперсии.

Проверка гипотез

Для сравнения тестов значимости можно определить значимую меру эффективности на основе размера выборки, необходимого для того, чтобы тест достиг заданной мощности задачи . ^[14]

Эффективность Питмана ^[15] и эффективность Бахадура (или эффективность Ходжеса-Лемана) ^{[16] [17] [18]} относятся к сравнению эффективности процедур проверки статистических гипотез .

Экспериментальная дизайн

Для экспериментальных проектов эффективность связана со способностью проекта достичь цели исследования с минимальными затратами ресурсов, таких как время и деньги. В простых случаях относительную эффективность планов можно выразить как соотношение размеров выборок, необходимых для достижения заданной цели. ^[19]

Смотрите также

• Байесовский оценщик
• Последовательная оценка
• Оценщик Ходжеса
• Оптимальные инструменты

Примечания

1. Эверитт 2002, с. 128.
2. Никулин, М.С. (2001) [1994], «Эффективность статистической процедуры», Энциклопедия математики , EMS Press.
3. Фишер, Р. (1921). «О математических основах теоретической статистики». Философские труды Лондонского королевского общества А. 222 : 309–368. JSTOR  91208.
4. Эверитт 2002, с. 128.
5. Деккинг, FM (2007). Современное введение в вероятность и статистику: понимание почему и как . Спрингер. стр. 303–305. ISBN 978-1852338961.
6. Романо, Джозеф П.; Сигел, Эндрю Ф. (1986). Контрпримеры в теории вероятности и статистике . Чепмен и Холл. п. 194.
7. Ван Трис, Гарри Л. (2013). Оценка обнаружения и теория модуляции. Кристин Л. Белл, Чжи Тянь (второе изд.). Хобокен, Нью-Джерси ISBN 978-1-299-66515-6. ОСЛК  851161356.{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
8. ДеГрут; Шервиш (2002). Вероятность и статистика (3-е изд.). стр. 440–441.
9. Грин, Уильям Х. (2012). Эконометрический анализ (7-е изд., международное изд.). Бостон: Пирсон. ISBN 978-0-273-75356-8. ОСЛК  726074601.
10. Уильямс, Д. (2001). Взвешивание шансов . Издательство Кембриджского университета. п. 165. ИСБН 052100618X.
11. Мейндональд, Джон; Браун, В. Джон (6 мая 2010 г.). Анализ данных и графика с использованием R: подход на основе примеров. Издательство Кембриджского университета. п. 104. ИСБН 978-1-139-48667-5.
12. Вакерли, Деннис Д.; Менденхолл, Уильям; Шеффер, Ричард Л. (2008). Математическая статистика с приложениями (Седьмое изд.). Бельмонт, Калифорния: Томсон Брукс/Коул. п. 445. ИСБН 9780495110811. OCLC  183886598.
13. Граббс, Фрэнк (1965). Статистические меры точности для стрелков и инженеров-ракетчиков . стр. 26–27.
14. Эверитт 2002, с. 321.
15. Никитин, Я.Ю. (2001) [1994], «Асимптотическая эффективность», Математическая энциклопедия , EMS Press
16. «Эффективность Бахадура - Математическая энциклопедия» .
17. Arcones MA Препринт "Эффективность Бахадура теста отношения правдоподобия"
18. Канай И.А. и Оцу, Т. «Оптимальность Ходжеса – Лемана для тестирования моделей моментных условий»
19. Додж, Ю. (2006). Оксфордский словарь статистических терминов . Издательство Оксфордского университета. ISBN 0-19-920613-9.

Рекомендации

• Эверитт, Брайан С. (2002). Кембриджский статистический словарь . Издательство Кембриджского университета. ISBN 0-521-81099-Х.
• Леманн, Эрих Л. (1998). Элементы теории большой выборки . Нью-Йорк: Springer Verlag. ISBN 978-0-387-98595-4.

дальнейшее чтение

• Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер. ISBN 0-387-98502-6.
• Пфанцагль, Иоганн ; при содействии Р. Хамбокера (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 3-11-013863-8. МР  1291393.