Несмещенная оценка с минимальной дисперсией

Unbiased statistical estimator minimizing variance

В статистике несмещенная оценка с минимальной дисперсией (MVUE) или несмещенная оценка с равномерной минимальной дисперсией (UMVUE) — это несмещенная оценка , которая имеет более низкую дисперсию, чем любая другая несмещенная оценка для всех возможных значений параметра.

Для практических статистических задач важно определить MVUE, если таковой существует, поскольку процедуры, не соответствующие оптимальным, будут естественным образом избегаться при прочих равных условиях. Это привело к существенному развитию статистической теории, связанной с проблемой оптимальной оценки.

Хотя сочетание ограничения беспристрастности с метрикой желательности наименьшей дисперсии приводит к хорошим результатам в большинстве практических ситуаций, что делает MVUE естественной отправной точкой для широкого спектра анализов, целевая спецификация может работать лучше для данной проблемы; таким образом, MVUE не всегда является лучшей точкой остановки.

Определение

Рассмотрим оценку на основе данных iid из некоторого члена семейства плотностей , где — пространство параметров. Несмещенная оценка — это UMVUE, если , ${\displaystyle g(\theta )}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle p_{\theta },\theta \in \Omega }$ ${\displaystyle \Omega }$ ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle \forall \theta \in \Omega }$

${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$

для любой другой непредвзятой оценки ${\displaystyle {\tilde {\delta }}.}$

Если существует несмещенная оценка , то можно доказать, что существует по существу уникальный MVUE. ^[1] Используя теорему Рао–Блэквелла, можно также доказать, что определение MVUE — это просто вопрос нахождения полной достаточной статистики для семейства и обусловленности ею любой несмещенной оценки. ${\displaystyle g(\theta )}$ ${\displaystyle p_{\theta },\theta \in \Omega }$

Кроме того, по теореме Лемана–Шеффе , несмещенная оценка, которая является функцией полной достаточной статистики, является оценкой UMVUE.

Формально, предположим, что несмещено для , и это полная достаточная статистика для семейства плотностей. Тогда ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle T}$

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$

это MVUE для ${\displaystyle g(\theta ).}$

Байесовский аналог — это байесовский оценщик , в частности , с минимальной среднеквадратической ошибкой (MMSE).

Выбор оценщика

Эффективная оценка не обязательно должна существовать, но если она есть и если она непредвзята, то это MVUE. Поскольку среднеквадратическая ошибка (MSE) оценки δ равна

${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$

MVUE минимизирует MSE среди несмещенных оценщиков . В некоторых случаях смещенные оценщики имеют более низкую MSE, поскольку у них меньшая дисперсия, чем у любого несмещенного оценщика; см. смещение оценщика .

Пример

Рассматривайте данные как единичное наблюдение из абсолютно непрерывного распределения с плотностью ${\displaystyle \mathbb {R} }$

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

и мы хотим найти оценку UMVU

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

Сначала мы признаем, что плотность можно записать как

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

Которое является экспоненциальным семейством с достаточной статистикой . Фактически это экспоненциальное семейство полного ранга, и поэтому является полным достаточным. Смотрите экспоненциальное семейство для вывода, который показывает ${\displaystyle T=\log(1+e^{-x})}$ ${\displaystyle T}$

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$

Поэтому,

${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

Здесь мы используем теорему Лемана–Шеффе для получения MVUE

Очевидно, что является беспристрастным и достаточно полным, поэтому оценка UMVU имеет вид ${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$ ${\displaystyle T=\log(1+e^{-x})}$

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

Этот пример иллюстрирует, что несмещенная функция полной достаточной статистики будет UMVU, как утверждает теорема Лемана–Шеффе .

Другие примеры

• Для нормального распределения с неизвестными средним значением и дисперсией выборочное среднее значение и (несмещенная) выборочная дисперсия являются MVUE для среднего значения совокупности и дисперсии совокупности.

  Однако стандартное отклонение выборки не является несмещенным для стандартного отклонения генеральной совокупности — см. несмещенную оценку стандартного отклонения .

  Кроме того, для других распределений выборочное среднее значение и выборочная дисперсия не являются общими MVUE — для равномерного распределения с неизвестными верхней и нижней границами средний диапазон является MVUE для среднего значения совокупности.

• Если k образцов выбираются (без замены) из дискретного равномерного распределения по множеству {1, 2, ...,  N } с неизвестной верхней границей N , то MVUE для N равен

${\displaystyle {\frac {k+1}{k}}m-1,}$

где m — это максимум выборки . Это масштабированное и смещенное (то есть несмещенное) преобразование максимума выборки, которое является достаточной и полной статистикой. Подробности см. в задаче о немецком танке .

Смотрите также

• Связанный Крамер–Рао
• Лучшая линейная несмещенная оценка (СИНИЙ)
• Компромисс между смещением и дисперсией
• Теорема Лемана–Шеффе
• U-статистика

Байесовские аналоги

• Байесовский оценщик
• Минимальная средняя квадратическая ошибка (MMSE)

Ссылки

1. Ли, А. Дж., 1946- (1990). U-статистика: теория и практика . Нью-Йорк: М. Деккер. ISBN 0824782534. OCLC  21523971.{{cite book}}: CS1 maint: multiple names: authors list (link) CS1 maint: numeric names: authors list (link)

• Кинер, Роберт В. (2006). Статистическая теория: заметки для курса теоретической статистики . Springer. стр. 47–48, 57–58.
• Кинер, Роберт В. (2010). Теоретическая статистика: Темы для основного курса . Нью-Йорк: Springer. DOI 10.1007/978-0-387-93839-4
• Воинов В.Г., Никулин М.С. (1993). Несмещенные оценки и их приложения, т. 1: Одномерный случай . Kluwer Academic Publishers. С. 521 с.