Несмещенная оценка с минимальной дисперсией

Unbiased statistical estimator minimizing variance

В статистике несмещенная оценка с минимальной дисперсией (MVUE) или несмещенная оценка с равномерно минимальной дисперсией (UMVUE) — это несмещенная оценка , имеющая меньшую дисперсию, чем любая другая несмещенная оценка для всех возможных значений параметра.

Для практических статистических задач важно определить MVUE, если таковой существует, поскольку при прочих равных условиях, естественно, следует избегать неоптимальных процедур. Это привело к существенному развитию статистической теории, связанной с проблемой оптимальной оценки.

Хотя сочетание ограничения несмещенности с показателем желательности наименьшей дисперсии приводит к хорошим результатам в большинстве практических ситуаций, что делает MVUE естественной отправной точкой для широкого спектра анализов, целевая спецификация может работать лучше для данной проблемы; таким образом, MVUE не всегда является лучшей точкой остановки.

Определение

Рассмотрим оценку на основе данных iid из некоторого члена семейства плотностей , где – пространство параметров. Непредвзятая оценка является UMVUE , если , ${\displaystyle g(\theta )}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle p_{\theta },\theta \in \Omega }$ ${\displaystyle \Omega }$ ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle \forall \theta \in \Omega }$

${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$

для любой другой несмещенной оценки ${\displaystyle {\tilde {\delta }}.}$

Если существует несмещенная оценка , то можно доказать, что существует по существу уникальный MVUE. ^[1] Используя теорему Рао–Блэквелла, можно также доказать, что определение MVUE — это просто вопрос поиска полной достаточной статистики для семейства и формирования на ее основе любой несмещенной оценки. ${\displaystyle g(\theta )}$ ${\displaystyle p_{\theta },\theta \in \Omega }$

Кроме того, согласно теореме Лемана-Шеффе , несмещенная оценка, которая является функцией полной, достаточной статистики, является оценкой UMVUE.

Формально, предположим, является несмещенным для , и это полная достаточная статистика для семейства плотностей. Затем ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle T}$

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$

это MVUE для ${\displaystyle g(\theta ).}$

Байесовский аналог — это оценщик Байеса , особенно с минимальной среднеквадратической ошибкой (MMSE).

Выбор оценщика

Эффективный оценщик не обязательно должен существовать, но если он существует и если он несмещен, то это MVUE. Поскольку среднеквадратическая ошибка (MSE) оценки δ равна

${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$

MVUE минимизирует MSE среди несмещенных оценок . В некоторых случаях смещенные оценки имеют более низкую СКО, поскольку они имеют меньшую дисперсию, чем любая несмещенная оценка; см. смещение оценки .

Пример

Считайте, что данные представляют собой одно наблюдение из абсолютно непрерывного распределения с плотностью ${\displaystyle \mathbb {R} }$

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

и мы хотим найти оценку UMVU

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

Сначала мы признаем, что плотность можно записать как

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

Это экспоненциальное семейство с достаточной статистикой . Фактически это экспоненциальное семейство полного ранга и, следовательно, достаточно полное. См. экспоненциальное семейство для вывода, который показывает ${\displaystyle T=\log(1+e^{-x})}$ ${\displaystyle T}$

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$

Поэтому,

${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

Здесь мы используем теорему Лемана – Шеффе, чтобы получить MVUE

Очевидно , является несмещенным и достаточно полным, поэтому оценщик UMVU ${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$ ${\displaystyle T=\log(1+e^{-x})}$

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

Этот пример показывает, что несмещенной функцией полной достаточной статистики будет UMVU, как утверждает теорема Лемана – Шеффе .

Другие примеры

• Для нормального распределения с неизвестными средним значением и дисперсией выборочное среднее и (несмещенная) выборочная дисперсия представляют собой MVUE для среднего значения генеральной совокупности и дисперсии генеральной совокупности.

  Однако стандартное отклонение выборки не является несмещенным для стандартного отклонения генеральной совокупности – см. несмещенную оценку стандартного отклонения .

  Кроме того, для других распределений выборочное среднее и выборочная дисперсия в целом не являются MVUE – для равномерного распределения с неизвестными верхними и нижними границами средний диапазон является MVUE для среднего генерального значения.

• Если k экземпляров выбираются (без замены) из дискретного равномерного распределения по множеству {1, 2, ...,  N } с неизвестной верхней границей N , MVUE для N равно

${\displaystyle {\frac {k+1}{k}}m-1,}$

где m – выборочный максимум . Это масштабированное и сдвинутое (настолько несмещенное) преобразование выборочного максимума, которое является достаточной и полной статистикой. Подробности см. в разделе «Проблема с немецкими танками» .

Смотрите также

• Граница Крамера-Рао
• Лучшая линейная несмещенная оценка (СИНИЙ)
• Компромисс смещения и дисперсии
• Теорема Лемана – Шеффе
• U-статистика

Байесовские аналоги

• Байесовский оценщик
• Минимальная среднеквадратическая ошибка (MMSE)

Рекомендации

1. Ли, AJ, 1946- (1990). U-статистика: теория и практика . Нью-Йорк: М. Деккер. ISBN 0824782534. ОСЛК  21523971.{{cite book}}: CS1 maint: multiple names: authors list (link) CS1 maint: numeric names: authors list (link)

• Кинер, Роберт В. (2006). Статистическая теория: заметки к курсу теоретической статистики . Спрингер. стр. 47–48, 57–58.
• Кинер, Роберт В. (2010). Теоретическая статистика: Темы профильного курса . Нью-Йорк: Спрингер. DOI 10.1007/978-0-387-93839-4
• Воинов В.Г., Никулин М.С. (1993). Несмещенные оценки и их приложения, Том 1: Одномерный случай . Академическое издательство Клювер. стр. 521 стр.