Оценщик

Правило расчета оценки заданной величины на основе наблюдаемых данных

В статистике оценщик — это правило для вычисления оценки заданной величины на основе наблюдаемых данных : таким образом, различают правило (оценщик), интересующую величину ( оценка ) и ее результат (оценка). ^[1] Например, выборочное среднее — это обычно используемая оценка среднего значения совокупности .

Существуют точечные и интервальные оценщики . Точечные оценщики дают однозначные результаты. Это контрастирует с интервальным оценщиком , где результатом будет диапазон вероятных значений. «Единичное значение» не обязательно означает «одно число», но включает векторные или функционально-значные оценщики.

Теория оценок занимается свойствами оценщиков; то есть определением свойств, которые могут быть использованы для сравнения различных оценщиков (различных правил для создания оценок) для одной и той же величины на основе одних и тех же данных. Такие свойства могут быть использованы для определения наилучших правил для использования в данных обстоятельствах. Однако в надежной статистике статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные предположения, и наличием худших свойств, которые выполняются при более широких условиях.

Фон

«Оценка» или « точечная оценка » — это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели . Распространенный способ выражения этого — «оценка — это метод, выбранный для получения оценки неизвестного параметра». Оцениваемый параметр иногда называют оценкой . Он может быть как конечномерным (в параметрических и полупараметрических моделях ), так и бесконечномерным ( полупараметрические и непараметрические модели ). ^[2] Если параметр обозначен , то оценка традиционно записывается путем добавления циркумфлекса над символом: . Будучи функцией данных, оценка сама по себе является случайной величиной ; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценка» и «оценка» используются взаимозаменяемо. ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$

Определение практически не накладывает ограничений на то, какие функции данных могут быть названы «оценщиками». Привлекательность различных оценщиков можно оценить, рассмотрев их свойства, такие как несмещенность , среднеквадратическая ошибка , согласованность , асимптотическое распределение и т. д. Построение и сравнение оценщиков являются предметом теории оценки . В контексте теории принятия решений оценщик является типом решающего правила , и его производительность может быть оценена с помощью функций потерь .

Когда слово «оценщик» используется без определителя, оно обычно относится к точечной оценке. Оценка в этом случае — это одна точка в пространстве параметров . Существует также другой тип оценщиков: интервальные оценщики , где оценки являются подмножествами пространства параметров.

Проблема оценки плотности возникает в двух приложениях. Во-первых, при оценке функций плотности вероятности случайных величин и, во-вторых, при оценке функции спектральной плотности временного ряда . В этих задачах оценки являются функциями, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие задачи интервальной оценки.

Определение

Предположим, что необходимо оценить фиксированный параметр . Тогда «оценщик» — это функция, которая отображает выборочное пространство в набор выборочных оценок . Оценщик обычно обозначается символом . Часто бывает удобно выразить теорию с помощью алгебры случайных величин : таким образом, если X используется для обозначения случайной величины, соответствующей наблюдаемым данным, оценщик (сам по себе рассматриваемый как случайная величина) обозначается как функция этой случайной величины, . Оценка для конкретного наблюдаемого значения данных (т. е. для ) тогда равна , что является фиксированным значением. Часто используется сокращенная запись в , которая интерпретируется непосредственно как случайная величина , но это может вызвать путаницу. ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle {\widehat {\theta }}(X)}$ ${\displaystyle x}$ ${\displaystyle X=x}$ ${\displaystyle {\widehat {\theta }}(x)}$ ${\displaystyle {\widehat {\theta }}}$

Количественные свойства

Следующие определения и атрибуты имеют значение. ^[3]

Ошибка

Для данной выборки « ошибка » оценщика определяется как ${\displaystyle x}$ ${\displaystyle {\widehat {\theta }}}$

${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$

где — оцениваемый параметр. Ошибка, e , зависит не только от оценщика (формулы или процедуры оценки), но и от выборки. ${\displaystyle \theta }$

Среднеквадратическая ошибка

Среднеквадратическая ошибка определяется как ожидаемое значение (средневзвешенное по вероятности значение по всем выборкам) квадратичных ошибок, то есть: ${\displaystyle {\widehat {\theta }}}$

${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].}$

Он используется для указания того, насколько далеко, в среднем, набор оценок находится от одного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметр — это яблочко цели, оценщик — это процесс стрельбы стрелами по цели, а отдельные стрелы — это оценки (выборки). Тогда высокое значение MSE означает, что среднее расстояние стрел от яблочка велико, а низкое значение MSE означает, что среднее расстояние от яблочка мало. Стрелки могут быть сгруппированы или нет. Например, даже если все стрелы попадают в одну и ту же точку, но сильно промахиваются мимо цели, MSE все еще относительно велико. Однако если MSE относительно низкое, то стрелки, скорее всего, более сильно сгруппированы (чем сильно разбросаны) вокруг цели.

Отклонение выборки

Для данной выборки отклонение выборки оценщика определяется как ${\displaystyle x}$ ${\displaystyle {\widehat {\theta }}}$

${\displaystyle d(x)={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}(X))={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}),}$

где — ожидаемое значение оценщика. Отклонение выборки, d , зависит не только от оценщика, но и от выборки. ${\displaystyle \operatorname {E} ({\widehat {\theta }}(X))}$

Дисперсия

Дисперсия — это ожидаемое значение квадратов отклонений выборки; то есть . Она используется для указания того, насколько далеко, в среднем, набор оценок находится от ожидаемого значения оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр — это яблочко цели, а стрелки — это оценки, то относительно высокая дисперсия означает, что стрелки разбросаны, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия низкая, кластер стрелок все еще может быть далек от цели, и даже если дисперсия высокая, диффузная коллекция стрелок все еще может быть несмещенной. Наконец, даже если все стрелки грубо не попадают в цель, если они, тем не менее, все попадают в одну и ту же точку, дисперсия равна нулю. ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]}$

Предвзятость

Смещение определяется как . Это расстояние между средним значением набора оценок и единственным оцениваемым параметром. Смещение является функцией истинного значения , поэтому говорят , что смещение равно , что означает , что для каждого смещение равно . ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle b}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle b}$

Существует два типа оценщиков: смещенные оценщики и несмещенные оценщики. Является ли оценщик смещенным или нет, можно определить по соотношению между и 0: ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta }$

• Если , то предвзято. ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta \neq 0}$ ${\displaystyle {\widehat {\theta }}}$
• Если , то является беспристрастным. ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$ ${\displaystyle {\widehat {\theta }}}$

Смещение также является ожидаемым значением ошибки, поскольку . Если параметр является мишенью цели, а стрелки являются оценками, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок не попадает в цель, а относительно низкое абсолютное значение смещения означает, что среднее положение стрелок попадает в цель. Они могут быть разбросаны или могут быть сгруппированы. Связь между смещением и дисперсией аналогична связи между точностью и прецизионностью . ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )}$

Оценщик является несмещенным оценщиком , если и только если . Смещение является свойством оценщика, а не оценки. Часто люди говорят о «смещенной оценке» или «несмещенной оценке», но на самом деле они говорят об «оценке смещенного оценщика» или «оценке несмещенного оценщика». Кроме того, люди часто путают «ошибку» одной оценки со «смещением» оценщика. То, что ошибка для одной оценки велика, не означает, что оценщик смещен. Фактически, даже если все оценки имеют астрономические абсолютные значения для своих ошибок, если ожидаемое значение ошибки равно нулю, оценщик является несмещенным. Кроме того, смещение оценщика не исключает того, что ошибка оценки может быть равна нулю в конкретном случае. Идеальная ситуация — иметь несмещенную оценку с низкой дисперсией, а также попытаться ограничить количество выборок, где ошибка экстремальна (то есть иметь мало выбросов). Однако несмещенность не является существенной. Часто, если допускается лишь небольшое смещение, то можно найти оценку с более низкой среднеквадратической ошибкой и/или меньшим количеством оценок выборок выбросов. ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle B({\widehat {\theta }})=0}$

Альтернативой версии "несмещенного" выше является "медиано-несмещенный", где медиана распределения оценок согласуется с истинным значением; таким образом, в долгосрочной перспективе половина оценок будет слишком низкой, а половина слишком высокой. Хотя это применимо непосредственно только к скалярно-значным оценкам, это может быть распространено на любую меру центральной тенденции распределения: см. медиано-несмещенные оценки .

В практической задаче всегда может иметь функциональную связь с . Например, если генетическая теория утверждает, что существует тип листа (крахмалистый зеленый), который встречается с вероятностью , при . Тогда для листьев случайная величина , или количество крахмалистых зеленых листьев, может быть смоделирована с помощью распределения . Число может быть использовано для выражения следующей оценки для : . Можно показать, что является несмещенной оценкой для : . ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle p_{1}=1/4\cdot (\theta +2)}$ ${\displaystyle 0<\theta <1}$ ${\displaystyle n}$ ${\displaystyle N_{1}}$ ${\displaystyle Bin(n,p_{1})}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}=4/n\cdot N_{1}-2}$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]}$ ${\displaystyle =4/n\cdot E[N_{1}]-2}$ ${\displaystyle =4/n\cdot np_{1}-2}$ ${\displaystyle =4\cdot p_{1}-2}$ ${\displaystyle =4\cdot 1/4\cdot (\theta +2)-2}$ ${\displaystyle =\theta +2-2}$ ${\displaystyle =\theta }$

Беспристрастный

Разница между оценщиками: несмещенный оценщик сосредоточен вокруг , а смещенный оценщик — вокруг . ${\displaystyle \theta _{2}}$ ${\displaystyle \theta }$ ${\displaystyle \theta _{1}}$

Желаемым свойством для оценщиков является несмещенная черта, при которой оценщик показывает, что не имеет систематической тенденции производить оценки больше или меньше, чем предоставленная вероятность. Кроме того, несмещенные оценщики с меньшими дисперсиями предпочтительнее, чем с большими дисперсиями, поскольку они будут ближе к «истинному» значению параметра. Несмещенный оценщик с наименьшей дисперсией известен как несмещенный оценщик с минимальной дисперсией (MVUE).

Чтобы узнать, является ли ваша оценка несмещенной, легко следовать уравнению , . С оценкой T с и интересующим параметром, решающим предыдущее уравнение, поэтому оно показано как оценка несмещенная. Взгляните на рисунок справа, несмотря на то, что это единственная несмещенная оценка. Если бы распределения перекрывались и оба были бы центрированы вокруг , то распределение фактически было бы предпочтительной несмещенной оценкой. ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle \operatorname {E} [T]=\theta }$ ${\displaystyle \theta _{2}}$ ${\displaystyle \theta }$ ${\displaystyle \theta _{1}}$

Ожидание При рассмотрении величин в интересах ожидания для распределения модели существует несмещенная оценка, которая должна удовлетворять двум уравнениям ниже.

${\displaystyle 1.\quad {\overline {X}}_{n}={\frac {X_{1}+X_{2}+\cdots +X_{n}}{n}}}$

${\displaystyle 2.\quad \operatorname {E} \left[{\overline {X}}_{n}\right]=\mu }$

Дисперсия Аналогично, при рассмотрении величин в интересах дисперсии как распределения модели также существует несмещенная оценка, которая должна удовлетворять двум уравнениям ниже.

${\displaystyle 1.\quad S_{n}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X_{n}}})^{2}}$

${\displaystyle 2.\quad \operatorname {E} \left[S_{n}^{2}\right]=\sigma ^{2}}$

Обратите внимание, что мы делим на n  − 1, поскольку если бы мы разделили на n, то получили бы оценку с отрицательным смещением, что, таким образом, дало бы оценки, которые слишком малы для . Следует также отметить, что даже при том, что является несмещенным для обратное неверно. ^[4] ${\displaystyle \sigma ^{2}}$ ${\displaystyle S_{n}^{2}}$ ${\displaystyle \sigma ^{2}}$

Отношения между величинами

• Среднеквадратическая ошибка, дисперсия и смещение связаны: т.е. среднеквадратическая ошибка = дисперсия + квадрат смещения. В частности, для несмещенной оценки дисперсия равна среднеквадратической ошибке. ${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},}$
• Стандартное отклонение оценки ( квадратный корень дисперсии ) или оценка стандартного отклонения оценки называется стандартной ошибкой . ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$
• Компромисс смещения-дисперсии будет использоваться в сложности модели, переобучении и недообучении. Он в основном используется в области контролируемого обучения и предиктивного моделирования для диагностики производительности алгоритмов.

Поведенческие свойства

Последовательность

Согласованная последовательность оценок — это последовательность оценок, которые сходятся по вероятности к оцениваемой величине по мере того, как индекс (обычно размер выборки ) растет без ограничений. Другими словами, увеличение размера выборки увеличивает вероятность того, что оценка будет близка к параметру популяции.

Математически последовательность оценок { t _n ; n ≥ 0 } является последовательной оценкой для параметра θ тогда и только тогда, когда для всех ε > 0 , независимо от того, насколько они малы, мы имеем

${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1}$.

Согласованность, определённую выше, можно назвать слабой согласованностью. Последовательность строго согласована , если она сходится почти наверняка к истинному значению.

Оценщик, который сходится к кратному параметру, может быть преобразован в последовательный оценщик путем умножения оценщика на масштабный коэффициент , а именно истинное значение, деленное на асимптотическое значение оценщика. Это часто происходит при оценке масштабных параметров с помощью мер статистической дисперсии .

согласованность Фишера

Оценку можно считать согласованной по Фишеру, если она является тем же функционалом эмпирической функции распределения, что и истинная функция распределения. Следуя формуле:

${\displaystyle {\widehat {\theta }}=h(T_{n}),\theta =h(T_{\theta })}$

Где и — эмпирическая функция распределения и теоретическая функция распределения соответственно. Простым примером того, является ли что-то согласованным по Фишеру, является проверка согласованности среднего и дисперсии. Например, для проверки согласованности среднего и проверки дисперсии подтвердите, что . ^[5] ${\displaystyle T_{n}}$ ${\displaystyle T_{\theta }}$ ${\displaystyle {\widehat {\mu }}={\bar {X}}}$ ${\displaystyle {\widehat {\sigma }}^{2}=SSD/n}$

Асимптотическая нормальность

Асимптотически нормальная оценка — это состоятельная оценка, распределение которой вокруг истинного параметра θ приближается к нормальному распределению со стандартным отклонением, уменьшающимся пропорционально росту размера выборки n . Используя для обозначения сходимости в распределении , t _n является асимптотически нормальной, если ${\displaystyle 1/{\sqrt {n}}}$ ${\displaystyle {\xrightarrow {D}}}$

${\displaystyle {\sqrt {n}}(t_{n}-\theta ){\xrightarrow {D}}N(0,V),}$

для некоторых V.

В этой формулировке V/n можно назвать асимптотической дисперсией оценщика. Однако некоторые авторы также называют V асимптотической дисперсией . Обратите внимание, что сходимость не обязательно произойдет для любого конечного "n", поэтому это значение является лишь приближением к истинной дисперсии оценщика, тогда как в пределе асимптотическая дисперсия (V/n) просто равна нулю. Если говорить точнее, распределение оценщика t _n слабо сходится к дельта-функции Дирака с центром в . ${\displaystyle \theta }$

Центральная предельная теорема подразумевает асимптотическую нормальность выборочного среднего как оценки истинного среднего. В более общем смысле оценки максимального правдоподобия являются асимптотически нормальными при довольно слабых условиях регулярности — см. раздел асимптотики статьи о максимальном правдоподобии. Однако не все оценки являются асимптотически нормальными; простейшие примеры встречаются, когда истинное значение параметра лежит на границе допустимой области параметров. ${\displaystyle {\bar {X}}}$

Эффективность

Эффективность оценщика используется для оценки интересующей величины способом «минимальной ошибки». В действительности, не существует явного наилучшего оценщика; может быть только лучший оценщик. Хорошая или плохая эффективность оценщика основана на выборе конкретной функции потерь , и это отражается двумя естественно желательными свойствами оценщиков: быть несмещенным и иметь минимальную среднеквадратичную ошибку (MSE) . Они, как правило, не могут быть выполнены одновременно: несмещенный оценщик может иметь более низкую среднеквадратичную ошибку, чем любой смещенный оценщик (см. смещение оценщика ). Функция связывает среднеквадратичную ошибку со смещением оценщика. ^[4] ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =0}$ ${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]}$

${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=(\operatorname {E} ({\widehat {\theta }})-\theta )^{2}+\operatorname {Var} (\theta )\ }$

Первый член представляет собой среднеквадратичную ошибку; второй член представляет собой квадрат смещения оценщика; а третий член представляет собой дисперсию выборки. Качество оценщика можно определить из сравнения дисперсии, квадрата смещения оценщика или MSE. Дисперсия хорошего оценщика (хорошая эффективность) будет меньше дисперсии плохого оценщика (плохая эффективность). Квадрат смещения оценщика с хорошим оценщиком будет меньше смещения оценщика с плохим оценщиком. MSE хорошего оценщика будет меньше MSE плохого оценщика. Предположим, что есть два оценщика, это хороший оценщик и это плохой оценщик. Вышеуказанное соотношение можно выразить следующими формулами. ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$

${\displaystyle \operatorname {Var} (\theta _{1})<\operatorname {Var} (\theta _{2})}$

${\displaystyle |\operatorname {E} (\theta _{1})-\theta |<\left|\operatorname {E} (\theta _{2})-\theta \right|}$

${\displaystyle \operatorname {MSE} (\theta _{1})<\operatorname {MSE} (\theta _{2})}$

Помимо использования формулы для определения эффективности оценщика, ее также можно определить с помощью графика. Если оценщик эффективен, на графике частоты и значения будет кривая с высокой частотой в центре и низкой частотой по обеим сторонам. Например:

Если оценщик неэффективен, график зависимости частоты от значения будет иметь относительно более пологую кривую.

Проще говоря, хорошая оценка имеет узкую кривую, а плохая оценка имеет большую кривую. Если изобразить эти две кривые на одном графике с общей осью Y , разница станет более очевидной.

Сравнение хорошего и плохого оценщика.

Среди несмещенных оценщиков часто существует один с самой низкой дисперсией, называемый несмещенным оценщиком с минимальной дисперсией ( MVUE ). В некоторых случаях существует несмещенный эффективный оценщик , который, в дополнение к тому, что имеет самую низкую дисперсию среди несмещенных оценщиков, удовлетворяет границе Крамера–Рао , которая является абсолютной нижней границей дисперсии для статистики переменной.

Относительно таких «наилучших несмещенных оценок» см. также границу Крамера–Рао , теорему Гаусса–Маркова , теорему Лемана–Шеффе , теорему Рао–Блэквелла .

Надежность

Смотрите также

• Лучшая линейная несмещенная оценка (СИНИЙ)
• Инвариантная оценка
• фильтр Калмана
• Марковская цепь Монте-Карло (MCMC)
• Максимум апостериори (MAP)
• Метод моментов , обобщенный метод моментов
• Минимальная среднеквадратическая ошибка (MMSE)
• Фильтр частиц
• Критерий близости Питмана
• Чувствительность и специфичность
• Оценщик усадки
• Обработка сигнала
• Государственный наблюдатель
• Тестиматор
• фильтр Винера
• Статистика хорошего поведения

Ссылки

1. Mosteller, F.; Tukey, JW (1987) [1968]. «Анализ данных, включая статистику». Собрание сочинений Джона В. Тьюки: Философия и принципы анализа данных 1965–1986 . Том 4. CRC Press. С. 601–720 [с. 633]. ISBN 0-534-05101-4– через Google Книги .
2. Косорок (2008), раздел 3.1, стр. 35–39.
3. Джейнс (2007), стр.172.
4. Деккинг, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Хендрик Пауль; Мистер, Людольф Эрвин (2005). Современное введение в вероятность и статистику. Тексты Спрингера в статистике. ISBN 978-1-85233-896-1.
5. Лауритцен, Штеффен. "Свойства оценщиков" (PDF) . Оксфордский университет . Получено 9 декабря 2023 г. .

Дальнейшее чтение

• Большев, Логин Николаевич (2001) [1994], "Статистический оценщик", Энциклопедия математики , Издательство ЭМС.
• Джейнс, ET (2007). Теория вероятностей: логика науки (5-е изд.). Cambridge University Press . ISBN 978-0-521-59271-0..
• Косорок, Майкл (2008). Введение в эмпирические процессы и полупараметрический вывод. Springer Series in Statistics. Springer . doi :10.1007/978-0-387-74978-5. ISBN 978-0-387-74978-5.
• Леманн, Э. Л .; Каселла, Г. (1998). Теория точечной оценки (2-е изд.). Springer . ISBN 0-387-98502-6.
• Шао, Цзюнь (1998), Математическая статистика , Springer , ISBN 0-387-98674-X

Внешние ссылки

• Основы теории оценки