stringtranslate.com

Оценщик

Оценка — это не то же самое, что оценщик: оценка — это конкретное значение, зависящее только от набора данных, тогда как оценщик — это метод оценки, реализуемый с помощью случайных величин.

В статистике оценщик — это правило расчета оценки заданной величины на основе наблюдаемых данных : таким образом различают правило (оценщик), интересующую величину (оценку ) и ее результат (оценку). [1] Например, выборочное среднее является широко используемым средством оценки среднего значения генеральной совокупности .

Существуют точечные и интервальные оценки . Точечные оценки дают однозначные результаты. В этом отличие от интервальной оценки , где результатом будет диапазон вероятных значений. «Одно значение» не обязательно означает «одиночное число», но включает в себя векторные или функциональные оценки.

Теория оценки занимается свойствами оценщиков; то есть с определением свойств, которые можно использовать для сравнения разных оценщиков (разных правил создания оценок) для одного и того же количества на основе одних и тех же данных. Такие свойства можно использовать для определения наилучших правил для использования в данных обстоятельствах. Однако в робастной статистике статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные предположения, и наличием менее хороших свойств, которые выполняются в более широких условиях.

Фон

«Оценщик» или « точечная оценка » — это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели . Обычно это формулируют так: «оценщик — это метод, выбранный для получения оценки неизвестного параметра». Оцениваемый параметр иногда называют оценкой . Он может быть как конечномерным (в параметрических и полупараметрических моделях ), так и бесконечномерным (в полупараметрических и непараметрических моделях ). [2] Если параметр обозначен , то оценка традиционно записывается добавлением циркумфлекса над символом: . Будучи функцией данных, оценщик сам по себе является случайной величиной ; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценщик» и «оценка» используются как синонимы.

Определение практически не налагает ограничений на то, какие функции данных можно назвать «оценщиками». О привлекательности различных оценок можно судить, глядя на их свойства, такие как несмещенность , среднеквадратическая ошибка , непротиворечивость , асимптотическое распределение и т. д. Построение и сравнение оценок являются предметом теории оценивания . В контексте теории принятия решений оценщик представляет собой тип правила принятия решения , и его эффективность можно оценить с помощью функций потерь .

Когда слово «оценщик» используется без уточнения, оно обычно относится к точечной оценке. Оценка в этом случае представляет собой одну точку в пространстве параметров . Также существует другой тип оценок: интервальные оценки , где оценки являются подмножествами пространства параметров.

Проблема оценки плотности возникает в двух приложениях. Во-первых, при оценке функций плотности вероятности случайных величин и, во-вторых, при оценке функции спектральной плотности временного ряда . В этих задачах оценки представляют собой функции, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие проблемы интервальных оценок.

Определение

Предположим , необходимо оценить фиксированный параметр . Тогда «оценщик» — это функция, которая отображает выборочное пространство в набор выборочных оценок . Оценщик обычно обозначается символом . Часто бывает удобно выразить теорию с использованием алгебры случайных величин : например, если X используется для обозначения случайной величины , соответствующей наблюдаемым данным, оценщик (который сам рассматривается как случайная величина) обозначается как функция этой случайной величины. , . Тогда оценка для конкретного значения наблюдаемых данных (т.е. для ) равна , что является фиксированным значением. Часто используется сокращенная запись, в которой трактуется непосредственно как случайная величина , но это может вызвать путаницу.

Количественные свойства

Следующие определения и атрибуты имеют отношение к делу. [3]

Ошибка

Для данной выборки « ошибка » оценщика определяется как

где оцениваемый параметр. Ошибка e зависит не только от средства оценки (формулы или процедуры оценки), но и от выборки.

Среднеквадратическая ошибка

Среднеквадратическая ошибка определяется как ожидаемое значение (среднее средневзвешенное по всем выборкам) квадратов ошибок; то есть,

Он используется для указания того, насколько в среднем набор оценок далек от одного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметром является яблочко цели, оценщиком является процесс стрельбы стрелами по цели, а отдельные стрелы являются оценками (выборками). Тогда высокое MSE означает, что среднее расстояние стрелок от яблочка высокое, а низкое MSE означает, что среднее расстояние от яблочка низкое. Стрелки могут быть сгруппированы, а могут и не сгруппированы. Например, даже если все стрелы попали в одну и ту же точку, но сильно не достигли цели, MSE все равно будет относительно большим. Однако если MSE относительно низкая, то стрелки, скорее всего, будут скорее сгруппированы (а не сильно рассеяны) вокруг цели.

Отклонение выборки

Для данной выборки отклонение выборки оценщика определяется как

где – ожидаемое значение оценщика. Отклонение выборки d зависит не только от оценщика, но и от выборки.

Дисперсия

Дисперсия – это ожидаемое значение квадрата отклонений выборки ; то есть, . Он используется для указания того, насколько в среднем набор оценок далек от ожидаемого значения оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр представляет собой «яблочко» цели, а стрелки являются оценками, то относительно высокая дисперсия означает, что стрелки рассредоточены, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия невелика, группа стрелок все равно может быть далеко от цели, и даже если дисперсия высока, рассеянный набор стрелок все равно может быть несмещенным. Наконец, даже если все стрелы сильно не попали в цель, но все они попадают в одну и ту же точку, дисперсия равна нулю.

Предвзятость

Смещение определяется как . _ Это расстояние между средним значением набора оценок и одним оцениваемым параметром. Смещение является функцией истинного значения, поэтому утверждение, что смещение есть, означает , что для каждого смещение есть .

Существует два типа оценок: смещенные оценки и несмещенные оценки. Является ли оценка смещенной или нет, можно определить по соотношению между и 0:

Смещение также является ожидаемым значением ошибки, поскольку . Если параметром является яблочко цели, а стрелки являются приблизительными, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок находится вне цели, а относительно низкое абсолютное смещение означает среднее положение стрелок. находится на цели. Они могут быть рассредоточены, а могут быть сгруппированы. Отношения между смещением и дисперсией аналогичны отношениям между точностью и прецизионностью .

Оценка является несмещенной оценкой тогда и только тогда, когда . Смещение — это свойство оценщика, а не оценки. Часто люди говорят о «предвзятой оценке» или «несмещенной оценке», но на самом деле они говорят об «оценке, полученной на основе смещенной оценки» или «оценке, полученной на основе несмещенной оценки». Кроме того, люди часто путают «ошибку» одной оценки с «предвзятостью» оценщика. То, что ошибка одной оценки велика, не означает, что оценка смещена. Фактически, даже если все оценки имеют астрономические абсолютные значения ошибок, если ожидаемое значение ошибки равно нулю, оценка является несмещенной. Кроме того, предвзятость оценщика не исключает того, что ошибка оценки будет равна нулю в конкретном случае. Идеальная ситуация — иметь несмещенную оценку с низкой дисперсией, а также попытаться ограничить количество выборок, в которых ошибка является экстремальной (то есть иметь мало выбросов). Однако беспристрастность не является существенной. Часто, если допускается лишь небольшая погрешность, то можно найти оценщик с более низкой среднеквадратической ошибкой и/или меньшим количеством выбросов выборочных оценок.

Альтернативой версии «несмещенный», приведенной выше, является «несмещенный медианный», где медиана распределения оценок соответствует истинному значению; таким образом, в долгосрочной перспективе половина оценок будет слишком занижена, а половина — слишком высока. Хотя это применимо непосредственно только к скалярным оценкам, это можно распространить на любую меру центральной тенденции распределения: см. Медианно-несмещенные оценки .

В практической задаче всегда можно иметь функциональную связь с . Например, генетическая теория утверждает, что существует тип листьев, крахмально-зеленый, который встречается с вероятностью . Для листьев случайную величину — количество крахмалистых зеленых листьев — можно смоделировать с помощью распределения. Это число можно использовать для выражения следующей оценки для : . Можно показать, что это несмещенная оценка для : .

Беспристрастный

Разница между оценщиками: несмещенная оценка сосредоточена вокруг , а не смещенная оценка .

Желаемым свойством для оценщиков является свойство несмещенности, при котором оценщик не имеет систематической тенденции давать оценки, большие или меньшие, чем заданная вероятность. Кроме того, несмещенные оценки с меньшими дисперсиями предпочтительнее, чем с большими дисперсиями, поскольку они будут ближе к «истинному» значению параметра. Несмещенная оценка с наименьшей дисперсией известна как несмещенная оценка с минимальной дисперсией (MVUE).

Чтобы определить, является ли ваша оценка несмещенной, легко следовать уравнению , . С оценщиком T и интересующим параметром , решающим предыдущее уравнение, поэтому оно показано, как оценщик является несмещенным. Глядя на рисунок справа, несмотря на то, что это единственный несмещенный оценщик. Если бы распределения перекрывались и оба были сосредоточены вокруг , тогда распределение фактически было бы предпочтительным несмещенным оценщиком.

Ожидание При рассмотрении величин с точки зрения ожидания распределения модели существует несмещенная оценка, которая должна удовлетворять двум приведенным ниже уравнениям.

Дисперсия Аналогичным образом, если рассматривать величины с точки зрения дисперсии как модельного распределения, существует также несмещенная оценка, которая должна удовлетворять двум приведенным ниже уравнениям.

Обратите внимание, что мы делим на n - 1, потому что если бы мы разделили на n , мы получили бы оценку с отрицательным смещением, что, таким образом, дало бы оценки, которые слишком малы для . Следует также отметить, что, несмотря на то, что это объективно, обратное неверно. [4]

Отношения между величинами

Выборочное распределение

Распределение выборки может быть показано с помощью средства оценки . представлена ​​случайной выборкой: . Распределение выборки эквивалентно распределению вероятностей оценки S, которое также может быть представлено уравнением:

.

где Y — количество, равное нулю, а n — количество испытаний. Чтобы понять, почему математическое ожидание зависит от вероятности ( ), нам нужно понять распределение. Например, в распределении выборки для каждого i в случайном наборе данных X можно считать успехом, когда X = 0. Это делает Y равным успеху X = 0 в n испытаниях. Учитывая, что Y либо успешен, либо нет, его можно рассматривать как биномиальное распределение с постоянной вероятностью . Следовательно, выборочное распределение S можно рассматривать как распределение, делающее S дискретной случайной величиной . В результате ожидание распределения выборки можно представить как

.

доказательство того, что имущество сохраняется независимо от его стоимости . Это показывает, что, несмотря на колебания значений между выборками, оценщики могут быть точными, независимо от различий. [4]

Поведенческие свойства

Последовательность

Согласованная последовательность оценок — это последовательность оценок, которые сходятся по вероятности к оцениваемой величине по мере неограниченного роста индекса (обычно размера выборки ). Другими словами, увеличение размера выборки увеличивает вероятность того, что оценщик будет близок к параметру генеральной совокупности.

Математически последовательность оценок { t n ; n ≥ 0 } является согласованной оценкой параметра θ тогда и только тогда, когда для всех ε > 0 , независимо от того, насколько они малы, мы имеем

.

Определенную выше согласованность можно назвать слабой согласованностью. Последовательность является сильно согласованной , если она почти наверняка сходится к истинному значению.

Оценщик, который сходится к кратному параметру, можно превратить в непротиворечивую оценку, умножив оценку на масштабный коэффициент , а именно на истинное значение, разделенное на асимптотическое значение оценки. Это часто происходит при оценке параметров масштаба по мерам статистической дисперсии .

Консистенция Фишера

Оценщик можно считать согласованным по Фишеру, если он является тем же функционалом эмпирической функции распределения, что и истинная функция распределения. Следуя формуле:

Где и – эмпирическая функция распределения и теоретическая функция распределения соответственно. Простой пример того, как увидеть, является ли что-то последовательным по Фишеру, — это проверить среднюю согласованность и дисперсию. Например, чтобы проверить согласованность среднего значения и проверить дисперсию, подтвердите, что . [5]

Асимптотическая нормальность

Асимптотически нормальная оценка — это непротиворечивая оценка, распределение которой вокруг истинного параметра θ приближается к нормальному распределению со стандартным отклонением, уменьшающимся пропорционально увеличению размера выборки n . Используя для обозначения сходимости по распределению , t n является асимптотически нормальным, если

для какого- то В.

В этой формулировке V/n можно назвать асимптотической дисперсией оценки. Однако некоторые авторы также называют V асимптотической дисперсией . Обратите внимание, что сходимость не обязательно произойдет для любого конечного «n», поэтому это значение является лишь приближением к истинной дисперсии оценки, в то время как в пределе асимптотическая дисперсия (V/n) равна просто нулю. Точнее, распределение оценки t n слабо сходится к дельта-функции Дирака с центром в точке .

Центральная предельная теорема подразумевает асимптотическую нормальность выборочного среднего как оценки истинного среднего. В более общем смысле, оценки максимального правдоподобия асимптотически нормальны при довольно слабых условиях регулярности — см. раздел об асимптотике статьи о максимальном правдоподобии. Однако не все оценки асимптотически нормальны; наиболее простые примеры встречаются, когда истинное значение параметра лежит на границе допустимой области параметра.

Эффективность

Эффективность оценщика используется для оценки интересующей величины способом «минимальной ошибки». В действительности не существует явной лучшей оценки; может быть только лучшая оценка. Хорошая или плохая эффективность оценки основана на выборе конкретной функции потерь и отражается двумя естественными желательными свойствами оценок: быть несмещенными и иметь минимальную среднеквадратическую ошибку (MSE) . В общем, они не могут быть удовлетворены одновременно: несмещенная оценка может иметь меньшую среднеквадратическую ошибку, чем любая смещенная оценка (см. Смещение оценки ). Функция связывает среднеквадратическую ошибку со смещением оценщика. [6]

Первый член представляет собой среднеквадратичную ошибку; второй член представляет собой квадрат смещения средства оценки; а третий член представляет собой дисперсию выборки. Качество средства оценки можно определить путем сравнения дисперсии, квадрата смещения средства оценки или MSE. Дисперсия хорошей оценки (хорошая эффективность) будет меньше, чем дисперсия плохой оценки (плохая эффективность). Квадрат смещения оценки с хорошей оценкой будет меньше, чем смещение оценки с плохой оценкой. СКО хорошей оценки будет меньше, чем СКО плохой оценки. Предположим, что есть два оценщика: хороший оценщик и плохой оценщик. Вышеуказанную зависимость можно выразить следующими формулами.

Помимо использования формулы для определения эффективности оценщика, ее также можно определить с помощью графика. Если оценщик эффективен, на графике зависимости частоты от значения будет кривая с высокой частотой в центре и низкой частотой с двух сторон. Например:

Если оценщик неэффективен, график зависимости частоты от значения будет относительно более плавной кривой.

Проще говоря, хорошая оценка имеет узкую кривую, а плохая — большую. Если нанести эти две кривые на один график с общей осью Y, разница станет более очевидной.

Сравнение хорошей и плохой оценки.

Среди несмещенных оценок часто существует оценка с наименьшей дисперсией, называемая несмещенной оценкой с минимальной дисперсией ( MVUE ). В некоторых случаях существует несмещенная эффективная оценка , которая, помимо того, что имеет самую низкую дисперсию среди несмещенных оценок, удовлетворяет границе Крамера-Рао , которая является абсолютной нижней границей дисперсии для статистики переменной.

Относительно таких «наилучших несмещенных оценок» см. также оценку Крамера–Рао , теорему Гаусса–Маркова , теорему Лемана–Шеффе , теорему Рао–Блэквелла .

Надежность

Смотрите также

Рекомендации

  1. ^ Мостеллер, Ф.; Тьюки, JW (1987) [1968]. «Анализ данных, включая статистику». Собрание сочинений Джона В. Тьюки: философия и принципы анализа данных 1965–1986 гг . Том. 4. ЦРК Пресс. стр. 601–720 [с. 633]. ISBN 0-534-05101-4– через Google Книги .
  2. ^ Косорок (2008), раздел 3.1, стр. 35–39.
  3. ^ Джейнс (2007), стр.172.
  4. ^ Аб Деккинг, Фредерик (15 июня 2005 г.). Современное введение в теорию вероятности и статистики . Спрингер. стр. 285–293. ISBN 978-1-85233-896-1.
  5. ^ Лауритцен, Штеффен. «Свойства оценщиков» (PDF) . Оксфордский университет . Проверено 9 декабря 2023 г.
  6. ^ Деккинг, Фредерик Мишель; Краайкамп, Корнелис; Лопухаа, Хендрик Пауль; Местер, Людольф Эрвин (2005). «Современное введение в вероятность и статистику». Спрингеровские тексты в статистике . дои : 10.1007/1-84628-168-7. ISBN 978-1-85233-896-1. ISSN  1431-875X.

дальнейшее чтение

Внешние ссылки