В статистике точечная оценка подразумевает использование выборочных данных для вычисления одного значения (известного как точечная оценка , поскольку оно определяет точку в некотором пространстве параметров ) , которое должно служить «наилучшим предположением» или «наилучшей оценкой» неизвестного параметра совокупности ( например, среднего значения совокупности ). Более формально, это применение точечной оценки к данным для получения точечной оценки.
Точечную оценку можно противопоставить интервальной оценке : такие интервальные оценки обычно являются либо доверительными интервалами в случае частотного вывода , либо достоверными интервалами в случае байесовского вывода . В более общем смысле точечную оценку можно противопоставить оценщику множеств. Примерами служат доверительные множества или достоверные множества. Точечную оценку также можно противопоставить оценщику распределения. Примерами служат доверительные распределения , рандомизированные оценщики и байесовские апостериоры .
« Смещение » определяется как разница между ожидаемым значением оценщика и истинным значением оцениваемого параметра популяции. Также можно сказать, что чем ближе ожидаемое значение параметра к измеренному параметру, тем меньше смещение. Когда оценочное число и истинное значение равны, оценщик считается несмещенным. Это называется несмещенным оценщиком. Оценщик станет лучшим несмещенным оценщиком, если у него минимальная дисперсия . Однако смещенный оценщик с небольшой дисперсией может быть более полезным, чем несмещенный оценщик с большой дисперсией. [1] Самое главное, мы предпочитаем точечные оценщики, которые имеют наименьшие среднеквадратичные ошибки.
Если мы допустим, что T = h(X 1 ,X 2 , . . . , X n ) будет оценкой, основанной на случайной выборке X 1 ,X 2 , . . . , X n , то оценка T называется несмещенной оценкой для параметра θ, если E[T] = θ, независимо от значения θ. [1] Например, из той же случайной выборки мы имеем E(x̄) = μ (среднее) и E(s 2 ) = σ 2 (дисперсия), тогда x̄ и s 2 будут несмещенными оценками для μ и σ 2 . Разность E[T ] − θ называется смещением T ; если эта разность не равна нулю, то T называется смещенным.
Согласованность касается того, остается ли точечная оценка близкой к значению, когда параметр увеличивает свой размер. Чем больше размер выборки, тем точнее оценка. Если точечная оценка согласована, ее ожидаемое значение и дисперсия должны быть близки к истинному значению параметра. Несмещенная оценка согласована, если предел дисперсии оценки T равен нулю.
Пусть T 1 и T 2 будут двумя несмещенными оценками для одного и того же параметра θ . Оценка T 2 будет называться более эффективной, чем оценка T 1 , если Var( T 2 ) < Var( T 1 ), независимо от значения θ . [1] Мы также можем сказать, что наиболее эффективные оценки — это те, у которых наименьшая изменчивость результатов. Следовательно, если оценка имеет наименьшую дисперсию между выборками, она является как наиболее эффективной, так и несмещенной. Мы расширяем понятие эффективности, говоря, что оценка T 2 более эффективна, чем оценка T 1 (для того же интересующего параметра), если MSE ( средняя квадратичная ошибка ) оценки T 2 меньше MSE оценки T 1 . [1]
Как правило, мы должны учитывать распределение совокупности при определении эффективности оценок. Например, в нормальном распределении среднее значение считается более эффективным, чем медиана, но это не относится к асимметричным или перекошенным распределениям.
В статистике работа статистика заключается в интерпретации собранных данных и в выведении статистически обоснованного заключения об исследуемой популяции. Но во многих случаях необработанные данные, которые слишком многочисленны и слишком дороги для хранения, не подходят для этой цели. Поэтому статистик хотел бы сжать данные, вычислив некоторую статистику, и основывать свой анализ на этой статистике, чтобы при этом не было потери релевантной информации, то есть статистик хотел бы выбрать те статистики, которые исчерпывают всю информацию о параметре, содержащемся в выборке. Мы определяем достаточную статистику следующим образом: Пусть X =( X 1 , X 2 , ... ,X n ) будет случайной выборкой. Статистика T(X) считается достаточной для θ (или для семейства распределений), если условное распределение X при заданном T свободно от θ. [2]
Байесовский вывод обычно основан на апостериорном распределении . Многие байесовские точечные оценки являются статистикой центральной тенденции апостериорного распределения , например, его средним значением, медианой или модой:
Оценка MAP имеет хорошие асимптотические свойства, даже для многих сложных задач, в которых оценка максимального правдоподобия имеет трудности. Для обычных задач, где оценка максимального правдоподобия является последовательной, оценка максимального правдоподобия в конечном итоге согласуется с оценкой MAP. [5] [6] [7] Байесовские оценки допустимы , согласно теореме Вальда. [6] [8]
Точечная оценка минимальной длины сообщения ( MML ) основана на байесовской теории информации и не так напрямую связана с апостериорным распределением .
Важны особые случаи байесовских фильтров :
Несколько методов вычислительной статистики тесно связаны с байесовским анализом:
Ниже приведены некоторые часто используемые методы оценки неизвестных параметров, которые, как ожидается, предоставят оценщики, имеющие некоторые из этих важных свойств. В общем, в зависимости от ситуации и цели нашего исследования мы применяем любой из методов, который может быть подходящим среди методов точечной оценки.
Метод максимального правдоподобия , предложенный RA Fisher, является наиболее важным общим методом оценки. Этот метод оценки пытается получить неизвестные параметры, которые максимизируют функцию правдоподобия. Он использует известную модель (например, нормальное распределение) и использует значения параметров в модели, которые максимизируют функцию правдоподобия, чтобы найти наиболее подходящее соответствие для данных. [9]
Пусть X = (X 1 , X 2 , ... ,X n ) обозначает случайную выборку с совместной pdf или pmf f(x, θ) (θ может быть вектором). Функция f(x, θ), рассматриваемая как функция θ, называется функцией правдоподобия. В этом случае она обозначается как L(θ). Принцип максимального правдоподобия состоит в выборе оценки в допустимом диапазоне θ, которая максимизирует правдоподобие. Эта оценка называется оценкой максимального правдоподобия (ОМП) θ. Чтобы получить ОМП θ, мы используем уравнение
dlog L(θ)/ d θ i =0, i = 1, 2, …, k. Если θ — вектор, то для получения уравнений правдоподобия рассматриваются частные производные. [2]
Метод моментов был введен К. Пирсоном и П. Чебышевым в 1887 году, и это один из старейших методов оценки. Этот метод основан на законе больших чисел , который использует все известные факты о популяции и применяет эти факты к выборке популяции, выводя уравнения, связывающие моменты популяции с неизвестными параметрами. Затем мы можем решить с помощью выборочного среднего моментов популяции. [10] Однако из-за простоты этот метод не всегда точен и может быть легко смещен.
Пусть (X 1 , X 2 ,…X n ) — случайная выборка из популяции, имеющей pdf (или pmf) f(x,θ), θ = (θ 1 , θ 2 , …, θ k ). Цель состоит в том, чтобы оценить параметры θ 1 , θ 2 , ..., θ k . Далее, пусть первые k моментов популяции относительно нуля существуют как явная функция θ, т. е. μ r = μ r (θ 1 , θ 2 ,…, θ k ), r = 1, 2, …, k. В методе моментов мы приравниваем k моментов выборки к соответствующим моментам популяции. Обычно берутся первые k моментов, поскольку ошибки из-за выборки увеличиваются с порядком момента. Таким образом, получаем k уравнений μ r (θ 1 , θ 2 ,…, θ k ) = m r , r = 1, 2, …, k. Решая эти уравнения, получаем метод моментных оценок (или оценок) в виде
m r = 1/n ΣX i r . [2] См. также обобщенный метод моментов .
В методе наименьших квадратов мы рассматриваем оценку параметров с использованием некоторой заданной формы математического ожидания и второго момента наблюдений. Для
Подгоняя кривую вида y = f( x, β 0 , β 1 , ,,,, β p ) к данным (x i , y i ), i = 1, 2,…n, мы можем использовать метод наименьших квадратов. Этот метод заключается в минимизации
сумма квадратов.
Когда f(x, β 0 , β 1 , ,,,, β p ) является линейной функцией параметров и известны значения x, оценка наименьших квадратов будет наилучшей линейной несмещенной оценкой (BLUE). Опять же, если мы предположим, что оценки наименьших квадратов независимо и одинаково нормально распределены, то линейная оценка будет минимально-дисперсионной несмещенной оценкой (MVUE) для всего класса несмещенных оценок. См. также минимальную среднеквадратичную ошибку (MMSE). [2]
Метод несмещенной оценки с минимальной дисперсией минимизирует риск (ожидаемые потери) функции потерь квадратичной ошибки .
Медианно-несмещенная оценка минимизирует риск функции потерь абсолютной ошибки.
Лучшая линейная несмещенная оценка , также известная как теорема Гаусса-Маркова, утверждает, что оценка по методу наименьших квадратов (МНК) имеет самую низкую дисперсию выборки в классе линейных несмещенных оценок, если ошибки в модели линейной регрессии некоррелированы, имеют равные дисперсии и математическое ожидание, равное нулю. [11]
Существует два основных типа оценок: точечная оценка и оценка доверительного интервала . В точечной оценке мы пытаемся выбрать уникальную точку в пространстве параметров, которую можно обоснованно считать истинным значением параметра. С другой стороны, вместо уникальной оценки параметра мы заинтересованы в построении семейства множеств, которые содержат истинное (неизвестное) значение параметра с заданной вероятностью. Во многих задачах статистического вывода мы не заинтересованы только в оценке параметра или проверке некоторой гипотезы относительно параметра, мы также хотим получить нижнюю или верхнюю границу или и то, и другое для действительного параметра. Для этого нам нужно построить доверительный интервал.
Доверительный интервал описывает, насколько надежна оценка. Мы можем вычислить верхний и нижний доверительные пределы интервалов из наблюдаемых данных. Предположим, что дан набор данных x 1 , . . . , x n , смоделированный как реализация случайных величин X 1 , . . . , X n . Пусть θ — интересующий нас параметр, а γ — число от 0 до 1. Если существуют выборочные статистики L n = g(X 1 , . . . , X n ) и U n = h(X 1 , . . . , X n ) такие, что P(L n < θ < U n ) = γ для каждого значения θ, то (l n , u n ), где l n = g(x 1 , . . . , x n ) и u n = h(x 1 , . . . , x n ), называется 100γ% доверительным интервалом для θ. Число γ называется уровнем доверительной вероятности . [1] В общем случае, при нормально распределенном среднем значении выборки, Ẋ, и известном значении стандартного отклонения, σ, 100(1-α)% доверительный интервал для истинного μ формируется путем взятия Ẋ ± e, с e = z 1-α/2 (σ/n 1/2 ), где z 1-α/2 — это 100(1-α/2)% кумулятивное значение стандартной нормальной кривой, а n — количество значений данных в этом столбце. Например, z 1-α/2 равно 1,96 для 95% достоверности. [12]
Здесь два предела вычисляются из набора наблюдений, скажем, l n и u n , и утверждается с определенной степенью уверенности (измеренной в вероятностных терминах), что истинное значение γ лежит между l n и u n . Таким образом, мы получаем интервал (l n и u n ), который, как мы ожидаем, будет включать истинное значение γ(θ). Поэтому этот тип оценки называется оценкой доверительного интервала. [2] Эта оценка предоставляет диапазон значений, в которых, как ожидается, будет находиться параметр. Она, как правило, дает больше информации, чем точечные оценки, и является предпочтительной при выводе выводов. В некотором смысле, мы можем сказать, что точечная оценка является противоположностью интервальной оценки.
