В статистике точечная оценка предполагает использование выборочных данных для расчета одного значения (известного как точечная оценка , поскольку оно идентифицирует точку в некотором пространстве параметров ) , которое должно служить «наилучшим предположением» или «наилучшей оценкой» неизвестного значения. параметр населения (например, среднее значение населения ). Более формально, это применение точечной оценки к данным для получения точечной оценки.
Точечную оценку можно противопоставить интервальной оценке : такие интервальные оценки обычно представляют собой либо доверительные интервалы в случае частотного вывода , либо доверительные интервалы в случае байесовского вывода . В более общем смысле, точечную оценку можно противопоставить оценщику множеств. Примеры даны доверительными наборами или достоверными наборами. Точечную оценку также можно противопоставить оценке распределения. Примеры даются доверительными распределениями , рандомизированными оценками и байесовскими апостериорами .
« Смещение » определяется как разница между ожидаемым значением оценщика и истинным значением оцениваемого параметра совокупности. Также можно описать, что чем ближе ожидаемое значение параметра к измеренному параметру, тем меньше смещение. Когда предполагаемое число и истинное значение равны, оценщик считается несмещенным. Это называется несмещенной оценкой. Оценщик станет лучшим несмещенным оценщиком , если он будет иметь минимальную дисперсию . Однако смещенная оценка с небольшой дисперсией может быть более полезной, чем несмещенная оценка с большой дисперсией. [1] Самое главное, мы предпочитаем точечные оценки, которые имеют наименьшие среднеквадратические ошибки.
Если мы позволим T = h(X 1 ,X 2 , . . . , X n ) быть оценщиком, основанным на случайной выборке X 1 ,X 2 , . . . , X n оценка T называется несмещенной оценкой параметра θ, если E[T] = θ, независимо от значения θ. [1] Например, из одной и той же случайной выборки мы имеем E(x̄) = µ (среднее) и E(s 2 ) = σ 2 (дисперсия), тогда x̄ и s 2 будут несмещенными оценками для µ и σ 2 . Разница E[T] − θ называется смещением T; если эта разность отлична от нуля, то T называется смещенным.
Согласованность заключается в том, остается ли точечная оценка близкой к значению, когда параметр увеличивает свой размер. Чем больше размер выборки, тем точнее оценка. Если точечная оценка согласована, ее ожидаемое значение и дисперсия должны быть близки к истинному значению параметра. Несмещенная оценка является состоятельной, если предел дисперсии оценки T равен нулю.
Пусть T 1 и T 2 — две несмещенные оценки одного и того же параметра θ . Оценка T2 будет называться более эффективной , чем оценка T1 , если Var( T2 ) < Var( T1 ), независимо от значения θ . [1] Мы также можем сказать, что наиболее эффективными оценщиками являются те, у которых наименьшая вариативность результатов. Следовательно, если оценщик имеет наименьшую дисперсию между выборками, он является наиболее эффективным и несмещенным. Мы расширяем понятие эффективности, говоря, что оценка T 2 более эффективна, чем оценка T 1 (для того же интересующего параметра), если MSE ( среднеквадратическая ошибка ) T 2 меньше, чем MSE T 1 . [1]
Как правило, мы должны учитывать распределение населения при определении эффективности оценщиков. Например, при нормальном распределении среднее значение считается более эффективным, чем медиана, но то же самое не применимо к асимметричным или асимметричным распределениям.
В статистике работа статистика состоит в том, чтобы интерпретировать собранные данные и сделать статистически обоснованные выводы об исследуемой популяции. Но во многих случаях необработанные данные, которых слишком много и которые слишком дорого хранить, для этой цели не подходят. Следовательно, статистик хотел бы сжать данные, вычислив некоторые статистические данные, и основывать свой анализ на этих статистических данных, чтобы при этом не было потери соответствующей информации, то есть статистик хотел бы выбрать те статистические данные, которые исчерпывают всю информацию о параметр, который содержится в образце. Мы определяем достаточную статистику следующим образом: Пусть X =( X 1 , X 2 , ... ,X n ) — случайная выборка. Говорят, что статистика T(X) достаточна для θ (или для семейства распределений), если условное распределение X при условии T свободно от θ. [2]
Байесовский вывод обычно основан на апостериорном распределении . Многие байесовские точечные оценки представляют собой статистику апостериорного распределения центральной тенденции , например, ее среднего значения, медианы или моды:
Оценка MAP имеет хорошие асимптотические свойства даже для многих сложных задач, в которых оценка максимального правдоподобия сталкивается с трудностями. Для обычных задач, где оценка максимального правдоподобия согласована, оценка максимального правдоподобия в конечном итоге согласуется с оценкой MAP. [5] [6] [7] Байесовские оценки допустимы по теореме Вальда. [6] [8]
Точечная оценка минимальной длины сообщения ( MML ) основана на байесовской теории информации и не имеет прямого отношения к апостериорному распределению .
Важны особые случаи байесовских фильтров :
Некоторые методы вычислительной статистики тесно связаны с байесовским анализом:
Ниже приведены некоторые часто используемые методы оценки неизвестных параметров, которые, как ожидается, позволят получить оценки, обладающие некоторыми из этих важных свойств. В общем, в зависимости от ситуации и цели нашего исследования мы применяем любой из методов, который может подойти среди методов точечной оценки.
Метод максимального правдоподобия , по Р.А. Фишеру, является важнейшим общим методом оценки. Этот метод оценки пытается получить неизвестные параметры, которые максимизируют функцию правдоподобия. Он использует известную модель (например, нормальное распределение) и значения параметров модели, которые максимизируют функцию правдоподобия, чтобы найти наиболее подходящее соответствие данным. [9]
Пусть X = (X 1 , X 2 , ... ,X n ) обозначает случайную выборку с совместной PDF или pmf f(x, θ) (θ может быть вектором). Функция f(x, θ), рассматриваемая как функция θ, называется функцией правдоподобия. В этом случае он обозначается L(θ). Принцип максимального правдоподобия состоит в выборе оценки в допустимом диапазоне θ, которая максимизирует правдоподобие. Эта оценка называется оценкой максимального правдоподобия (MLE) θ. Чтобы получить MLE для θ, мы используем уравнение
dlog L(θ)/ d θ i =0, i = 1, 2, …, k. Если θ является вектором, то для получения уравнений правдоподобия рассматриваются частные производные. [2]
Метод моментов был введен К. Пирсоном и П. Чебышевым в 1887 году и является одним из старейших методов оценки. Этот метод основан на законе больших чисел , который использует все известные факты о популяции и применяет эти факты к выборке совокупности путем вывода уравнений, которые связывают моменты популяции с неизвестными параметрами. Затем мы можем решить, используя выборочное среднее совокупных моментов. [10] Однако из-за простоты этот метод не всегда точен и может легко оказаться необъективным.
Пусть (X 1 , X 2 ,…X n ) будет случайной выборкой из совокупности, имеющей pdf (или pmf) f(x, θ), θ = (θ 1 , θ 2 , …, θ k ). Цель состоит в том, чтобы оценить параметры θ 1 , θ 2 , ..., θ k . Далее, пусть первые k моментов численности около нуля существуют как явная функция от θ, т.е. µ r = µ r (θ 1 , θ 2 ,…, θ k ), r = 1, 2, …, k. В методе моментов мы приравниваем k выборочных моментов к соответствующим моментам популяции. Обычно берутся первые k моментов, поскольку ошибки, связанные с выборкой, увеличиваются с порядком момента. Таким образом, мы получаем k уравнений µ r (θ 1 , θ 2 ,…, θ k ) = m r , r = 1, 2, …, k. Решая эти уравнения, мы получаем метод моментных оценок (или оценок) как
м р знак равно 1/n ΣX я р . [2] См. также обобщенный метод моментов .
В методе наименьших квадратов мы рассматриваем оценку параметров с использованием некоторой заданной формы ожидания и второго момента наблюдений. Для
подгоняя кривую вида y = f( x, β 0 , β 1 , ,,, β p ) к данным (x i , y i ), i = 1, 2,… n, мы можем использовать метод наименьших квадратов. Этот метод заключается в минимизации
сумма квадратов.
Когда f(x, β 0 , β 1 , ,,,, β p ) является линейной функцией параметров и значения x известны, методы наименьших квадратов будут лучшими линейными несмещенными оценщиками (СИНИЙ). Опять же, если мы предположим, что оценки наименьших квадратов независимо и одинаково нормально распределены, то линейная оценка будет несмещенной оценкой с минимальной дисперсией (MVUE) для всего класса несмещенных оценок. См. также минимальную среднеквадратическую ошибку (MMSE). [2]
Метод несмещенной оценки минимальной дисперсии минимизирует риск (ожидаемые потери) функции потерь квадратичной ошибки .
Медианно-несмещенная оценка минимизирует риск функции потери абсолютной ошибки.
Лучшая линейная несмещенная оценка , также известная как теорема Гаусса-Маркова, утверждает, что обычная оценка наименьших квадратов (OLS) имеет самую низкую дисперсию выборки в классе линейных несмещенных оценок, если ошибки в модели линейной регрессии некоррелированы, имеют равные дисперсии и математическое ожидание равно нулю. [11]
Существует два основных типа оценок: точечная оценка и оценка доверительного интервала . При точечной оценке мы пытаемся выбрать уникальную точку в пространстве параметров, которую можно разумно рассматривать как истинное значение параметра. С другой стороны, вместо однозначной оценки параметра нас интересует построение семейства множеств, содержащих истинное (неизвестное) значение параметра с заданной вероятностью. Во многих задачах статистического вывода нас интересует не только оценка параметра или проверка некоторой гипотезы относительно параметра, мы также хотим получить нижнюю или верхнюю границу или и то, и другое для действительнозначного параметра. Для этого нам нужно построить доверительный интервал.
Доверительный интервал описывает, насколько надежна оценка. Мы можем рассчитать верхний и нижний доверительные пределы интервалов на основе наблюдаемых данных. Предположим, набор данных x 1 , . . . , x n задано, смоделировано как реализация случайных величин X 1 , . . . , Х н . Пусть θ — интересующий параметр, а γ — число от 0 до 1. Если существуют выборочные статистики L n = g(X 1 , . . ., X n ) и U n = h(X 1 , . . ., X n ) такой, что P(L n < θ < U n ) = γ для любого значения θ, тогда (l n , un ) , где l n = g(x 1 , . . ., x n ) и u n = h(x 1 ,..., x n ) называется 100γ% доверительным интервалом для θ. Число γ называется уровнем доверия . [1] В общем, при нормально распределенном выборочном среднем Ẋ и известном значении стандартного отклонения σ 100(1-α)% доверительный интервал для истинного µ формируется путем принятия Ẋ ± e, где e = z 1-α/2 (σ/n 1/2 ), где z 1-α/2 — 100(1-α/2)% совокупное значение стандартной нормальной кривой, а n — количество значения данных в этом столбце. Например, z 1-α/2 равно 1,96 при доверительной вероятности 95%. [12]
Здесь два предела вычисляются на основе набора наблюдений, скажем, ln и un , и с определенной степенью уверенности (измеренной в вероятностных терминах) утверждается, что истинное значение γ лежит между ln и un . Таким образом, мы получаем интервал (l n и un ) , который, как мы ожидаем, будет включать истинное значение γ(θ). Поэтому этот тип оценки называется оценкой доверительного интервала. [2] Эта оценка обеспечивает диапазон значений, в которых ожидается, что параметр будет лежать. Обычно он дает больше информации, чем точечные оценки, и его предпочитают при построении выводов. В некотором смысле мы можем сказать, что точечная оценка является противоположностью интервальной оценки.
