В статистике смещение оценщика (или функции смещения ) — это разница между ожидаемым значением этого оценщика и истинным значением оцениваемого параметра. Оценщик или правило принятия решения с нулевым смещением называется несмещенным . В статистике «предвзятость» — это объективное свойство оценщика. Смещение - это понятие, отличное от последовательности : непротиворечивые оценки сходятся по вероятности к истинному значению параметра, но могут быть смещенными или несмещенными; см. предвзятость и последовательность для получения дополнительной информации.
При прочих равных условиях несмещенная оценка предпочтительнее, чем смещенная, хотя на практике часто используются смещенные оценки (как правило, с небольшой погрешностью). При использовании смещенной оценки вычисляются границы смещения. Смещенная оценка может использоваться по разным причинам: потому что несмещенная оценка не существует без дополнительных предположений о совокупности; потому что оценщик трудно вычислить (как при несмещенной оценке стандартного отклонения ); потому что смещенная оценка может быть несмещенной по отношению к различным мерам центральной тенденции ; потому что смещенная оценка дает более низкое значение некоторой функции потерь (особенно среднеквадратичной ошибки ) по сравнению с несмещенными оценками (особенно в оценках усадки ); или потому, что в некоторых случаях несмещенность является слишком строгим условием, и единственные несмещенные оценки бесполезны.
Смещение также можно измерить по отношению к медиане , а не к среднему (ожидаемому значению), и в этом случае можно отличить медианное несмещенное от обычного свойства средней несмещенной. Несмещенность к среднему не сохраняется при нелинейных преобразованиях , хотя несмещенность к среднему сохраняется (см. § Эффект преобразований); например, выборочная дисперсия является смещенной оценкой генеральной дисперсии. Все это проиллюстрировано ниже.
Непредвзятая оценка параметра не всегда должна существовать. Например, не существует несмещенной оценки обратной величины параметра биномиальной случайной величины. [1]
Предположим , у нас есть статистическая модель , параметризованная действительным числом θ , дающая распределение вероятностей для наблюдаемых данных, и статистика , которая служит оценкой θ на основе любых наблюдаемых данных . То есть мы предполагаем, что наши данные соответствуют некоторому неизвестному распределению (где θ — фиксированная неизвестная константа, которая является частью этого распределения), а затем мы создаем некоторый оценщик , который отображает наблюдаемые данные в значения, которые, как мы надеемся, близки к θ . Смещение относительно определяется как [ 2 ]
где обозначает ожидаемое значение по распределению (т. е. усреднение по всем возможным наблюдениям ). Второе уравнение следует из того, что θ измеримо относительно условного распределения .
Оценщик считается несмещенным, если его смещение равно нулю для всех значений параметра θ или, что то же самое, если ожидаемое значение средства оценки соответствует ожидаемому значению параметра. [3] Непредвзятость не гарантирована. Например, если является несмещенной оценкой параметра θ , не гарантируется, что g( ) является несмещенной оценкой для g( θ). [4]
В моделирующем эксперименте, касающемся свойств оценщика, смещение оценщика можно оценить, используя среднюю знаковую разность .
Выборочная дисперсия случайной величины демонстрирует два аспекта систематической ошибки оценки: во-первых, наивная оценка является смещенной, что можно исправить с помощью масштабного коэффициента; во-вторых, несмещенная оценка не является оптимальной с точки зрения среднеквадратической ошибки (MSE), которую можно минимизировать, используя другой масштабный коэффициент, что приводит к смещенной оценке с более низким MSE, чем у несмещенной оценки. Конкретно, наивная оценка суммирует квадраты отклонений и делит их на n, что является смещением. Вместо этого деление на n - 1 дает несмещенную оценку. И наоборот, MSE можно минимизировать путем деления на другое число (в зависимости от распределения), но это приводит к смещенной оценке. Это число всегда больше, чем n - 1, поэтому оно известно как оценка сжатия , поскольку оно «сжимает» несмещенную оценку к нулю; для нормального распределения оптимальное значение равно n + 1.
Предположим, что X 1 , ..., X n являются независимыми и одинаково распределенными (iid) случайными величинами с математическим ожиданием µ и дисперсией σ 2 . Если выборочное среднее и неисправленная выборочная дисперсия определяются как
тогда S2 является смещенной оценкой σ2 , поскольку
В продолжение заметим, что вычитая из обеих частей , получаем
Значение (путем перекрестного умножения) . Тогда предыдущее становится:
В этом можно убедиться, обратив внимание на следующую формулу, которая следует из формулы Бьенеме для члена неравенства для ожидания нескорректированной выборочной дисперсии, приведенной выше: .
Другими словами, ожидаемое значение нескорректированной выборочной дисперсии не равно популяционной дисперсии σ 2 , если не умножено на коэффициент нормализации. С другой стороны, выборочное среднее является несмещенной [5] оценкой генерального среднего ц . [3]
Обратите внимание, что обычно выборочная дисперсия определяется как , и это несмещенная оценка генеральной дисперсии.
Алгебраически говоря, является несмещенным, потому что:
где переход ко второй строке использует результат, полученный выше для смещенной оценки. Таким образом , и, следовательно, является несмещенной оценкой генеральной дисперсии σ 2 . Отношение между смещенной (нескорректированной) и несмещенной оценками дисперсии известно как поправка Бесселя .
Причина, по которой нескорректированная выборочная дисперсия S 2 является смещенной, связана с тем фактом, что выборочное среднее представляет собой обычную оценку методом наименьших квадратов (OLS) для μ : это число, которое делает сумму минимально возможной. То есть, когда в эту сумму подставляется любое другое число, сумма может только увеличиваться. В частности, выбор дает,
а потом
Вышеупомянутое обсуждение можно понять в геометрических терминах: вектор можно разложить на «среднюю часть» и «дисперсионную часть» путем проецирования в направлении и на ортогональную дополнительную гиперплоскость этого направления. Получают как за сопутствующую, так и за дополнительную часть. Так как это ортогональное разложение, то теорема Пифагора гласит , и взяв математическое ожидание, мы получим , как указано выше (но времена ). Если распределение вращательно-симметрично, как в случае, когда производится выборка из гауссианы, то в среднем размерность вдоль вносит такой же вклад, как и направления, перпендикулярные , так что и . В целом это действительно так, как объяснялось выше.
Гораздо более крайний случай, когда смещенная оценка лучше, чем любая несмещенная оценка, возникает из распределения Пуассона . [6] [7] Предположим, что X имеет распределение Пуассона с математическим ожиданием λ . Предположим, что требуется оценить
с выборкой размером 1. (Например, если входящие вызовы на телефонный коммутатор моделируются как процесс Пуассона, а λ — среднее количество вызовов в минуту, то e −2 λ — вероятность того, что в следующие две минуты.)
Так как математическое ожидание несмещенной оценки δ ( X ) равно оценке , т.е.
единственная функция данных, составляющих несмещенную оценку, - это
Чтобы убедиться в этом, обратите внимание, что при разложении e − λ из приведенного выше выражения для ожидания оставшаяся сумма также представляет собой разложение e − λ в ряд Тейлора , что дает e − λ e − λ = e −2 λ (см. Характеристики показательной функции ).
Если наблюдаемое значение X равно 100, то оценка равна 1, хотя истинное значение оцениваемой величины, скорее всего, будет около 0, что является противоположным крайним значением. А если X равен 101, то оценка становится еще более абсурдной: она равна -1, хотя оцениваемая величина должна быть положительной.
(Смещенная) оценка максимального правдоподобия
намного лучше, чем эта несмещенная оценка. Его значение не только всегда положительно, но и более точно в том смысле, что его среднеквадратическая ошибка
меньше; сравнить СКО несмещенной оценки
СКО являются функциями истинного значения λ . Смещение оценки максимального правдоподобия:
Смещение оценок максимального правдоподобия может быть существенным. Рассмотрим случай, когда n билетов с номерами от 1 до n помещены в коробку, и один из них выбирается случайным образом, что дает значение X. Если n неизвестно, то оценкой максимального правдоподобия n является X , даже если математическое ожидание X при заданном n равно только ( n + 1)/2; мы можем быть уверены только в том, что n не меньше X , а возможно, и больше. В этом случае естественная несмещенная оценка равна 2 X − 1.
Теория медианно -несмещенных оценок была возрождена Джорджем Брауном в 1947 году: [8]
Оценка одномерного параметра θ будет называться несмещенной по медиане, если при фиксированном θ медиана распределения оценки равна значению θ; т. е. оценка занижается так же часто, как и переоценивается. Кажется, что для большинства целей это требование удовлетворяет тем же требованиям, что и требование несмещенности по среднему, и обладает дополнительным свойством, состоящим в том, что оно инвариантно относительно взаимно однозначного преобразования.
Дополнительные свойства несмещенных по медиане оценок были отмечены Леманном, Бирнбаумом, ван дер Ваартом и Пфанзаглем. [ нужна ссылка ] В частности, несмещенные по медиане оценки существуют в тех случаях, когда не существуют несмещенные по среднему оценки и оценки максимального правдоподобия . Они инвариантны относительно взаимно однозначных преобразований .
Существуют методы построения несмещенных по медиане оценок для распределений вероятностей, которые имеют монотонные функции правдоподобия , такие как однопараметрические экспоненциальные семейства, чтобы гарантировать, что они оптимальны (в смысле, аналогичном свойству минимальной дисперсии, рассматриваемому для несмещенных к среднему оценок). . [9] [10] Одна из таких процедур является аналогом процедуры Рао-Блэквелла для несмещенных в среднем оценок: процедура справедлива для меньшего класса распределений вероятностей, чем процедура Рао-Блэквелла для несмещенных в среднем оценок, но для большего класс функций потерь. [10]
Любая несмещенная по среднему оценщик с минимальной дисперсией минимизирует риск ( ожидаемые потери ) по отношению к функции потерь квадратичной ошибки (среди несмещенных по среднему оценок), как заметил Гаусс . [11] Медианно -несмещенная оценка с минимальным и средним абсолютным отклонением минимизирует риск в отношении функции абсолютных потерь (среди медианно-несмещенных оценок), как заметил Лаплас . [11] [12] В статистике используются и другие функции потерь, особенно в робастной статистике . [11] [13]
Для одномерных параметров несмещенные по медиане оценки остаются несмещенными по медиане при преобразованиях , сохраняющих порядок (или обратный порядок). Обратите внимание, что когда преобразование применяется к несмещенной к среднему оценке, результат не обязательно должен быть несмещенной к среднему оценке соответствующей статистики населения. Согласно неравенству Йенсена , выпуклая функция при преобразовании будет вносить положительное смещение, тогда как вогнутая функция будет вносить отрицательное смещение, а функция смешанной выпуклости может вносить смещение в любом направлении, в зависимости от конкретной функции и распределения. То есть для нелинейной функции f и несмещенной в среднем оценки U параметра p составная оценка f ( U ) не обязательно должна быть несмещенной в среднем оценкой f ( p ). Например, квадратный корень из несмещенной оценки дисперсии генеральной совокупности не является несмещенной оценкой стандартного отклонения генеральной совокупности : квадратный корень из несмещенной дисперсии выборки , скорректированное стандартное отклонение выборки , является смещенным. Смещение зависит как от выборочного распределения оценщика, так и от преобразования, и его расчет может быть весьма сложным - см. обсуждение в этом случае несмещенной оценки стандартного отклонения .
Хотя смещение количественно определяет среднюю ожидаемую разницу между оценщиком и базовым параметром, можно дополнительно ожидать, что оценщик, основанный на конечной выборке, будет отличаться от параметра из-за случайности в выборке. Оценщик, который минимизирует смещение, не обязательно минимизирует среднеквадратическую ошибку. Одной мерой, которая используется для отражения обоих типов различий , является среднеквадратическая ошибка [2] .
Можно показать, что оно равно квадрату смещения плюс дисперсия: [2]
Когда параметр является вектором, применяется аналогичное разложение: [14]
где — след (диагональная сумма) ковариационной матрицы оценки, а — норма квадратного вектора .
Например, в [15] предположим, что имеется оценка вида
ищется дисперсия генеральной совокупности, как указано выше, но на этот раз для минимизации MSE:
Если переменные X 1 ... X n подчиняются нормальному распределению, то nS 2 /σ 2 имеет распределение хи-квадрат с n − 1 степенями свободы, что дает:
и так
С помощью небольшой алгебры можно подтвердить, что именно c = 1/( n + 1) минимизирует эту объединенную функцию потерь, а не c = 1/( n - 1), которая минимизирует только квадрат смещения.
В более общем плане только в ограниченных классах задач будет существовать средство оценки, которое минимизирует MSE независимо от значений параметров.
Однако очень часто можно предположить, что существует компромисс между смещением и дисперсией , когда небольшое увеличение смещения можно обменять на большее уменьшение дисперсии, что в целом приводит к более желательной оценке.
Большинство байесовцев совершенно не беспокоится о несмещенности (по крайней мере, в формальном смысле теории выборки, изложенном выше) своих оценок. Например, Гельман и соавторы (1995) пишут: «С байесовской точки зрения принцип несмещенности разумен в пределах больших выборок, но в остальном он потенциально вводит в заблуждение». [16]
По сути, разница между байесовским подходом и описанным выше подходом теории выборки заключается в том, что в подходе теории выборки параметр считается фиксированным, а затем рассматриваются вероятностные распределения статистики на основе прогнозируемого выборочного распределения данных. Однако для байесовского подхода это данные , которые известны и фиксированы, и это неизвестный параметр, для которого делается попытка построить распределение вероятностей, используя теорему Байеса :
Здесь второй член — вероятность данных при неизвестном значении параметра θ — зависит только от полученных данных и моделирования процесса генерации данных. Однако байесовский расчет также включает в себя первый член, априорную вероятность для θ, которая учитывает все, что аналитик может знать или подозревать о θ до того, как поступят данные. Эта информация не играет никакой роли в подходе теории выборки; действительно, любая попытка включить его будет рассматриваться как «отклонение» от того, на что указывают исключительно данные. Поскольку байесовские расчеты включают в себя априорную информацию, поэтому практически неизбежно, что их результаты не будут «несмещенными» с точки зрения теории выборки.
Но результаты байесовского подхода могут отличаться от подхода теории выборки, даже если байесовский подход пытается принять «неинформативный» априор.
Например, снова рассмотрим оценку неизвестной дисперсии генеральной совокупности σ 2 нормального распределения с неизвестным средним значением, где желательно оптимизировать c в функции ожидаемых потерь.
Стандартным выбором неинформативного априора для этой задачи является априор Джеффриса , что эквивалентно принятию плоского априора, инвариантного к масштабированию, для ln(σ 2 ) .
Одним из последствий принятия этого принципа является то, что S 2 /σ 2 остается основной величиной , т.е. распределение вероятностей S 2 /σ 2 зависит только от S 2 /σ 2 , независимо от значения S 2 или σ 2 :
Однако в то время как
в отличие
- когда математическое ожидание принимается за распределение вероятностей σ 2 при заданном S 2 , как это происходит в байесовском случае, а не на S 2 при заданном σ 2 , нельзя больше принимать σ 4 как константу и вычитать ее. Следствием этого является то, что по сравнению с расчетом по теории выборки байесовский расчет придает больший вес большим значениям σ 2 , правильно учитывая (а расчет по теории выборки не может), что при этой функции квадрата потерь следствие недооценка больших значений σ 2 обходится дороже с точки зрения квадрата потерь, чем переоценка малых значений σ 2 .
Разработанный байесовский расчет дает масштабированное обратное распределение хи-квадрат с n - 1 степенями свободы для апостериорного распределения вероятностей σ 2 . Ожидаемые потери минимизируются, когда cnS 2 = <σ 2 >; это происходит, когда c = 1/( n − 3).
Таким образом, даже при неинформативном априорном подходе байесовский расчет может не дать такого же результата по минимизации ожидаемых потерь, как соответствующий расчет по теории выборки.