Последовательная оценка

Статистическая оценка, сходящаяся по вероятности к истинному параметру по мере увеличения размера выборки.

{ T ₁ , T ₂ , T ₃ , ...} — это последовательность оценок параметра θ ₀ , истинное значение которой равно 4. Эта последовательность непротиворечива: оценки все больше и больше концентрируются вблизи истинного значения θ. ₀ ; в то же время эти оценки являются предвзятыми. Предельное распределение последовательности представляет собой вырожденную случайную величину, равную θ ₀ с вероятностью 1.

В статистике непротиворечивая оценка или асимптотически непротиворечивая оценка — это оценка — правило вычисления оценок параметра θ ₀ — имеющее свойство, заключающееся в том, что по мере неограниченного увеличения количества используемых точек данных результирующая последовательность оценок сходится по вероятности к θ ₀ . . Это означает, что распределения оценок становятся все более концентрированными вблизи истинного значения оцениваемого параметра, так что вероятность нахождения оценки сколь угодно близкой к θ ₀ сходится к единице.

На практике оценщик строится как функция доступной выборки размера n , а затем воображает, что можно продолжать собирать данные и расширять выборку до бесконечности . Таким способом можно было бы получить последовательность оценок, индексированную n , а согласованность — это свойство того, что происходит, когда размер выборки «растет до бесконечности». Если можно математически показать, что последовательность оценок сходится по вероятности к истинному значению θ ₀ , она называется последовательной оценкой; в противном случае говорят, что оценка несовместна .

Согласованность, как она определена здесь, иногда называется слабой согласованностью . Когда мы заменяем сходимость по вероятности сходимостью почти наверняка , тогда говорят, что оценка сильно непротиворечива . Последовательность связана с предвзятостью ; см. предвзятость и последовательность.

Определение

Формально говоря, оценка T _n параметра θ называется слабо состоятельной , если она сходится по вероятности к истинному значению параметра: ^[1]

${\displaystyle {\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}=\theta .}$

т.е. если для всех ε > 0

${\displaystyle \lim _{n\to \infty }\Pr {\big (}|T_{n}-\theta |>\varepsilon {\big )}=0.}$

Оценка T _n параметра θ называется сильно согласованной , если она почти наверняка сходится к истинному значению параметра:

${\displaystyle \Pr {\big (}\lim _{n\to \infty }T_{n}=\theta {\big )}=1.}$

Более строгое определение учитывает тот факт, что θ фактически неизвестен, и, следовательно, сходимость по вероятности должна иметь место для каждого возможного значения этого параметра. Предположим, { p _θ : θ  ∈ Θ } — семейство распределений ( параметрическая модель ), а X ^θ = { X ₁ , X ₂ , … : X _i ~ p _θ } — бесконечная выборка из распределения p _θ . Пусть {  T _n ( X ^θ ) } — последовательность оценок некоторого параметра g ( θ ). Обычно T _n основывается на первых n наблюдениях образца. Тогда эта последовательность { T _n } называется (слабо) непротиворечивой , если ^[2]

${\displaystyle {\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}(X^{\theta })=g(\theta ),\ \ {\text{for all}}\ \theta \in \Theta .}$

В этом определении используется g ( θ ) вместо просто θ , потому что часто интересуются оценкой определенной функции или подвектора основного параметра. В следующем примере мы оцениваем параметр местоположения модели, а не масштаб:

Примеры

Выборочное среднее нормальной случайной величины

Предположим, что у вас есть последовательность статистически независимых наблюдений { X ₁ , X ₂ , ...} из нормального распределения N ( µ ,  σ ² ) . Чтобы оценить µ на ​​основе первых n наблюдений, можно использовать выборочное среднее : T _n  = ( X ₁ + ... + X _n )/ n . Это определяет последовательность оценщиков, индексированную размером выборки n .

Из свойств нормального распределения мы знаем выборочное распределение этой статистики: T _n само по себе нормально распределено со средним значением µ и дисперсией σ ² / n . Эквивалентно, имеет стандартное нормальное распределение: ${\displaystyle \scriptstyle (T_{n}-\mu )/(\sigma /{\sqrt {n}})}$

${\displaystyle \Pr \!\left[\,|T_{n}-\mu |\geq \varepsilon \,\right]=\Pr \!\left[{\frac {{\sqrt {n}}\,{\big |}T_{n}-\mu {\big |}}{\sigma }}\geq {\sqrt {n}}\varepsilon /\sigma \right]=2\left(1-\Phi \left({\frac {{\sqrt {n}}\,\varepsilon }{\sigma }}\right)\right)\to 0}$

когда n стремится к бесконечности, для любого фиксированного ε > 0 . Следовательно, последовательность выборочных средних T _n соответствует генеральному среднему  μ (напоминая, что это кумулятивное распределение нормального распределения). ${\displaystyle \Phi }$

Установление последовательности

Понятие асимптотической непротиворечивости очень близко, почти синонимично понятию сходимости по вероятности. Таким образом, любая теорема, лемма или свойство, устанавливающее сходимость по вероятности, может использоваться для доказательства непротиворечивости. Существует много таких инструментов:

• Чтобы продемонстрировать непротиворечивость непосредственно из определения, можно воспользоваться неравенством ^[3]

${\displaystyle \Pr \!{\big [}h(T_{n}-\theta )\geq \varepsilon {\big ]}\leq {\frac {\operatorname {E} {\big [}h(T_{n}-\theta ){\big ]}}{h(\varepsilon )}},}$

наиболее распространенным выбором для функции h является либо абсолютное значение (в этом случае оно известно как неравенство Маркова ), либо квадратичная функция (соответственно неравенство Чебышева ).

• Еще одним полезным результатом является теорема о непрерывном отображении : если T _n непротиворечива для θ и g (·) — вещественная функция, непрерывная в точке θ , то g ( T _n ) будет непротиворечивой для g ( θ ): ^[4]

${\displaystyle T_{n}\ {\xrightarrow {p}}\ \theta \ \quad \Rightarrow \quad g(T_{n})\ {\xrightarrow {p}}\ g(\theta )}$

• Теорему Слуцкого можно использовать для объединения нескольких разных оценок или оценки с неслучайной сходящейся последовательностью. Если Tn  → ^dα и Sn → _pβ  , то ^[ 5 ^] _{_}

${\displaystyle {\begin{aligned}&T_{n}+S_{n}\ {\xrightarrow {d}}\ \alpha +\beta ,\\&T_{n}S_{n}\ {\xrightarrow {d}}\ \alpha \beta ,\\&T_{n}/S_{n}\ {\xrightarrow {d}}\ \alpha /\beta ,{\text{ provided that }}\beta \neq 0\end{aligned}}}$

• Если оценка T _n задана явной формулой, то, скорее всего, в формуле будут использоваться суммы случайных величин, и тогда можно будет использовать закон больших чисел : для последовательности { X _n } случайных величин и при подходящих условиях

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}g(X_{i})\ {\xrightarrow {p}}\ \operatorname {E} [\,g(X)\,]}$

• Если оценка T _n определена неявно, например, как значение, которое максимизирует определенную целевую функцию (см. экстремальную оценку ), то необходимо использовать более сложный аргумент, включающий стохастическую равнонепрерывность . ^[6]

Предвзятость против последовательности

Беспристрастный, но непоследовательный

Оценка может быть несмещенной , но не состоятельной. Например, для образца iid { x
₁,..., Икс
_н} можно использовать T
_н( Икс ) знак равно х
_нкак оценка среднего значения E[ X ]. Обратите внимание, что здесь выборочное распределение T
_нсовпадает с базовым распределением (для любого n, поскольку оно игнорирует все точки, кроме последней), поэтому E[ T
_н( X )] = E[ X ] и оно несмещено, но не сходится ни к какому значению.

Однако если последовательность оценок несмещена и сходится к некоторому значению, то она непротиворечива, поскольку должна сходиться к правильному значению.

Предвзятый, но последовательный

Альтернативно, оценка может быть предвзятой, но последовательной. Например, если среднее значение оценивается по нему, оно смещено, но при приближении к правильному значению и, следовательно, является последовательным. ${\displaystyle {1 \over n}\sum x_{i}+{1 \over n}}$ ${\displaystyle n\rightarrow \infty }$

Важные примеры включают выборочную дисперсию и выборочное стандартное отклонение . Без поправки Бесселя (то есть при использовании размера выборки вместо степеней свободы ) обе эти оценки являются отрицательно смещенными, но последовательными. С коррекцией скорректированная выборочная дисперсия является несмещенной, в то время как скорректированное стандартное отклонение выборки все еще смещено, но в меньшей степени, и оба по-прежнему согласованы: поправочный коэффициент сходится к 1 по мере увеличения размера выборки. ${\displaystyle n}$ ${\displaystyle n-1}$

Вот еще один пример. Пусть – последовательность оценок для . ${\displaystyle T_{n}}$ ${\displaystyle \theta }$

${\displaystyle \Pr(T_{n})={\begin{cases}1-1/n,&{\mbox{if }}\,T_{n}=\theta \\1/n,&{\mbox{if }}\,T_{n}=n\delta +\theta \end{cases}}}$

Мы видим, что , , и смещение не стремится к нулю. ${\displaystyle T_{n}{\xrightarrow {p}}\theta }$ ${\displaystyle \operatorname {E} [T_{n}]=\theta +\delta }$

Смотрите также

• Эффективный оценщик
• Согласованность Фишера - альтернативная, хотя и редко используемая концепция согласованности для оценщиков.
• Разбавление регрессии
• Статистическая проверка гипотез
• Оценка инструментальных переменных

Примечания

1. Амемия 1985, Определение 3.4.2.
2. Леман и Казелла 1998, стр. 332.
3. Амемия 1985, уравнение (3.2.5).
4. Амемия 1985, Теорема 3.2.6.
5. Амемия 1985, Теорема 3.2.7.
6. Ньюи и Макфадден 1994, Глава 2.

Рекомендации

• Амемия, Такеши (1985). Продвинутая эконометрика . Издательство Гарвардского университета . ISBN 0-674-00560-0.
• Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер. ISBN 0-387-98502-6.
• Ньюи, ВК; Макфадден, Д. (1994). «Глава 36: Оценка большой выборки и проверка гипотез». У Роберта Ф. Энгла; Дэниел Л. Макфадден (ред.). Справочник по эконометрике . Том. 4. Эльзевир Наука. ISBN 0-444-88766-0. S2CID  29436457.
• Никулин, М.С. (2001) [1994], «Согласованная оценка», Энциклопедия математики , EMS Press
• Собер, Э. (1988), «Вероятность и конвергенция», Philosophy of Science , 55 (2): 228–237, doi : 10.1086/289429..

Внешние ссылки

• Лекция по эконометрике (тема: беспристрастность или последовательность) на YouTube Марка Тома