Последовательный оценщик

Статистическая оценка, сходящаяся по вероятности к истинному параметру по мере увеличения размера выборки

{ T ₁ , T ₂ , T ₃ , ...} — последовательность оценок для параметра θ ₀ , истинное значение которого равно 4. Эта последовательность является последовательной: оценки все больше концентрируются вблизи истинного значения θ ₀ ; в то же время эти оценки смещены. Предельное распределение последовательности — вырожденная случайная величина, которая равна θ ₀ с вероятностью 1.

В статистике состоятельный оценщик или асимптотически состоятельный оценщик — это оценщик — правило для вычисления оценок параметра θ ₀ — обладающий тем свойством, что при неограниченном увеличении числа используемых точек данных результирующая последовательность оценок сходится по вероятности к θ ₀ . Это означает, что распределения оценок становятся все более и более сконцентрированными вблизи истинного значения оцениваемого параметра, так что вероятность того, что оценщик будет произвольно близок к θ _{0 ,} сходится к единице.

На практике оценщик строится как функция доступной выборки размера n , а затем представляется возможность продолжать собирать данные и расширять выборку до бесконечности . Таким образом, можно получить последовательность оценок, индексированных по n , а согласованность является свойством того, что происходит, когда размер выборки «растет до бесконечности». Если можно математически показать, что последовательность оценок сходится по вероятности к истинному значению θ ₀ , она называется согласованной оценкой; в противном случае оценщик называется несогласованной .

Согласованность, как она определена здесь, иногда называют слабой согласованностью . Когда мы заменяем сходимость по вероятности на почти верную сходимость , то говорят, что оценка сильно согласована . Согласованность связана со смещением ; см. смещение против согласованности.

Определение

Формально говоря, оценка T _n параметра θ называется слабо состоятельной , если она сходится по вероятности к истинному значению параметра: ^[1]

${\displaystyle {\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}=\theta .}$

т.е. если для всех ε > 0

${\displaystyle \lim _{n\to \infty }\Pr {\big (}|T_{n}-\theta |>\varepsilon {\big )}=0.}$

Говорят, что оценка T n _{параметра} θ строго согласована , если она почти наверняка сходится к истинному значению параметра:

${\displaystyle \Pr {\big (}\lim _{n\to \infty }T_{n}=\theta {\big )}=1.}$

Более строгое определение учитывает тот факт, что θ на самом деле неизвестно, и, таким образом, сходимость по вероятности должна иметь место для каждого возможного значения этого параметра. Предположим, что { p _θ : θ  ∈ Θ } — семейство распределений ( параметрическая модель ), а X ^θ = { X ₁ , X ₂ , … : X _i ~ p _θ } — бесконечная выборка из распределения p _θ . Пусть {  T _n ( X ^θ ) } — последовательность оценок для некоторого параметра g ( θ ). Обычно T _n будет основываться на первых n наблюдениях выборки. Тогда эта последовательность { T _n } называется (слабо) согласованной , если ^[2]

${\displaystyle {\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}(X^{\theta })=g(\theta ),\ \ {\text{for all}}\ \theta \in \Theta .}$

Это определение использует g ( θ ) вместо просто θ , поскольку часто интересуются оценкой определенной функции или подвектора базового параметра. В следующем примере мы оцениваем параметр местоположения модели, но не масштаб:

Примеры

Выборочное среднее значение нормальной случайной величины

Предположим, что имеется последовательность статистически независимых наблюдений { X ₁ , X ₂ , ...} из нормального распределения N ( μ ,  σ 2 ) . Чтобы оценить μ на основе первых n наблюдений, можно использовать выборочное среднее : T _n  = ( X ₁ + ... + X _n )/ n . Это определяет последовательность оценок, индексированных по размеру выборки n .

Из свойств нормального распределения мы знаем выборочное распределение этой статистики: T _n сама по себе нормально распределена со средним значением μ и дисперсией σ ² / n . Эквивалентно, имеет стандартное нормальное распределение: ${\displaystyle \scriptstyle (T_{n}-\mu )/(\sigma /{\sqrt {n}})}$

${\displaystyle \Pr \!\left[\,|T_{n}-\mu |\geq \varepsilon \,\right]=\Pr \!\left[{\frac {{\sqrt {n}}\,{\big |}T_{n}-\mu {\big |}}{\sigma }}\geq {\sqrt {n}}\varepsilon /\sigma \right]=2\left(1-\Phi \left({\frac {{\sqrt {n}}\,\varepsilon }{\sigma }}\right)\right)\to 0}$

при n, стремящемся к бесконечности, для любого фиксированного ε > 0. Следовательно, последовательность T _n выборочных средних значений согласуется со средним значением совокупности  μ (напоминая, что это кумулятивное распределение нормального распределения). ${\displaystyle \Phi }$

Установление последовательности

Понятие асимптотической согласованности очень близко, почти синонимично понятию сходимости по вероятности. Таким образом, любая теорема, лемма или свойство, устанавливающее сходимость по вероятности, может быть использовано для доказательства согласованности. Существует много таких инструментов:

• Для того чтобы продемонстрировать последовательность непосредственно из определения, можно воспользоваться неравенством ^[3]

${\displaystyle \Pr \!{\big [}h(T_{n}-\theta )\geq \varepsilon {\big ]}\leq {\frac {\operatorname {E} {\big [}h(T_{n}-\theta ){\big ]}}{h(\varepsilon )}},}$

Наиболее распространенным выбором для функции h является либо абсолютное значение (в этом случае оно известно как неравенство Маркова ), либо квадратичная функция (соответственно неравенство Чебышева ).

• Другим полезным результатом является теорема о непрерывном отображении : если T _n является последовательной для θ и g (·) является вещественнозначной функцией, непрерывной в точке θ , то g ( T _n ) будет последовательной для g ( θ ): ^[4]

${\displaystyle T_{n}\ {\xrightarrow {p}}\ \theta \ \quad \Rightarrow \quad g(T_{n})\ {\xrightarrow {p}}\ g(\theta )}$

• Теорема Слуцкого может быть использована для объединения нескольких различных оценок или оценки с неслучайной сходящейся последовательностью. Если T _n  → ^d α , и S _n  → ^p β , то ^[5]

${\displaystyle {\begin{aligned}&T_{n}+S_{n}\ {\xrightarrow {d}}\ \alpha +\beta ,\\&T_{n}S_{n}\ {\xrightarrow {d}}\ \alpha \beta ,\\&T_{n}/S_{n}\ {\xrightarrow {d}}\ \alpha /\beta ,{\text{ provided that }}\beta \neq 0\end{aligned}}}$

• Если оценка T _n задана явной формулой, то, скорее всего, формула будет использовать суммы случайных величин, и тогда можно использовать закон больших чисел : для последовательности { X _n } случайных величин и при подходящих условиях

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}g(X_{i})\ {\xrightarrow {p}}\ \operatorname {E} [\,g(X)\,]}$

• Если оценщик T _n определен неявно, например, как значение, которое максимизирует определенную целевую функцию (см. оценщик экстремума ), то необходимо использовать более сложный аргумент, включающий стохастическую равнонепрерывность . ^[6]

Предвзятость против последовательности

Беспристрастный, но непоследовательный

Оценка может быть несмещенной , но не последовательной. Например, для выборки iid { x
₁,..., х
_н} можно использовать T
_н( Х ) = х
_нкак оценка среднего значения E[ X ]. Обратите внимание, что здесь выборочное распределение T
_нто же самое, что и базовое распределение (для любого n, поскольку оно игнорирует все точки, кроме последней), поэтому E[ T
_н( X )] = E[ X ] и оно несмещено, но не сходится ни к какому значению.

Однако если последовательность оценок является несмещенной и сходится к некоторому значению, то она является последовательной, поскольку она должна сходиться к правильному значению.

Предвзятый, но последовательный

В качестве альтернативы, оценщик может быть смещенным, но последовательным. Например, если среднее значение оценивается по , оно смещено, но по мере оно приближается к правильному значению, и поэтому оно последовательно. ${\displaystyle {1 \over n}\sum x_{i}+{1 \over n}}$ ${\displaystyle n\rightarrow \infty }$

Важные примеры включают дисперсию выборки и стандартное отклонение выборки . Без поправки Бесселя (то есть при использовании размера выборки вместо степеней свободы ) обе оценки являются отрицательно смещенными, но последовательными. С поправкой скорректированная дисперсия выборки является несмещенной, в то время как скорректированное стандартное отклонение выборки все еще смещено, но в меньшей степени, и обе по-прежнему последовательны: поправочный коэффициент сходится к 1 по мере роста размера выборки. ${\displaystyle n}$ ${\displaystyle n-1}$

Вот еще один пример. Пусть будет последовательностью оценок для . ${\displaystyle T_{n}}$ ${\displaystyle \theta }$

${\displaystyle \Pr(T_{n})={\begin{cases}1-1/n,&{\mbox{if }}\,T_{n}=\theta \\1/n,&{\mbox{if }}\,T_{n}=n\delta +\theta \end{cases}}}$

Мы видим , что , , и смещение не сходится к нулю. ${\displaystyle T_{n}{\xrightarrow {p}}\theta }$ ${\displaystyle \operatorname {E} [T_{n}]=\theta +\delta }$

Смотрите также

• Эффективный оценщик
• Согласованность Фишера — альтернативная, хотя и редко используемая концепция согласованности для оценщиков.
• Регрессионное разбавление
• Статистическая проверка гипотез
• Оценка инструментальных переменных

Примечания

1. Амемия 1985, Определение 3.4.2.
2. Леман и Каселла 1998, стр. 332.
3. Амемия 1985, уравнение (3.2.5).
4. Амемия 1985, Теорема 3.2.6.
5. Амемия 1985, Теорема 3.2.7.
6. Ньюи и Макфадден 1994, Глава 2.

Ссылки

• Амемия, Такеши (1985). Продвинутая эконометрика . Издательство Гарвардского университета . ISBN 0-674-00560-0.
• Леманн, Э. Л .; Каселла, Г. (1998). Теория точечной оценки (2-е изд.). Springer. ISBN 0-387-98502-6.
• Newey, WK; McFadden, D. (1994). "Глава 36: Оценка большой выборки и проверка гипотез". В Robert F. Engle; Daniel L. McFadden (ред.). Справочник по эконометрике . Том 4. Elsevier Science. ISBN 0-444-88766-0. S2CID  29436457.
• Никулин, М.С. (2001) [1994], "Состоятельная оценка", Энциклопедия математики , Издательство EMS
• Собер, Э. (1988), «Вероятность и конвергенция», Философия науки , 55 (2): 228–237, doi :10.1086/289429.

Внешние ссылки

• Лекция по эконометрике (тема: беспристрастность против последовательности) на YouTube от Марка Тома