Оценка экстремума

В статистике и эконометрике экстремальные оценки — это широкий класс оценок параметрических моделей , которые рассчитываются посредством максимизации (или минимизации) определенной целевой функции , которая зависит от данных. Общая теория оценок экстремума была разработана Амемией (1985).

Определение

Оценка называется оценкой экстремума , если существует целевая функция такая, что ${\displaystyle \scriptstyle {\hat {\theta }}}$ ${\displaystyle \scriptstyle {\hat {Q}}_{n}}$

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\ {\widehat {Q}}_{n}(\theta ),}$

где Θ — пространство параметров . Иногда дается несколько более слабое определение:

${\displaystyle {\widehat {Q}}_{n}({\hat {\theta }})\geq \max _{\theta \in \Theta }\,{\widehat {Q}}_{n}(\theta )-o_{p}(1),}$

где o _p (1) – переменная , стремящаяся по вероятности к нулю . При этой модификации не обязательно должен быть точный максимизатор целевой функции, достаточно быть достаточно близким к ней. ${\displaystyle \scriptstyle {\hat {\theta }}}$

Теория оценок экстремума не определяет, какой должна быть целевая функция. Существуют различные типы целевых функций, подходящих для разных моделей, и эта структура позволяет нам анализировать теоретические свойства таких оценок с единой точки зрения. Теория лишь определяет свойства, которыми должна обладать целевая функция, и поэтому для выбора конкретной целевой функции требуется только проверка того, что эти свойства выполняются.

Последовательность

Когда пространство параметров Θ не компактно ( Θ = ℝ в этом примере), то даже если целевая функция однозначно максимизируется при θ ₀ , этот максимум может быть недостаточно четко разделен, и в этом случае оценка не будет согласованной. ${\displaystyle \scriptscriptstyle {\hat {\theta }}}$

Если пространство параметров Θ компактно и существует предельная функция Q ₀ ( θ ) такая, что: сходится к Q ₀ ( θ ) по вероятности равномерно по Θ, а функция Q ₀ ( θ ) непрерывна и имеет единственный максимум в точке θ = θ ₀ тогда согласовано для θ ₀ . _ ^[1] ${\displaystyle \scriptstyle {\hat {Q}}_{n}(\theta )}$ ${\displaystyle \scriptstyle {\hat {\theta }}}$

Равномерная сходимость по вероятности означает, что ${\displaystyle \scriptstyle {\hat {Q}}_{n}(\theta )}$

${\displaystyle \sup _{\theta \in \Theta }{\big |}{\hat {Q}}_{n}(\theta )-Q_{0}(\theta ){\big |}\ {\xrightarrow {p}}\ 0.}$

Требование компактности Θ можно заменить более слабым предположением, что максимум Q ₀ хорошо разделен, то есть не должно существовать точек θ , удаленных от θ ₀ , но таких, что Q ₀ ( θ ) были близки к Q ₀ ( θ ₀ ). Формально это означает, что для любой последовательности { θ _i } такой, что Q ₀ ( θ _i ) → Q ₀ ( θ ₀ ) , должно быть верно, что θ _i → θ ₀ .

Асимптотическая нормальность

Предполагая, что согласованность установлена ​​и производные выборки удовлетворяют некоторым другим условиям, ^[2] оценка экстремума сходится к асимптотически нормальному распределению. ${\displaystyle Q_{n}}$

Примеры

• Оценка максимального правдоподобия использует целевую функцию

  ${\displaystyle {\hat {Q}}_{n}(\theta )=\log \left[\prod _{i=1}^{n}f(x_{i}|\theta )\right]=\sum _{i=1}^{n}\log f(x_{i}|\theta ),}$

  где f (·| θ ) — функция плотности распределения, из которого взяты наблюдения. Эта целевая функция называется функцией логарифмического правдоподобия . ^[3]
• Обобщенный метод оценки моментов определяется через целевую функцию

  ${\displaystyle {\hat {Q}}_{n}(\theta )=-{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}g(x_{i},\theta ){\Bigg )}'{\hat {W}}_{n}{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}g(x_{i},\theta ){\Bigg )},}$

  где g (·| θ ) — моментное условие модели. ^[4]
• Оценщик минимального расстояния

Смотрите также

• М-оценщики

Примечания

1. Ньюи и Макфадден (1994), Теорема 2.1.
2. Ши, Сяося. «Конспекты лекций: асимптотическая нормальность оценок экстремума» (PDF) .
3. Хаяси, Фумио (2000). Эконометрика. Принстон: Издательство Принстонского университета. п. 448. ИСБН 0-691-01018-8.
4. Хаяси, Фумио (2000). Эконометрика. Принстон: Издательство Принстонского университета. п. 447. ИСБН 0-691-01018-8.

Рекомендации

• Амемия, Такеши (1985). «Асимптотические свойства оценок экстремума». Продвинутая эконометрика . Издательство Гарвардского университета. стр. 105–158. ISBN 0-674-00560-0.
• Хаяси, Фумио (2000). «Экстремальные оценки». Эконометрика . Принстон: Издательство Принстонского университета. стр. 445–506. ISBN 0-691-01018-8.
• Ньюи, Уитни К.; Макфадден, Дэниел (1994). «Оценка большой выборки и проверка гипотез». Справочник по эконометрике . Том. IV. Эльзевир Наука. стр. 2111–2245. дои : 10.1016/S1573-4412(05)80005-4. ISBN 0-444-88766-0.