Обобщенный метод моментов

Методика оценки параметров в статистике, особенно в эконометрике

В эконометрике и статистике обобщенный метод моментов ( ОММ ) является универсальным методом оценки параметров статистических моделей . Обычно он применяется в контексте полупараметрических моделей , где интересующий параметр является конечномерным, тогда как полная форма функции распределения данных может быть неизвестна, и поэтому оценка максимального правдоподобия неприменима.

Метод требует, чтобы для модели было задано определенное количество моментных условий . Эти моментные условия являются функциями параметров модели и данных, так что их математическое ожидание равно нулю при истинных значениях параметров. Затем метод GMM минимизирует определенную норму выборочных средних моментных условий и поэтому может рассматриваться как особый случай оценки минимального расстояния . ^[1]

Известно, что оценки GMM непротиворечивы , асимптотически нормальны и наиболее эффективны в классе всех оценок, которые не используют никакой дополнительной информации, кроме той, которая содержится в моментных условиях. GMM были предложены Ларсом Питером Хансеном в 1982 году как обобщение метода моментов ^[2] , введенного Карлом Пирсоном в 1894 году. Однако эти оценки математически эквивалентны оценкам, основанным на «условиях ортогональности» (Сарган, 1958, 1959). или «несмещенные оценочные уравнения» (Huber, 1967; Wang et al., 1997).

Описание

Предположим, что доступные данные состоят из T наблюдений { Y _t  } _{t  = 1,..., T} , где каждое наблюдение Y _t представляет собой n -мерную многомерную случайную величину . Мы предполагаем, что данные поступают из некоторой статистической модели , определенной с точностью до неизвестного параметра θ ∈ Θ . Цель задачи оценки — найти «истинное» значение этого параметра θ ₀ или, по крайней мере, достаточно близкую оценку.

Общее предположение GMM состоит в том, что данные Y _t генерируются слабо стационарным эргодическим случайным процессом . (Случай независимых и одинаково распределенных (iid) переменных Y _t является частным случаем этого условия.)

Чтобы применить GMM, нам нужно иметь «моментные условия», то есть нам нужно знать вектор-функцию g ( Y , θ ) такую, что

${\displaystyle m(\theta _{0})\equiv \operatorname {E} [\,g(Y_{t},\theta _{0})\,]=0,}$

где E обозначает ожидание , а Y _t — общее наблюдение. При этом функция m ( θ ) должна отличаться _от нуля при θ ≠ θ0 , иначе параметр θ не будет точечно- идентифицированным .

Основная идея GMM заключается в замене теоретического ожидаемого значения E[⋅] его эмпирическим аналогом — выборочным средним:

${\displaystyle {\hat {m}}(\theta )\equiv {\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta )}$

а затем минимизировать норму этого выражения по θ . Минимизирующее значение θ — это наша оценка для θ ₀ .

По закону больших чисел , для больших значений T , и поэтому мы ожидаем, что . Обобщенный метод моментов ищет число , максимально близкое к нулю . Математически это эквивалентно минимизации определенной нормы (норма m , обозначаемая как || m ||, измеряет расстояние между m и нулем). Свойства полученной оценки будут зависеть от конкретного выбора функции нормы, и поэтому теория GMM рассматривает целое семейство норм, определяемое как ${\displaystyle \scriptstyle {\hat {m}}(\theta )\,\approx \;\operatorname {E} [g(Y_{t},\theta )]\,=\,m(\theta )}$ ${\displaystyle \scriptstyle {\hat {m}}(\theta _{0})\;\approx \;m(\theta _{0})\;=\;0}$ ${\displaystyle \scriptstyle {\hat {\theta }}}$ ${\displaystyle \scriptstyle {\hat {m}}(\;\!{\hat {\theta }}\;\!)}$ ${\displaystyle \scriptstyle {\hat {m}}(\theta )}$

${\displaystyle \|{\hat {m}}(\theta )\|_{W}^{2}={\hat {m}}(\theta )^{\mathsf {T}}\,W{\hat {m}}(\theta ),}$

где W — положительно определенная весовая матрица и обозначает транспозицию . На практике весовая матрица W вычисляется на основе доступного набора данных, который будет обозначаться как . Таким образом, оценку GMM можно записать как ${\displaystyle m^{\mathsf {T}}}$ ${\displaystyle \scriptstyle {\hat {W}}}$

${\displaystyle {\hat {\theta }}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}}$

При подходящих условиях эта оценка непротиворечива , асимптотически нормальна , а при правильном выборе весовой матрицы также асимптотически эффективна . ${\displaystyle \scriptstyle {\hat {W}}}$

Характеристики

Последовательность

Согласованность — это статистическое свойство оценки, утверждающее, что при наличии достаточного количества наблюдений оценка будет сходиться по вероятности к истинному значению параметра:

${\displaystyle {\hat {\theta }}{\xrightarrow {p}}\theta _{0}\ {\text{as}}\ T\to \infty .}$

Достаточные условия для того, чтобы оценщик GMM был непротиворечивым, заключаются в следующем:

1. ${\displaystyle {\hat {W}}_{T}{\xrightarrow {p}}W,}$где W — положительная полуопределенная матрица ,
2. ${\displaystyle \,W\operatorname {E} [\,g(Y_{t},\theta )\,]=0}$  только для ${\displaystyle \,\theta =\theta _{0},}$
3. Пространство возможных параметров компактно , _ ${\displaystyle \Theta \subset \mathbb {R} ^{k}}$
4. ${\displaystyle \,g(Y,\theta )}$  непрерывен при каждом θ с вероятностью единица,
5. ${\displaystyle \operatorname {E} [\,\textstyle \sup _{\theta \in \Theta }\lVert g(Y,\theta )\rVert \,]<\infty .}$

Второе условие здесь (так называемое условие глобальной идентификации ) часто особенно трудно проверить. Существуют более простые необходимые, но недостаточные условия, которые можно использовать для обнаружения проблемы неидентификации:

• Состояние заказа . Размерность моментной функции m(θ) должна быть не меньше размерности вектора параметров θ .
• Местная идентификация . Если g(Y,θ) непрерывно дифференцируема в окрестности , то матрица должна иметь полный ранг столбца . ${\displaystyle \theta _{0}}$ ${\displaystyle W\operatorname {E} [\nabla _{\theta }g(Y_{t},\theta _{0})]}$

На практике специалисты по прикладной эконометрике часто просто предполагают , что глобальная идентификация имеет место, фактически не доказывая этого. ^{[3] : 2127}

Асимптотическая нормальность

Асимптотическая нормальность — полезное свойство, поскольку оно позволяет нам строить доверительные интервалы для средства оценки и проводить различные тесты. Прежде чем мы сможем сделать утверждение об асимптотическом распределении оценки GMM, нам необходимо определить две вспомогательные матрицы:

${\displaystyle G=\operatorname {E} [\,\nabla _{\!\theta }\,g(Y_{t},\theta _{0})\,],\qquad \Omega =\operatorname {E} [\,g(Y_{t},\theta _{0})g(Y_{t},\theta _{0})^{\mathsf {T}}\,]}$

Тогда при условиях 1–6, перечисленных ниже, оценка GMM будет асимптотически нормальной с предельным распределением :

${\displaystyle {\sqrt {T}}{\big (}{\hat {\theta }}-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}{\big [}0,(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega W^{\mathsf {T}}G(G^{\mathsf {T}}W^{\mathsf {T}}G)^{-1}{\big ]}.}$

Условия:

1. ${\displaystyle {\hat {\theta }}}$является последовательным (см. предыдущий раздел),
2. Набор возможных параметров компактен , ${\displaystyle \Theta \subset \mathbb {R} ^{k}}$
3. ${\displaystyle \,g(Y,\theta )}$непрерывно дифференцируема в некоторой окрестности N с вероятностью единица, ${\displaystyle \theta _{0}}$
4. ${\displaystyle \operatorname {E} [\,\lVert g(Y_{t},\theta )\rVert ^{2}\,]<\infty ,}$
5. ${\displaystyle \operatorname {E} [\,\textstyle \sup _{\theta \in N}\lVert \nabla _{\theta }g(Y_{t},\theta )\rVert \,]<\infty ,}$
6. матрица неособая. ${\displaystyle G'WG}$

Относительная эффективность

До сих пор мы ничего не говорили о выборе матрицы W , кроме того, что она должна быть положительно полуопределенной. Фактически любая такая матрица даст непротиворечивую и асимптотически нормальную оценку GMM, единственная разница будет заключаться в асимптотической дисперсии этой оценки. Можно показать, что, приняв

${\displaystyle W\propto \ \Omega ^{-1}}$

приведет к наиболее эффективной оценке в классе всех (обобщенных) методов оценок момента. Только бесконечное число ортогональных условий имеет наименьшую дисперсию, границу Крамера – Рао .

В этом случае формула асимптотического распределения оценки GMM упрощается до

${\displaystyle {\sqrt {T}}{\big (}{\hat {\theta }}-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}{\big [}0,(G^{\mathsf {T}}\,\Omega ^{-1}G)^{-1}{\big ]}}$

Доказательство того, что такой выбор весовой матрицы действительно является локально оптимальным, часто принимается с небольшими изменениями при установлении эффективности других оценок. Как показывает практика, весовая матрица на несколько шагов ближе к оптимальности, когда она превращается в выражение, близкое к границе Крамера-Рао .

Выполнение

Одна из трудностей реализации изложенного метода состоит в том, что мы не можем взять W = Ω ⁻¹ , поскольку по определению матрицы Ω нам необходимо знать значение θ ₀ , чтобы вычислить эту матрицу, а θ ₀ — это именно та величина, которую мы не знаю и пытаюсь оценить в первую очередь. В случае, когда Y _t является iid, мы можем оценить W как

${\displaystyle {\hat {W}}_{T}({\hat {\theta }})={\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }})g(Y_{t},{\hat {\theta }})^{\mathsf {T}}{\bigg )}^{-1}.}$

Существует несколько подходов к решению этой проблемы, первый из которых является наиболее популярным:

• Двухэтапный возможный GMM :
  • Шаг 1. Возьмите W = I ( единичную матрицу ) или какую-либо другую положительно определенную матрицу и вычислите предварительную оценку GMM . Эта оценка согласуется для θ ₀ , хотя и не эффективна. ${\displaystyle \scriptstyle {\hat {\theta }}_{(1)}}$
  • Шаг 2 : сходится по вероятности к Ω ⁻¹ , и, следовательно, если мы вычислим с этой весовой матрицей, оценка будет асимптотически эффективной . ${\displaystyle {\hat {W}}_{T}({\hat {\theta }}_{(1)})}$ ${\displaystyle \scriptstyle {\hat {\theta }}}$
• Итерированный GMM . По сути та же процедура, что и двухэтапная GMM, за исключением того, что матрица  пересчитывается несколько раз. То есть оценка, полученная на шаге 2, используется для расчета весовой матрицы для шага 3 и так далее, пока не будет выполнен некоторый критерий сходимости. ${\displaystyle {\hat {W}}_{T}}$

  ${\displaystyle {\hat {\theta }}_{(i+1)}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}({\hat {\theta }}_{(i)}){\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}}$

  Асимптотически с помощью таких итераций невозможно добиться никакого улучшения, хотя некоторые эксперименты Монте-Карло предполагают, что свойства этой оценки для конечной выборки немного лучше. ^{[ нужна цитата ]}
• Постоянное обновление GMM (CUGMM или CUE). Оценивает одновременно с оценкой весовой матрицы W : ${\displaystyle \scriptstyle {\hat {\theta }}}$

  ${\displaystyle {\hat {\theta }}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}(\theta ){\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}}$

  В экспериментах Монте-Карло этот метод продемонстрировал лучшую производительность, чем традиционный двухэтапный GMM: оценщик имеет меньшую медианную погрешность (хотя и более толстые хвосты), а J-тест для чрезмерного выявления ограничений во многих случаях был более надежным. ^[4]

Другая важная проблема при реализации процедуры минимизации заключается в том, что функция должна искать в пространстве параметров Θ (возможно, многомерном) и находить значение θ , которое минимизирует целевую функцию. Никаких общих рекомендаций по такой процедуре не существует, это предмет отдельной области — числовой оптимизации .

J -тест Саргана-Хансена

Когда количество моментных условий превышает размерность вектора параметров θ , модель называется переидентифицированной . Сарган (1958) предложил тесты на чрезмерную идентификацию ограничений, основанные на средствах оценки инструментальных переменных, которые распределяются в больших выборках как переменные хи-квадрат со степенями свободы, которые зависят от количества чрезмерно идентифицирующих ограничений. Впоследствии Хансен (1982) применил этот тест к математически эквивалентной формулировке оценок GMM. Однако обратите внимание, что такая статистика может быть отрицательной в эмпирических приложениях, где модели определены неправильно, а тесты отношения правдоподобия могут дать ценную информацию, поскольку модели оцениваются как по нулевой, так и по альтернативной гипотезе (Bhargava and Sargan, 1983).

Концептуально мы можем проверить, достаточно ли оно близко к нулю, чтобы предположить, что модель хорошо соответствует данным. Затем метод GMM заменил проблему решения уравнения , которое выбирает точное соответствие ограничениям, расчетом минимизации. Минимизацию всегда можно провести, даже если не существует такого, что . Это то, что делает J-test. J-тест также называют тестом на чрезмерное выявление ограничений . ${\displaystyle {\hat {m}}({\hat {\theta }})}$ ${\displaystyle {\hat {m}}(\theta )=0}$ ${\displaystyle \theta }$ ${\displaystyle \theta _{0}}$ ${\displaystyle m(\theta _{0})=0}$

Формально мы рассматриваем две гипотезы :

• ${\displaystyle H_{0}:\ m(\theta _{0})=0}$  ( нулевая гипотеза о том, что модель «действительна») и
• ${\displaystyle H_{1}:\ m(\theta )\neq 0,\ \forall \theta \in \Theta }$  ( альтернативная гипотеза о том, что модель «недействительна»; данные даже близко не соответствуют ограничениям)

Согласно гипотезе , следующая так называемая J-статистика имеет асимптотическое распределение хи-квадрат с k – l степенями свободы. Определите J как: ${\displaystyle H_{0}}$

${\displaystyle J\equiv T\cdot {\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }}){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }}){\bigg )}\ {\xrightarrow {d}}\ \chi _{k-\ell }^{2}}$   под ${\displaystyle H_{0},}$

где – GMM-оценка параметра , k – количество моментных условий (размерность вектора g ), l – количество оцениваемых параметров (размерность вектора θ ). Матрица должна сходиться по вероятности к эффективной матрице весов (обратите внимание, что ранее мы требовали только, чтобы W было пропорционально, чтобы оценщик был эффективным; однако для проведения J-теста W должно быть точно равно , а не просто пропорционально). ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta _{0}}$ ${\displaystyle {\hat {W}}_{T}}$ ${\displaystyle \Omega ^{-1}}$ ${\displaystyle \Omega ^{-1}}$ ${\displaystyle \Omega ^{-1}}$

Согласно альтернативной гипотезе J-статистика асимптотически неограничена: ${\displaystyle H_{1}}$

${\displaystyle J\ {\xrightarrow {p}}\ \infty }$  под ${\displaystyle H_{1}}$

Для проведения теста мы вычисляем значение J на ​​основе данных. Это неотрицательное число. Сравниваем его (например) с квантилем распределения 0,95 : ${\displaystyle \chi _{k-\ell }^{2}}$

• ${\displaystyle H_{0}}$отклоняется при уровне достоверности 95%, если ${\displaystyle J>q_{0.95}^{\chi _{k-\ell }^{2}}}$
• ${\displaystyle H_{0}}$не может быть отклонено при уровне достоверности 95%, если ${\displaystyle J<q_{0.95}^{\chi _{k-\ell }^{2}}}$

Объем

Многие другие популярные методы оценки можно описать с точки зрения GMM-оптимизации:

• Обычный метод наименьших квадратов (OLS) эквивалентен GMM с моментными условиями:

  ${\displaystyle \operatorname {E} [\,x_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )\,]=0}$

• Взвешенный метод наименьших квадратов (WLS)
  ${\displaystyle \operatorname {E} [\,x_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )/\sigma ^{2}(x_{t})\,]=0}$
• Регрессия инструментальных переменных (IV)
  ${\displaystyle \operatorname {E} [\,z_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )\,]=0}$
• Нелинейный метод наименьших квадратов (NLLS):
  ${\displaystyle \operatorname {E} [\,\nabla _{\!\beta }\,g(x_{t},\beta )\cdot (y_{t}-g(x_{t},\beta ))\,]=0}$
• Оценка максимального правдоподобия (MLE):
  ${\displaystyle \operatorname {E} [\,\nabla _{\!\theta }\ln f(x_{t},\theta )\,]=0}$

Альтернатива ГММ

В методе моментов описана альтернатива исходному (необобщенному) методу моментов (МоМ), приведены ссылки на некоторые приложения и список теоретических преимуществ и недостатков по сравнению с традиционным методом. Этот байесовский MoM (BL-MoM) отличается от всех родственных методов, описанных выше, которые входят в состав GMM. ^{[5] [6]} В литературе не содержится прямого сравнения GMM и BL-MoM в конкретных приложениях.

Реализации

• Викикнига по программированию на R, Метод моментов
• р
• Стата
• Электронные просмотры
• САС
• Гретл

Смотрите также

• Метод максимального правдоподобия
• Обобщенная эмпирическая вероятность
• Оценщик Арельяно – Бонда
• Приблизительное байесовское вычисление

Рекомендации

1. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 206. ИСБН 0-691-01018-8.
2. Хансен, Ларс Питер (1982). «Большие выборочные свойства обобщенного метода оценок моментов». Эконометрика . 50 (4): 1029–1054. дои : 10.2307/1912775. JSTOR  1912775.
3. Ньюи, В.; Макфадден, Д. (1994). «Оценка большой выборки и проверка гипотез». Справочник по эконометрике . Том. 4. Эльзевир Наука. стр. 2111–2245. CiteSeerX 10.1.1.724.4480 . дои : 10.1016/S1573-4412(05)80005-4. ISBN  9780444887665.
4. Хансен, Ларс Питер; Хитон, Джон; Ярон, Амир (1996). «Свойства конечной выборки некоторых альтернативных оценок GMM» (PDF) . Журнал деловой и экономической статистики . 14 (3): 262–280. дои : 10.1080/07350015.1996.10524656. hdl : 1721.1/47970 . JSTOR  1392442.
5. Армитидж, Питер; Колтон, Теодор, ред. (18 февраля 2005 г.). Энциклопедия биостатистики (1-е изд.). Уайли. дои : 10.1002/0470011815. ISBN 978-0-470-84907-1.
6. Годамбе, вице-президент, изд. (2002). Оценочные функции . Оксфордская серия статистических наук (под ред.). Оксфорд: Кларендон Пресс. ISBN 978-0-19-852228-7.

дальнейшее чтение

• Хубер, П. (1967). Поведение оценок максимального правдоподобия в нестандартных условиях. Труды Пятого симпозиума Беркли по математической статистике и вероятности 1, 221–233.

• Ньюи В., Макфадден Д. (1994). Оценка большой выборки и проверка гипотез , в Справочнике по эконометрике, глава 36. Эльзевир Наука.

• Имбенс, Гвидо В .; Спейди, Ричард Х.; Джонсон, Филипп (1998). «Теоретико-информационные подходы к выводу в моделях моментных состояний» (PDF) . Эконометрика . 66 (2): 333–357. дои : 10.2307/2998561. JSTOR  2998561.

• Сарган, доктор медицинских наук (1958). Оценка экономических связей с помощью инструментальных переменных. Эконометрика, 26, 393–415.

• Сарган, доктор медицинских наук (1959). Оценка взаимосвязей с автокоррелированными остатками путем использования инструментальных переменных. Журнал Королевского статистического общества B, 21, 91–105.

• Ван, Сай, Ван, С. и Кэрролл, Р. (1997). Оценка в выборке на основе выбора с ошибкой измерения и бутстреп-анализом. Журнал эконометрики, 77, 65-86.

• Бхаргава А. и Сарган Дж. Д. (1983). Оценка динамических случайных эффектов на основе панельных данных, охватывающих короткие периоды времени. Эконометрика, 51, 6, 1635–1659.

• Хаяси, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. ISBN 0-691-01018-8.
• Хансен, Ларс Питер (2002). «Метод моментов». в Смелзере, Нью-Джерси ; Бейтс, П.Б. (ред.). Международная энциклопедия социальных и поведенческих наук . Оксфорд: Пергамон.
• Холл, Аластер Р. (2005). Обобщенный метод моментов . Расширенные тексты по эконометрике. Издательство Оксфордского университета. ISBN 0-19-877520-2.
• Фасиан, Кирби Адам младший (2006). Статистика для эмпирических и количественных финансов . Статистика для эмпирических и количественных финансов. ХК Бэрд. ISBN 0-9788208-9-4.
• Специальные выпуски журнала деловой и экономической статистики: вып. 14, нет. 3 и том. 20, нет. 4.

• Краткое введение в обобщенный метод моментов