Модели ошибок в переменных

Регрессионные модели, учитывающие возможные ошибки в независимых переменных

В статистике модели ошибок в переменных или модели ошибок измерения являются регрессионными моделями , которые учитывают ошибки измерения в независимых переменных . Напротив , стандартные регрессионные модели предполагают, что эти регрессоры были измерены точно или наблюдались без ошибок; как таковые, эти модели учитывают только ошибки в зависимых переменных или откликах. ^{[ необходима цитата ]}

Иллюстрация разбавления регрессии (или смещения затухания) диапазоном оценок регрессии в моделях с ошибками в переменных. Две линии регрессии (красные) ограничивают диапазон возможностей линейной регрессии. Пологий наклон получается, когда независимая переменная (или предиктор) находится на оси x. Более крутой наклон получается, когда независимая переменная находится на оси y. По соглашению, при независимой переменной на оси x получается более пологий наклон. Зеленые опорные линии представляют собой средние значения в произвольных ячейках вдоль каждой оси. Обратите внимание, что более крутые зеленые и красные оценки регрессии более согласованы с меньшими ошибками в переменной оси y.

В случае, когда некоторые регрессоры были измерены с ошибками, оценка, основанная на стандартном предположении, приводит к несостоятельным оценкам, что означает, что оценки параметров не стремятся к истинным значениям даже в очень больших выборках. Для простой линейной регрессии эффектом является недооценка коэффициента, известная как смещение затухания . В нелинейных моделях направление смещения, вероятно, будет более сложным. ^{[1] [2] [3]}

Мотивирующий пример

Рассмотрим простую модель линейной регрессии вида

${\displaystyle y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t}\,,\quad t=1,\ldots ,T,}$

где обозначает истинный , но ненаблюдаемый регрессор . Вместо этого мы наблюдаем это значение с ошибкой: ${\displaystyle x_{t}^{*}}$

${\displaystyle x_{t}=x_{t}^{*}+\eta _{t}\,}$

где предполагается, что ошибка измерения не зависит от истинного значения . Практическим применением является стандартный школьный научный эксперимент для закона Гука , в котором оценивается соотношение между весом, добавленным к пружине, и величиной, на которую пружина растягивается. Если ′s просто регрессируются на ′s (см. простую линейную регрессию ), то оценка для коэффициента наклона будет ${\displaystyle \eta _{t}}$ ${\displaystyle x_{t}^{*}}$

${\displaystyle y_{t}}$ ${\displaystyle x_{t}}$

${\displaystyle {\hat {\beta }}_{x}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\,,}$

которая сходится по мере увеличения размера выборки без ограничений: ${\displaystyle T}$

${\displaystyle {\hat {\beta }}_{x}\xrightarrow {p} {\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}={\frac {\beta \sigma _{x^{*}}^{2}}{\sigma _{x^{*}}^{2}+\sigma _{\eta }^{2}}}={\frac {\beta }{1+\sigma _{\eta }^{2}/\sigma _{x^{*}}^{2}}}\,.}$

Это контрастирует с «истинным» эффектом , оцененным с использованием ,: ${\displaystyle \beta }$ ${\displaystyle x_{t}^{*}}$

${\displaystyle {\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}^{*}-{\bar {x}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}^{*}-{\bar {x}})^{2}}}\,,}$

Дисперсии неотрицательны, так что в пределе оценка меньше, чем , эффект, который статистики называют ослаблением или разбавлением регрессии . ^[4] Таким образом, «наивная» оценка наименьших квадратов является несостоятельной оценкой для . Однако, является состоятельной оценкой параметра, необходимого для наилучшего линейного предиктора с учетом наблюдаемого : в некоторых приложениях это может быть тем, что требуется, а не оценкой «истинного» коэффициента регрессии , хотя это предполагало бы, что дисперсия ошибок в оценке и предсказании идентична. Это следует непосредственно из результата, процитированного непосредственно выше, и того факта, что коэффициент регрессии, связывающий ′ s с фактически наблюдаемыми ′s, в простой линейной регрессии определяется как ${\displaystyle {\hat {\beta }}_{x}}$ ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {\beta }}_{x}}$ ${\displaystyle \beta }$ ${\displaystyle {\hat {\beta }}_{x}}$ ${\displaystyle y}$ ${\displaystyle x_{t}}$ ${\displaystyle \beta }$ ${\displaystyle y_{t}}$ ${\displaystyle x_{t}}$

${\displaystyle \beta _{x}={\frac {\operatorname {Cov} [\,x_{t},y_{t}\,]}{\operatorname {Var} [\,x_{t}\,]}}.}$

Именно этот коэффициент, а не , потребуется для построения предиктора на основе наблюдаемого значения , подверженного шуму. ${\displaystyle \beta }$ ${\displaystyle y}$ ${\displaystyle x}$

Можно утверждать, что почти все существующие наборы данных содержат ошибки разной природы и величины, так что смещение затухания встречается чрезвычайно часто (хотя в многомерной регрессии направление смещения неоднозначно ^[5] ). Джерри Хаусман рассматривает это как железный закон эконометрики : «Величина оценки обычно меньше ожидаемой». ^[6]

Спецификация

Обычно модели ошибок измерения описываются с использованием подхода скрытых переменных . Если — переменная отклика, а — наблюдаемые значения регрессоров, то предполагается, что существуют некоторые скрытые переменные и , которые следуют «истинной» функциональной зависимости модели , и такие, что наблюдаемые величины являются их зашумленными наблюдениями: ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle y^{*}}$ ${\displaystyle x^{*}}$ ${\displaystyle g(\cdot )}$

${\displaystyle {\begin{cases}y^{*}=g(x^{*}\!,w\,|\,\theta ),\\y=y^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}}$

где — параметр модели , а — те регрессоры, которые считаются безошибочными (например, когда линейная регрессия содержит отсекаемый член, регрессор, соответствующий константе, определенно не имеет «ошибок измерения»). В зависимости от спецификации эти безошибочные регрессоры могут или не могут рассматриваться отдельно; в последнем случае просто предполагается, что соответствующие записи в матрице дисперсии 's равны нулю. ${\displaystyle \theta }$ ${\displaystyle w}$ ${\displaystyle \eta }$

Все переменные , , наблюдаются , что означает, что статистик располагает набором данных статистических единиц , которые следуют описанному выше процессу генерации данных ; однако скрытые переменные , , , и не наблюдаются. ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle w}$ ${\displaystyle n}$ ${\displaystyle \left\{y_{i},x_{i},w_{i}\right\}_{i=1,\dots ,n}}$ ${\displaystyle x^{*}}$ ${\displaystyle y^{*}}$ ${\displaystyle \varepsilon }$ ${\displaystyle \eta }$

Эта спецификация не охватывает все существующие модели ошибок в переменных. Например, в некоторых из них функция может быть непараметрической или полупараметрической. Другие подходы моделируют связь между и как распределительную, а не функциональную, то есть они предполагают, что условно следует определенное (обычно параметрическое) распределение. ${\displaystyle g(\cdot )}$ ${\displaystyle y^{*}}$ ${\displaystyle x^{*}}$ ${\displaystyle y^{*}}$ ${\displaystyle x^{*}}$

Терминология и предположения

• Наблюдаемая переменная может называться манифестной , индикаторной или прокси- переменной . ${\displaystyle x}$
• Ненаблюдаемая переменная может быть названа скрытой или истинной переменной. Она может рассматриваться либо как неизвестная константа (в этом случае модель называется функциональной моделью ), либо как случайная величина (соответственно структурной моделью ). ^[7] ${\displaystyle x^{*}}$
• Связь между погрешностью измерения и скрытой переменной можно моделировать разными способами: ${\displaystyle \eta }$ ${\displaystyle x^{*}}$
  • Классические ошибки : ошибки не зависят от скрытой переменной. Это наиболее распространенное предположение, оно подразумевает, что ошибки вносятся измерительным устройством и их величина не зависит от измеряемой величины. ${\displaystyle \eta \perp x^{*}}$
  • Независимость среднего : ошибки равны нулю для каждого значения скрытого регрессора. Это менее ограничительное предположение, чем классическое, ^[8] , поскольку оно допускает наличие гетероскедастичности или других эффектов в ошибках измерения. ${\displaystyle \operatorname {E} [\eta |x^{*}]\,=\,0,}$
  • Ошибки Берксона :ошибки не зависят от наблюдаемого регрессора x . ^[9] Это предположение имеет очень ограниченную применимость. Одним из примеров являются ошибки округления: например, если возраст человека* является непрерывной случайной величиной , тогда как наблюдаемый возраст усекается до следующего наименьшего целого числа, то ошибка усечения приблизительно независима от наблюдаемого возраста . Другая возможность связана с экспериментом с фиксированным планом: например, если ученый решает провести измерение в определенный заранее определенный момент времени, скажем, в, то реальное измерение может произойти при некотором другом значении(например, из-за его конечного времени реакции), и такая ошибка измерения будет в целом независима от «наблюдаемого» значения регрессора. ${\displaystyle \eta \,\perp \,x,}$ ${\displaystyle x}$ ${\displaystyle x=10s}$ ${\displaystyle x^{*}}$
  • Ошибки неправильной классификации : особый случай, используемый для фиктивных регрессоров . Если является индикатором определенного события или состояния (например, человек является мужчиной/женщиной, какое-то медицинское лечение было проведено/не проведено и т. д.), то ошибка измерения в таком регрессоре будет соответствовать неправильной классификации, аналогичной ошибкам типа I и типа II в статистическом тестировании. В этом случае ошибка может принимать только 3 возможных значения, а ее распределение, обусловленное моделируется двумя параметрами: , и . Необходимым условием для идентификации является то, что , то есть неправильная классификация не должна происходить «слишком часто». (Эту идею можно обобщить на дискретные переменные с более чем двумя возможными значениями.) ${\displaystyle x^{*}}$ ${\displaystyle \eta }$ ${\displaystyle x^{*}}$ ${\displaystyle \alpha =\operatorname {Pr} [\eta =-1|x^{*}=1]}$ ${\displaystyle \beta =\operatorname {Pr} [\eta =1|x^{*}=0]}$ ${\displaystyle \alpha +\beta <1}$

Линейная модель

Линейные модели ошибок в переменных были изучены первыми, вероятно, потому, что линейные модели использовались так широко, и они проще, чем нелинейные. В отличие от стандартной регрессии наименьших квадратов (OLS), расширение регрессии ошибок в переменных (EiV) от простого до многомерного случая не является простым, если только не рассматривать все переменные одинаково, т.е. предполагать равную надежность. ^[10]

Простая линейная модель

Простая линейная модель ошибок в переменных уже была представлена ​​в разделе «мотивация»:

${\displaystyle {\begin{cases}y_{t}=\alpha +\beta x_{t}^{*}+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t},\end{cases}}}$

где все переменные скалярны . Здесь α и β — интересующие нас параметры, тогда как σ _ε и σ _η — стандартные отклонения членов ошибки — являются мешающими параметрами . «Истинный» регрессор x* рассматривается как случайная величина ( структурная модель), независимая от ошибки измерения η ( классическое предположение).

Эта модель идентифицируема в двух случаях: (1) либо скрытый регрессор x* не является нормально распределенным , (2) либо x* имеет нормальное распределение, но ни ε _t, ни η _t не делятся на нормальное распределение. ^[11] То есть параметры α , β могут быть последовательно оценены из набора данных без какой-либо дополнительной информации, при условии, что скрытый регрессор не является гауссовым. ${\displaystyle \scriptstyle (x_{t},\,y_{t})_{t=1}^{T}}$

До того, как был установлен этот результат идентифицируемости, статистики пытались применить метод максимального правдоподобия , предполагая, что все переменные нормальны, а затем пришли к выводу, что модель не идентифицирована. Предложенное средство состояло в том, чтобы предположить , что некоторые параметры модели известны или могут быть оценены из внешнего источника. Такие методы оценки включают ^[12]

• Регрессия Деминга — предполагает, что отношение δ = σ² _ε / σ² _η известно. Это может быть уместно, например, когда ошибки в y и x вызваны измерениями, а точность измерительных приборов или процедур известна. Случай, когда δ = 1, также известен как ортогональная регрессия .
• Регрессия с известным коэффициентом надежности λ = σ² _∗ / ( σ² _η + σ² _∗ ), где σ² _∗ — дисперсия скрытого регрессора. Такой подход может быть применим, например, когда доступны повторяющиеся измерения одной и той же единицы или когда коэффициент надежности известен из независимого исследования. В этом случае последовательная оценка наклона равна оценке наименьших квадратов, деленной на λ .
• Регрессия с известным σ² _η может возникнуть, когда источник ошибок в x' s известен и их дисперсия может быть рассчитана. Это может включать ошибки округления или ошибки, вносимые измерительным устройством. Когда σ² _η известно, мы можем вычислить коэффициент надежности как λ = ( σ² _x − σ² _η ) / σ² _x и свести задачу к предыдущему случаю.

Методы оценки, не предполагающие знания некоторых параметров модели, включают в себя

• Метод моментов — оценка GMM на основе совместных кумулянтов третьего (или более высокого) порядка наблюдаемых переменных. Коэффициент наклона можно оценить из ^[13]

  ${\displaystyle {\hat {\beta }}={\frac {{\hat {K}}(n_{1},n_{2}+1)}{{\hat {K}}(n_{1}+1,n_{2})}},\quad n_{1},n_{2}>0,}$

  где ( n ₁ , n ₂ ) таковы, что K ( n ₁ +1, n ₂ ) — совместный кумулянт ( x , y ) — не равен нулю. В случае, когда третий центральный момент латентного регрессора x* не равен нулю, формула сводится к

  ${\displaystyle {\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})(y_{t}-{\bar {y}})^{2}}{{\tfrac {1}{T}}\sum _{t=1}^{T}(x_{t}-{\bar {x}})^{2}(y_{t}-{\bar {y}})}}\ .}$

• Инструментальные переменные — регрессия, которая требует, чтобы были доступны некоторые дополнительные переменные данных z , называемые инструментами . Эти переменные должны быть некоррелированными с ошибками в уравнении для зависимой (результирующей) переменной ( действительными ), и они также должны быть коррелированными ( релевантными ) с истинными регрессорами x* . Если такие переменные могут быть найдены, то оценщик принимает вид
  ${\displaystyle {\hat {\beta }}={\frac {{\tfrac {1}{T}}\sum _{t=1}^{T}(z_{t}-{\bar {z}})(y_{t}-{\bar {y}})}{{\tfrac {1}{T}}\sum _{t=1}^{T}(z_{t}-{\bar {z}})(x_{t}-{\bar {x}})}}\ .}$
• Геометрическое среднее функциональное отношение. Это рассматривает обе переменные как имеющие одинаковую надежность. Результирующий наклон является геометрическим средним обычного наклона наименьших квадратов и обратного наклона наименьших квадратов, т.е. двух красных линий на диаграмме. ^[14]

Многопараметрическая линейная модель

Многомерная модель выглядит точно так же, как простая линейная модель, только на этот раз β , η _t , x _t и x* _t являются векторами размера k× 1.

${\displaystyle {\begin{cases}y_{t}=\alpha +\beta 'x_{t}^{*}+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t}.\end{cases}}}$

В случае, когда ( ε _t , η _t ) совместно нормальны, параметр β не идентифицируется тогда и только тогда, когда существует невырожденная  блочная матрица k×k [ a A ], где a — вектор k× 1, такой, что a′x*  распределен нормально и независимо от  A′x* . В случае, когда ε _t , η _t1 ,..., η _tk взаимно независимы, параметр  β  не идентифицируется тогда и только тогда, когда в дополнение к условиям выше некоторые ошибки можно записать в виде суммы двух независимых переменных, одна из которых нормальна. ^[15]

Некоторые методы оценки для многомерных линейных моделей:

• Метод наименьших квадратов является расширением регрессии Деминга на многомерную настройку. Когда все k +1 компоненты вектора ( ε , η ) имеют равные дисперсии и независимы, это эквивалентно запуску ортогональной регрессии y на векторе x — то есть регрессии, которая минимизирует сумму квадратов расстояний между точками ( y _t , x _t ) и k -мерной гиперплоскостью «наилучшего соответствия».
• Метод оценки моментов ^[16] может быть построен на основе моментных условий E[ z _t ·( y _t − α − β'x _t )] = 0, где (5 k +3)-мерный вектор инструментов z _t определяется как

  ${\displaystyle {\begin{aligned}&z_{t}=\left(1\ z_{t1}'\ z_{t2}'\ z_{t3}'\ z_{t4}'\ z_{t5}'\ z_{t6}'\ z_{t7}'\right)',\quad {\text{where}}\\&z_{t1}=x_{t}\circ x_{t}\\&z_{t2}=x_{t}y_{t}\\&z_{t3}=y_{t}^{2}\\&z_{t4}=x_{t}\circ x_{t}\circ x_{t}-3{\big (}\operatorname {E} [x_{t}x_{t}']\circ I_{k}{\big )}x_{t}\\&z_{t5}=x_{t}\circ x_{t}y_{t}-2{\big (}\operatorname {E} [y_{t}x_{t}']\circ I_{k}{\big )}x_{t}-y_{t}{\big (}\operatorname {E} [x_{t}x_{t}']\circ I_{k}{\big )}\iota _{k}\\&z_{t6}=x_{t}y_{t}^{2}-\operatorname {E} [y_{t}^{2}]x_{t}-2y_{t}\operatorname {E} [x_{t}y_{t}]\\&z_{t7}=y_{t}^{3}-3y_{t}\operatorname {E} [y_{t}^{2}]\end{aligned}}}$

  где обозначает произведение Адамара матриц, а переменные x _t , y _t предварительно были обесценены. Авторы метода предлагают использовать модифицированную оценку IV Фуллера. ^[17] ${\displaystyle \circ }$
  

  Этот метод может быть расширен для использования моментов выше третьего порядка, если это необходимо, и для учета переменных, измеренных без ошибок. ^[18]
• Подход инструментальных переменных требует от нас нахождения дополнительных переменных данных z _t , которые служат инструментами для неверно измеренных регрессоров x _t . Этот метод является самым простым с точки зрения реализации, однако его недостатком является то, что он требует сбора дополнительных данных, что может быть дорогостоящим или даже невозможным. Когда инструменты найдены, оценщик принимает стандартную форму

  ${\displaystyle {\hat {\beta }}={\big (}X'Z(Z'Z)^{-1}Z'X{\big )}^{-1}X'Z(Z'Z)^{-1}Z'y.}$

• Подход беспристрастной подгонки рассматривает все переменные одинаково, предполагая равную надежность, и не требует никакого различия между объясняющими и ответными переменными, поскольку полученное уравнение может быть переставлено. Это простейшая модель погрешности измерения, и она является обобщением геометрического среднего функционального отношения, упомянутого выше для двух переменных. Он требует только вычисления ковариаций, и поэтому может быть оценен с использованием основных функций электронных таблиц. ^[19]

Нелинейные модели

Общая нелинейная модель погрешности измерения принимает форму

${\displaystyle {\begin{cases}y_{t}=g(x_{t}^{*})+\varepsilon _{t},\\x_{t}=x_{t}^{*}+\eta _{t}.\end{cases}}}$

Здесь функция g может быть как параметрической, так и непараметрической. Когда функция g параметрическая, она будет записана как g ( x *, β ).

Для общего векторного регрессора x* условия идентифицируемости модели неизвестны. Однако в случае скаляра x* модель идентифицируется, если только функция g не имеет "логарифмически-экспоненциальную" форму ^[20]

${\displaystyle g(x^{*})=a+b\ln {\big (}e^{cx^{*}}+d{\big )}}$

и скрытый регрессор x* имеет плотность

${\displaystyle f_{x^{*}}(x)={\begin{cases}Ae^{-Be^{Cx}+CDx}(e^{Cx}+E)^{-F},&{\text{if}}\ d>0\\Ae^{-Bx^{2}+Cx}&{\text{if}}\ d=0\end{cases}}}$

где константы A , B , C , D , E , F могут зависеть от a , b , c , d .

Несмотря на этот оптимистичный результат, на данный момент не существует методов оценки нелинейных моделей ошибок в переменных без какой-либо внешней информации. Однако существует несколько методов, которые используют некоторые дополнительные данные: либо инструментальные переменные, либо повторные наблюдения.

Методы инструментальных переменных

• Метод смоделированных моментов Ньюи ^[21] для параметрических моделей — требует, чтобы существовал дополнительный набор наблюдаемых предикторных переменных z _t , такой, чтобы истинный регрессор мог быть выражен как

  ${\displaystyle x_{t}^{*}=\pi _{0}'z_{t}+\sigma _{0}\zeta _{t},}$

  где π ₀ и σ ₀ — (неизвестные) постоянные матрицы, а ζ _t ⊥ z _t . Коэффициент π ₀ можно оценить с помощью стандартной регрессии наименьших квадратов x на z . Распределение ζ _t неизвестно, однако мы можем смоделировать его как принадлежащее гибкому параметрическому семейству — ряду Эджворта :

  ${\displaystyle f_{\zeta }(v;\,\gamma )=\phi (v)\,\textstyle \sum _{j=1}^{J}\!\gamma _{j}v^{j}}$

  где ϕ — стандартное нормальное распределение.

  Моделируемые моменты можно вычислить с помощью алгоритма выборки по важности : сначала мы генерируем несколько случайных величин { v _ts ~ ϕ , s = 1,…, S , t = 1,…, T } из стандартного нормального распределения, затем мы вычисляем моменты при t -м наблюдении как

  ${\displaystyle m_{t}(\theta )=A(z_{t}){\frac {1}{S}}\sum _{s=1}^{S}H(x_{t},y_{t},z_{t},v_{ts};\theta )\sum _{j=1}^{J}\!\gamma _{j}v_{ts}^{j},}$

  где θ = ( β , σ , γ ), A — это просто некоторая функция инструментальных переменных z , а H — двухкомпонентный вектор моментов

  ${\displaystyle {\begin{aligned}&H_{1}(x_{t},y_{t},z_{t},v_{ts};\theta )=y_{t}-g({\hat {\pi }}'z_{t}+\sigma v_{ts},\beta ),\\&H_{2}(x_{t},y_{t},z_{t},v_{ts};\theta )=z_{t}y_{t}-({\hat {\pi }}'z_{t}+\sigma v_{ts})g({\hat {\pi }}'z_{t}+\sigma v_{ts},\beta )\end{aligned}}}$

  С помощью моментных функций m _t можно применить стандартный метод GMM для оценки неизвестного параметра θ .

Повторные наблюдения

В этом подходе доступны два (или может быть больше) повторных наблюдения регрессора x* . Оба наблюдения содержат свои собственные ошибки измерения, однако эти ошибки должны быть независимыми:

${\displaystyle {\begin{cases}x_{1t}=x_{t}^{*}+\eta _{1t},\\x_{2t}=x_{t}^{*}+\eta _{2t},\end{cases}}}$

где x* ⊥ η ₁ ⊥ η ₂ . Переменные η ₁ , η ₂ не обязательно должны быть одинаково распределены (хотя если это так, эффективность оценщика может быть немного улучшена). Имея только эти два наблюдения, можно последовательно оценить функцию плотности x*, используя метод деконволюции Котларски . ^[22]

• Метод условной плотности Ли для параметрических моделей. ^[23] Уравнение регрессии можно записать в терминах наблюдаемых переменных как

  ${\displaystyle \operatorname {E} [\,y_{t}|x_{t}\,]=\int g(x_{t}^{*},\beta )f_{x^{*}|x}(x_{t}^{*}|x_{t})dx_{t}^{*},}$

  где можно было бы вычислить интеграл, если бы мы знали условную функцию плотности ƒ _x*|x . Если бы эта функция могла быть известна или оценена, то задача превращается в стандартную нелинейную регрессию, которую можно оценить, например, с помощью метода NLLS .
  Предполагая для простоты, что η ₁ , η ₂ распределены одинаково, эта условная плотность может быть вычислена как

  ${\displaystyle {\hat {f}}_{x^{*}|x}(x^{*}|x)={\frac {{\hat {f}}_{x^{*}}(x^{*})}{{\hat {f}}_{x}(x)}}\prod _{j=1}^{k}{\hat {f}}_{\eta _{j}}{\big (}x_{j}-x_{j}^{*}{\big )},}$

  где с небольшой ошибкой в ​​обозначениях x _j обозначает j -й компонент вектора.
  Все плотности в этой формуле можно оценить с помощью инверсии эмпирических характеристических функций . В частности,

  ${\displaystyle {\begin{aligned}&{\hat {\varphi }}_{\eta _{j}}(v)={\frac {{\hat {\varphi }}_{x_{j}}(v,0)}{{\hat {\varphi }}_{x_{j}^{*}}(v)}},\quad {\text{where }}{\hat {\varphi }}_{x_{j}}(v_{1},v_{2})={\frac {1}{T}}\sum _{t=1}^{T}e^{iv_{1}x_{1tj}+iv_{2}x_{2tj}},\\{\hat {\varphi }}_{x_{j}^{*}}(v)=\exp \int _{0}^{v}{\frac {\partial {\hat {\varphi }}_{x_{j}}(0,v_{2})/\partial v_{1}}{{\hat {\varphi }}_{x_{j}}(0,v_{2})}}dv_{2},\\&{\hat {\varphi }}_{x}(u)={\frac {1}{2T}}\sum _{t=1}^{T}{\Big (}e^{iu'x_{1t}}+e^{iu'x_{2t}}{\Big )},\quad {\hat {\varphi }}_{x^{*}}(u)={\frac {{\hat {\varphi }}_{x}(u)}{\prod _{j=1}^{k}{\hat {\varphi }}_{\eta _{j}}(u_{j})}}.\end{aligned}}}$

  Для того чтобы инвертировать эти характеристические функции, необходимо применить обратное преобразование Фурье с параметром обрезки C, необходимым для обеспечения численной устойчивости. Например:

  ${\displaystyle {\hat {f}}_{x}(x)={\frac {1}{(2\pi )^{k}}}\int _{-C}^{C}\cdots \int _{-C}^{C}e^{-iu'x}{\hat {\varphi }}_{x}(u)du.}$

• Оценка Шеннаха для параметрической линейной по параметрам и нелинейной по переменным модели. ^[24] Это модель вида
  ${\displaystyle {\begin{cases}y_{t}=\textstyle \sum _{j=1}^{k}\beta _{j}g_{j}(x_{t}^{*})+\sum _{j=1}^{\ell }\beta _{k+j}w_{jt}+\varepsilon _{t},\\x_{1t}=x_{t}^{*}+\eta _{1t},\\x_{2t}=x_{t}^{*}+\eta _{2t},\end{cases}}}$

  где w _t представляет собой переменные, измеренные без ошибок. Регрессор x* здесь скалярный (метод можно распространить и на случай вектора x*
  ). Если бы не ошибки измерения, это была бы стандартная линейная модель с оценщиком

  ${\displaystyle {\hat {\beta }}={\big (}{\hat {\operatorname {E} }}[\,\xi _{t}\xi _{t}'\,]{\big )}^{-1}{\hat {\operatorname {E} }}[\,\xi _{t}y_{t}\,],}$

  где

  ${\displaystyle \xi _{t}'=(g_{1}(x_{t}^{*}),\cdots ,g_{k}(x_{t}^{*}),w_{1,t},\cdots ,w_{l,t}).}$

  Оказывается, все ожидаемые значения в этой формуле можно оценить, используя тот же трюк деконволюции. В частности, для общей наблюдаемой w _t (которая может быть 1, w _{1 t} , …, w _{ℓ t} , или y _t ) и некоторой функции h (которая может представлять любой g _j или g _i g _j ) мы имеем

  ${\displaystyle \operatorname {E} [\,w_{t}h(x_{t}^{*})\,]={\frac {1}{2\pi }}\int _{-\infty }^{\infty }\varphi _{h}(-u)\psi _{w}(u)du,}$

  где φ _h — преобразование Фурье функции h ( x* ), но с использованием тех же соглашений, что и для характеристических функций ,

  ${\displaystyle \varphi _{h}(u)=\int e^{iux}h(x)dx}$,

  и

  ${\displaystyle \psi _{w}(u)=\operatorname {E} [\,w_{t}e^{iux^{*}}\,]={\frac {\operatorname {E} [w_{t}e^{iux_{1t}}]}{\operatorname {E} [e^{iux_{1t}}]}}\exp \int _{0}^{u}i{\frac {\operatorname {E} [x_{2t}e^{ivx_{1t}}]}{\operatorname {E} [e^{ivx_{1t}}]}}dv}$

  Полученная оценка является последовательной и асимптотически нормальной. ${\displaystyle \scriptstyle {\hat {\beta }}}$
• Оценка Шеннаха для непараметрической модели. ^[25] Стандартная оценка Надарая-Уотсона для непараметрической модели имеет вид

  ${\displaystyle {\hat {g}}(x)={\frac {{\hat {\operatorname {E} }}[\,y_{t}K_{h}(x_{t}^{*}-x)\,]}{{\hat {\operatorname {E} }}[\,K_{h}(x_{t}^{*}-x)\,]}},}$

  для подходящего выбора ядра K и полосы пропускания h . Оба ожидания здесь можно оценить, используя ту же технику, что и в предыдущем методе.

Ссылки

1. Грилихес, Цви; Рингстад, Видар (1970). «Смещение ошибок в переменных в нелинейных контекстах». Econometrica . 38 (2): 368–370. doi :10.2307/1913020. JSTOR  1913020.
2. Чешер, Эндрю (1991). «Эффект ошибки измерения». Biometrika . 78 (3): 451–462. doi :10.1093/biomet/78.3.451. JSTOR  2337015.
3. Кэрролл, Рэймонд Дж.; Рупперт, Дэвид; Стефански, Леонард А.; Крайничану, Киприан (2006). Погрешность измерения в нелинейных моделях: современная перспектива (второе издание). ISBN 978-1-58488-633-4.
4. Грин, Уильям Х. (2003). Эконометрический анализ (5-е изд.). Нью-Джерси: Prentice Hall. Глава 5.6.1. ISBN 978-0-13-066189-0.
5. Wansbeek, T.; Meijer, E. (2000). «Ошибка измерения и скрытые переменные». В Baltagi, BH (ред.). A Companion to Theoretical Econometrics . Blackwell. стр. 162–179. doi :10.1111/b.9781405106764.2003.00013.x. ISBN 9781405106764.
6. Хаусман, Джерри А. (2001). «Неправильно измеренные переменные в эконометрическом анализе: проблемы справа и проблемы слева». Журнал экономических перспектив . 15 (4): 57–67 [стр. 58]. doi : 10.1257/jep.15.4.57 . JSTOR  2696516.
7. Фуллер, Уэйн А. (1987). Модели погрешности измерения. John Wiley & Sons. стр. 2. ISBN 978-0-471-86187-4.
8. Хаяси, Фумио (2000). Эконометрика. Princeton University Press. С. 7–8. ISBN 978-1400823833.
9. Коул, Хира; Сонг, Вэйсин (2008). «Проверка регрессионной модели с ошибками измерения Берксона». Журнал статистического планирования и вывода . 138 (6): 1615–1628. doi :10.1016/j.jspi.2007.05.048.
10. Тофаллис, К. (2023). Подгонка уравнения к данным беспристрастно. Математика, 11(18), 3957. https://ssrn.com/abstract=4556739 https://doi.org/10.3390/math11183957
11. Рейерсол, Олав (1950). «Идентифицируемость линейной связи между переменными, подверженными ошибкам». Econometrica . 18 (4): 375–389 [стр. 383]. doi :10.2307/1907835. JSTOR  1907835.Несколько более ограничительный результат был установлен ранее Гири, RC (1942). «Внутренние связи между случайными величинами». Труды Королевской Ирландской Академии . 47 : 63–76. JSTOR  20488436.Он показал, что при дополнительном предположении, что ( ε, η ) являются совместно нормальными, модель не идентифицируется тогда и только тогда, когда x* s являются нормальными.
12. Фуллер, Уэйн А. (1987). «Единственная объясняющая переменная». Модели ошибок измерения . John Wiley & Sons. стр. 1–99. ISBN 978-0-471-86187-4.
13. Пал, Маноранджан (1980). «Согласованные оценки моментов коэффициентов регрессии при наличии ошибок в переменных». Журнал эконометрики . 14 (3): 349–364 (стр. 360–361). doi :10.1016/0304-4076(80)90032-9.
14. Сюй, Шаоцзи (2014-10-02). «Свойство геометрической средней регрессии». Американский статистик . 68 (4): 277–281. doi :10.1080/00031305.2014.962763. ISSN  0003-1305.
15. Бен-Моше, Дэн (2020). «Идентификация линейных регрессий с ошибками во всех переменных». Эконометрическая теория . 37 (4): 1–31. arXiv : 1404.1473 . doi : 10.1017/S0266466620000250. S2CID  225653359.
16. Dagenais, Marcel G.; Dagenais, Denyse L. (1997). «Оценки более высоких моментов для моделей линейной регрессии с ошибками в переменных». Журнал эконометрики . 76 (1–2): 193–221. CiteSeerX 10.1.1.669.8286 . doi :10.1016/0304-4076(95)01789-5. В более ранней статье Пал (1980) рассмотрел более простой случай, когда все компоненты вектора ( ε , η ) независимы и симметрично распределены.
17. Фуллер, Уэйн А. (1987). Модели погрешности измерения. John Wiley & Sons. стр. 184. ISBN 978-0-471-86187-4.
18. Эриксон, Тимоти; Уайтед, Тони М. (2002). «Двухшаговая оценка GMM модели ошибок в переменных с использованием моментов высокого порядка». Эконометрическая теория . 18 (3): 776–799. doi :10.1017/s0266466602183101. JSTOR  3533649. S2CID  14729228.
19. Тофаллис, К. (2023). Подгонка уравнения к данным беспристрастно. Математика, 11(18), 3957. https://ssrn.com/abstract=4556739 https://doi.org/10.3390/math11183957
20. Шеннах, С .; Ху, И.; Льюбель, А. (2007). «Непараметрическая идентификация классической модели ошибок в переменных без побочной информации». Рабочий документ .
21. Ньюи, Уитни К. (2001). «Гибкая имитационная оценка момента нелинейной модели ошибок в переменных». Обзор экономики и статистики . 83 (4): 616–627. doi :10.1162/003465301753237704. hdl : 1721.1/63613 . JSTOR  3211757. S2CID  57566922.
22. Ли, Тонг; Вуонг, Куанг (1998). «Непараметрическая оценка модели ошибки измерения с использованием нескольких индикаторов». Журнал многомерного анализа . 65 (2): 139–165. doi : 10.1006/jmva.1998.1741 .
23. Ли, Тонг (2002). «Надежная и последовательная оценка нелинейных моделей с ошибками в переменных». Журнал эконометрики . 110 (1): 1–26. doi :10.1016/S0304-4076(02)00120-3.
24. Шеннах, Сюзанна М. (2004). «Оценка нелинейных моделей с погрешностью измерения». Econometrica . 72 (1): 33–75. doi :10.1111/j.1468-0262.2004.00477.x. JSTOR  3598849.
25. Шеннах, Сюзанна М. (2004). «Непараметрическая регрессия при наличии ошибки измерения». Эконометрическая теория . 20 (6): 1046–1093. doi :10.1017/S0266466604206028. S2CID  123036368.

Дальнейшее чтение

• Догерти, Кристофер (2011). «Стохастические регрессоры и ошибки измерения». Введение в эконометрику (четвертое изд.). Oxford University Press. стр. 300–330. ISBN 978-0-19-956708-9.
• Кмента, Ян (1986). «Оценка с недостающими данными». Элементы эконометрики (второе изд.). Нью-Йорк: Macmillan. С. 346–391. ISBN 978-0-02-365070-3.
• Schennach, Susanne (2013). «Ошибка измерения в нелинейных моделях – Обзор». В Acemoglu, Daron; Arellano, Manuel; Dekel, Eddie (ред.). Advances in Economics and Econometrics . Cambridge University Press. стр. 296–337. doi : 10.1017/CBO9781139060035.009. hdl : 10419/79526. ISBN 9781107017214.

Внешние ссылки

• Исторический обзор линейной регрессии с ошибками в обеих переменных, JW Gillard 2006
• Лекция по эконометрике (тема: Стохастические регрессоры и погрешность измерения) на YouTube от Марка Томы .