Теорема Гаусса–Маркова

Теорема, связанная с обычными наименьшими квадратами

В статистике теорема Гаусса -Маркова (или просто теорема Гаусса для некоторых авторов) ^[1] утверждает, что обычная оценка наименьших квадратов (OLS) имеет наименьшую дисперсию выборки в классе линейных несмещенных оценок , если ошибки в линейной регрессии модели некоррелированы , имеют равные дисперсии и нулевое математическое ожидание. ^[2] Для применения теоремы ошибки не обязательно должны быть нормальными , а также независимыми и одинаково распределенными (только некоррелированными со средним нулевым значением и гомоскедастическими с конечной дисперсией).

Требование несмещенности нельзя отбрасывать, поскольку существуют смещенные оценки с меньшей дисперсией и среднеквадратической ошибкой. Например, оценщик Джеймса – Стейна (который также снижает линейность) и гребневая регрессия обычно превосходят обычные методы наименьших квадратов. Фактически, обычный метод наименьших квадратов редко даже является допустимой оценкой , как показывает феномен Штейна - при оценке более чем двух неизвестных переменных обычный метод наименьших квадратов всегда будет работать хуже (по среднеквадратической ошибке), чем оценщик Штейна.

Более того, теорема Гаусса-Маркова не применяется при рассмотрении более принципиальных функций потерь, таких как назначенное правдоподобие или расхождение Кульбака-Лейблера , за исключением ограниченного случая нормально распределенных ошибок.

В результате этих открытий статистики обычно мотивируют обычные методы наименьших квадратов вместо этого принципом максимального правдоподобия или рассматривая его как своего рода приблизительный байесовский вывод .

Теорема названа в честь Карла Фридриха Гаусса и Андрея Маркова . Гаусс дал оригинальное доказательство ^[3] , которое позднее было существенно обобщено Марковым. ^[4]

Скалярный оператор случая

Предположим, нам даны два вектора случайных величин, . ${\displaystyle X{\text{, }}Y,{\text{ where }}X,Y\in \mathbb {R} ^{k}}$

Предположим, вы хотите найти лучшую линейную оценку Y с учетом X, такую, что

${\displaystyle {\hat {Y}}=\alpha X+\mu ,{\text{ where }}(\alpha \in \mathbb {R} {\text{ and }}\mu \in \mathbb {R} )}$будет оценщиком,

и параметры такие, чтобы это была лучшая линейная оценка X. ${\displaystyle \alpha ,\mu }$

Такая оценка будет иметь те же линейные свойства Y, . ${\displaystyle {\hat {Y}}}$ ${\displaystyle \sigma _{\hat {Y}}=\sigma _{Y},\mu _{\hat {Y}}=\mu _{Y}}$

Следовательно, если вектор X имеет свойства , лучшей линейной оценкой будет ${\displaystyle \mu _{x},\sigma _{x}}$

${\displaystyle {\hat {Y}}=\sigma _{y}{\frac {(X-\mu _{x})}{\sigma _{x}}}+\mu _{y}}$

поскольку он имеет то же среднее значение и дисперсию, что и Y.

Заявление

Предположим, что мы имеем в матричной записи линейную зависимость

${\displaystyle y=X\beta +\varepsilon ,\quad (y,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})}$

расширяется до,

${\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \forall i=1,2,\ldots ,n}$

где – неслучайные, но ненаблюдаемые параметры, неслучайные и наблюдаемые (называемые «объясняющими переменными»), случайные и, следовательно, случайные. Случайные величины называются «возмущением», «шумом» или просто «ошибкой» (будет противопоставлено «остатку» далее в статье; см. ошибки и остатки в статистике ). Обратите внимание: чтобы включить константу в приведенную выше модель, можно ввести константу как переменную, при этом вновь введенный последний столбец X будет равен единице, т. е. для всех . Обратите внимание, что, хотя в качестве выборочных ответов можно наблюдать, следующие утверждения и аргументы, включая предположения, доказательства и другие, предполагают при единственном условии знания , но не ${\displaystyle \beta _{j}}$ ${\displaystyle X_{ij}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{K+1}}$ ${\displaystyle X_{i(K+1)}=1}$ ${\displaystyle i}$ ${\displaystyle y_{i},}$ ${\displaystyle X_{ij},}$ ${\displaystyle y_{i}.}$

Предположения Гаусса – Маркова касаются набора случайных величин ошибок : ${\displaystyle \varepsilon _{i}}$

• Они имеют среднее ноль: ${\displaystyle \operatorname {E} [\varepsilon _{i}]=0.}$
• Они гомоскедастичны , то есть все имеют одну и ту же конечную дисперсию: для всех и ${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$ ${\displaystyle i}$
• Отдельные члены ошибки не коррелируют: ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.}$

Линейная оценка представляет собой линейную комбинацию ${\displaystyle \beta _{j}}$

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

в котором коэффициентам не разрешено зависеть от базовых коэффициентов , поскольку они не наблюдаемы, но разрешено зависеть от значений , поскольку эти данные наблюдаемы. (Зависимость коэффициентов от каждого из них обычно нелинейна; оценка линейна в каждом и, следовательно, в каждом случайном случае, поэтому это «линейная» регрессия .) Оценка считается несмещенной тогда и только тогда, когда ${\displaystyle c_{ij}}$ ${\displaystyle \beta _{j}}$ ${\displaystyle X_{ij}}$ ${\displaystyle X_{ij}}$ ${\displaystyle y_{i}}$ ${\displaystyle \varepsilon ,}$

${\displaystyle \operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}}$

независимо от значений . Теперь пусть это некоторая линейная комбинация коэффициентов. Тогда среднеквадратическая ошибка соответствующей оценки равна ${\displaystyle X_{ij}}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$

${\displaystyle \operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}$

другими словами, это ожидание квадрата взвешенной суммы (по параметрам) различий между оценщиками и соответствующими оцениваемыми параметрами. (Поскольку мы рассматриваем случай, когда все оценки параметров несмещены, эта среднеквадратическая ошибка равна дисперсии линейной комбинации.) Наилучшей линейной несмещенной оценкой (СИНИЙ) вектора параметров является оценка с наименьшим среднеквадратическая ошибка для каждого вектора параметров линейной комбинации. Это эквивалентно условию, что ${\displaystyle \beta }$ ${\displaystyle \beta _{j}}$ ${\displaystyle \lambda }$

${\displaystyle \operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$

является положительной полуопределенной матрицей для любой другой линейной несмещенной оценки . ${\displaystyle {\widetilde {\beta }}}$

Обычная оценка методом наименьших квадратов (OLS) — это функция

${\displaystyle {\widehat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

из и (где обозначает транспонирование ) , что минимизирует сумму квадратов остатков (суммы неправильного прогнозирования): ${\displaystyle y}$ ${\displaystyle X}$ ${\displaystyle X^{\operatorname {T} }}$ ${\displaystyle X}$

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}$

Теорема теперь утверждает, что оценка OLS является лучшей линейной несмещенной оценкой (СИНИЙ).

Основная идея доказательства состоит в том, что оценка методом наименьших квадратов не коррелирует с любой линейной несмещенной оценкой нуля, т. е. с каждой линейной комбинацией, коэффициенты которой не зависят от ненаблюдаемой, но чье математическое ожидание всегда равно нулю. ${\displaystyle a_{1}y_{1}+\cdots +a_{n}y_{n}}$ ${\displaystyle \beta }$

Примечание

Доказательство того, что МНК действительно минимизирует сумму квадратов остатков, можно провести следующим образом: вычислить матрицу Гессе и показать, что она положительно определена.

Функция MSE, которую мы хотим минимизировать, равна

$${\displaystyle f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$$

p

$${\displaystyle {\begin{aligned}{\frac {d}{d{\boldsymbol {\beta }}}}f&=-2X^{\operatorname {T} }\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _{p+1},\end{aligned}}}$$

${\displaystyle X^{\operatorname {T} }}$

$${\displaystyle X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1}$$

Матрица Гессе вторых производных равна

$${\displaystyle {\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{\operatorname {T} }X}$$

Предполагая, что столбцы линейно независимы и обратимы, пусть , тогда ${\displaystyle X}$ ${\displaystyle X^{\operatorname {T} }X}$ ${\displaystyle X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}}$

$${\displaystyle k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}=\mathbf {0} \iff k_{1}=\dots =k_{p+1}=0}$$

Теперь пусть будет собственным вектором . ${\displaystyle \mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}}$ ${\displaystyle {\mathcal {H}}}$

$${\displaystyle \mathbf {k} \neq \mathbf {0} \implies \left(k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}\right)^{2}>0}$$

С точки зрения векторного умножения это означает

$${\displaystyle {\begin{bmatrix}k_{1}&\cdots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} \\\vdots \\\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\operatorname {T} }{\mathcal {H}}\mathbf {k} =\lambda \mathbf {k} ^{\operatorname {T} }\mathbf {k} >0}$$

${\displaystyle \lambda }$ ${\displaystyle \mathbf {k} }$

$${\displaystyle \mathbf {k} ^{\operatorname {T} }\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0}$$

Наконец, поскольку собственный вектор был произвольным, это означает, что все собственные значения положительны и, следовательно, положительно определены. Таким образом, ${\displaystyle \mathbf {k} }$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle {\mathcal {H}}}$

$${\displaystyle {\boldsymbol {\beta }}=\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }Y}$$

Или просто посмотрите это для всех векторов . Таким образом, гессиан является положительно определенным, если имеет полный ранг. ${\displaystyle \mathbf {v} ,\mathbf {v} ^{\operatorname {T} }X^{\operatorname {T} }X\mathbf {v} =\|\mathbf {X} \mathbf {v} \|^{2}\geq 0}$

Доказательство

Пусть – еще одна линейная оценка с, где – ненулевая матрица. Поскольку мы ограничиваемся несмещенными оценками, минимальная среднеквадратическая ошибка подразумевает минимальную дисперсию. Поэтому цель состоит в том, чтобы показать, что такая оценка имеет дисперсию не меньшую, чем дисперсия оценки OLS. Мы рассчитываем: ${\displaystyle {\tilde {\beta }}=Cy}$ ${\displaystyle \beta }$ ${\displaystyle C=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D}$ ${\displaystyle D}$ ${\displaystyle K\times n}$ ${\displaystyle {\widehat {\beta }},}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)(X\beta +\varepsilon )\right]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta +\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

Следовательно, поскольку оно ненаблюдаемо , оно является несмещенным тогда и только тогда, когда . Затем: ${\displaystyle \beta }$ ${\displaystyle {\tilde {\beta }}}$ ${\displaystyle DX=0}$

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C^{\operatorname {T} }\\&=\sigma ^{2}CC^{\operatorname {T} }\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\left(X(X^{\operatorname {T} }X)^{-1}+D^{\operatorname {T} }\right)\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}+(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }D^{\operatorname {T} }+DX(X^{\operatorname {T} }X)^{-1}+DD^{\operatorname {T} }\right)\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}(X^{\operatorname {T} }X)^{-1}(DX)^{\operatorname {T} }+\sigma ^{2}DX(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{\operatorname {T} }&&\sigma ^{2}(X^{\operatorname {T} }X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

Так как – положительно полуопределенная матрица, то превосходит на положительно полуопределенную матрицу. ${\displaystyle DD^{\operatorname {T} }}$ ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)}$ ${\displaystyle \operatorname {Var} \left({\widehat {\beta }}\right)}$

Замечания по доказательству

Как было сказано ранее, условие положительной полуопределенной матрицы эквивалентно свойству лучшей линейной несмещенной оценки ( лучшей в том смысле, что она имеет минимальную дисперсию). Чтобы убедиться в этом, рассмотрим другую линейную несмещенную оценку . ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$ ${\displaystyle \ell ^{\operatorname {T} }\beta }$ ${\displaystyle \ell ^{\operatorname {T} }{\widehat {\beta }}}$ ${\displaystyle \ell ^{\operatorname {T} }{\tilde {\beta }}}$ ${\displaystyle \ell ^{\operatorname {T} }\beta }$

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\ell ^{\operatorname {T} }{\tilde {\beta }}\right)&=\ell ^{\operatorname {T} }\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell +\ell ^{\operatorname {T} }DD^{\operatorname {T} }\ell \\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+(D^{\operatorname {T} }\ell )^{t}(D^{\operatorname {T} }\ell )&&\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell =\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+\|D^{\operatorname {T} }\ell \|\\&\geq \operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\end{aligned}}}$

Более того, равенство имеет место тогда и только тогда, когда . Мы рассчитываем ${\displaystyle D^{\operatorname {T} }\ell =0}$

${\displaystyle {\begin{aligned}\ell ^{\operatorname {T} }{\tilde {\beta }}&=\ell ^{\operatorname {T} }\left(((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D)Y\right)&&{\text{ from above}}\\&=\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }Y+\ell ^{\operatorname {T} }DY\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}+(D^{\operatorname {T} }\ell )^{t}Y\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}&&D^{\operatorname {T} }\ell =0\end{aligned}}}$

Это доказывает, что равенство выполняется тогда и только тогда, когда это дает уникальность оценки МНК как СИНЕГО. ${\displaystyle \ell ^{\operatorname {T} }{\tilde {\beta }}=\ell ^{\operatorname {T} }{\widehat {\beta }}}$

Обобщенная оценка методом наименьших квадратов

Метод обобщенных наименьших квадратов (GLS), разработанный Эйткеном ^[5] , расширяет теорему Гаусса–Маркова на случай, когда вектор ошибок имеет нескалярную ковариационную матрицу. ^[6] Оценщик Эйткена также имеет СИНИЙ цвет.

Теорема Гаусса – Маркова, сформулированная в эконометрике

В большинстве методов МНК предполагается, что регрессоры (интересующие параметры) в матрице плана фиксированы в повторяющихся выборках. Это предположение считается неприемлемым для такой преимущественно неэкспериментальной науки, как эконометрика . ^[7] Вместо этого предположения теоремы Гаусса–Маркова формулируются при условии . ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$

Линейность

Предполагается, что зависимая переменная является линейной функцией переменных, указанных в модели. Спецификация должна быть линейной по своим параметрам. Это не означает, что между независимыми и зависимыми переменными должна существовать линейная связь. Независимые переменные могут принимать нелинейные формы, если параметры линейны. Уравнение квалифицируется как линейное, хотя его можно преобразовать в линейное, заменив другим параметром, скажем . Уравнение с параметром, зависящим от независимой переменной, не считается линейным, например , где – функция от . ${\displaystyle y=\beta _{0}+\beta _{1}x^{2},}$ ${\displaystyle y=\beta _{0}+\beta _{1}^{2}x}$ ${\displaystyle \beta _{1}^{2}}$ ${\displaystyle \gamma }$ ${\displaystyle y=\beta _{0}+\beta _{1}(x)\cdot x}$ ${\displaystyle \beta _{1}(x)}$ ${\displaystyle x}$

Преобразования данных часто используются для преобразования уравнения в линейную форму. Например, функция Кобба-Дугласа , часто используемая в экономике, является нелинейной:

${\displaystyle Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }}$

Но его можно выразить в линейной форме, взяв натуральный логарифм обеих частей: ^[8]

${\displaystyle \ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon }$

Это предположение также охватывает вопросы спецификации: предполагается, что выбрана правильная функциональная форма и нет пропущенных переменных .

Однако следует помнить, что параметры, минимизирующие остатки преобразованного уравнения, не обязательно минимизируют остатки исходного уравнения.

Строгая экзогенность

Для всех наблюдений математическое ожидание (при условии регрессоров) ошибки равно нулю: ^[9] ${\displaystyle n}$

${\displaystyle \operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x} _{1},\dots ,\mathbf {x} _{n}]=0.}$

где — вектор данных регрессоров для i- го наблюдения и, следовательно, — матрица данных или матрица плана. ${\displaystyle \mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\cdots &x_{ik}\end{bmatrix}}^{\operatorname {T} }}$ ${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\operatorname {T} }&\mathbf {x} _{2}^{\operatorname {T} }&\cdots &\mathbf {x} _{n}^{\operatorname {T} }\end{bmatrix}}^{\operatorname {T} }}$

Геометрически это предположение подразумевает, что и ортогональны друг другу , так что их внутренний продукт (т. е. их перекрестный момент) равен нулю. ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle \varepsilon _{i}}$

${\displaystyle \operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n}$

Это предположение нарушается, если объясняющие переменные измеряются с ошибкой или являются эндогенными . ^[10] Эндогенность может быть результатом одновременности, когда причинно-следственная связь течет вперед и назад между зависимой и независимой переменной. Для решения этой проблемы обычно используются методы инструментальных переменных .

Полный ранг

Матрица выборочных данных должна иметь полный ранг столбца . ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {rank} (\mathbf {X} )=k}$

В противном случае это необратимо, и оценщик OLS не может быть вычислен. ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$

Нарушением этого предположения является совершенная мультиколлинеарность , т.е. некоторые объясняющие переменные линейно зависимы. Один из сценариев, в котором это произойдет, называется «ловушкой фиктивной переменной», когда базовая фиктивная переменная не опускается, что приводит к идеальной корреляции между фиктивными переменными и постоянным членом. ^[11]

Мультиколлинеарность (пока она не «идеальна») может присутствовать, что приводит к менее эффективной, но все же несмещенной оценке. Оценки будут менее точными и очень чувствительными к конкретным наборам данных. ^[12] Мультиколлинеарность можно обнаружить, помимо других тестов, по числу условий или коэффициенту инфляции дисперсии .

Сферические ошибки

Внешний продукт вектора ошибок должен быть сферическим.

${\displaystyle \operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\operatorname {T} }\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0}$

Это означает, что термин ошибки имеет равномерную дисперсию ( гомоскедастичность ) и не имеет серийной корреляции . ^[13] Если это предположение нарушается, МНК все равно будет объективным, но неэффективным . Термин «сферические ошибки» будет описывать многомерное нормальное распределение : если это многомерная нормальная плотность, то уравнение представляет собой формулу для шара с центром в точке μ и радиусом σ в n-мерном пространстве. ^[14] ${\displaystyle \operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I} }$ ${\displaystyle f(\varepsilon )=c}$

Гетероскедастичность возникает, когда величина ошибки коррелирует с независимой переменной. Например, в регрессии расходов на питание и доходов ошибка коррелирует с доходом. Люди с низким доходом обычно тратят на еду одинаковую сумму, в то время как люди с высоким доходом могут тратить очень большую сумму или столько же, сколько тратят люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в практике измерений. Например, по мере того, как статистические управления улучшают свои данные, ошибка измерения уменьшается, поэтому величина ошибки со временем уменьшается.

Это предположение нарушается при наличии автокорреляции . Автокорреляцию можно визуализировать на графике данных, когда данное наблюдение с большей вероятностью будет лежать выше подобранной линии, если соседние наблюдения также лежат выше подобранной линии регрессии. Автокорреляция часто встречается в данных временных рядов, где ряд данных может испытывать «инерцию». Если зависимой переменной требуется некоторое время, чтобы полностью поглотить шок. Также может возникнуть пространственная автокорреляция. Географические области могут иметь аналогичные ошибки. Автокорреляция может быть результатом неправильной спецификации, например, выбора неправильной функциональной формы. В этих случаях исправление спецификации является одним из возможных способов борьбы с автокорреляцией.

Когда предположение о сферических ошибках может быть нарушено, можно показать, что обобщенная оценка наименьших квадратов имеет СИНИЙ цвет. ^[6]

Смотрите также

• Независимые и одинаково распределенные случайные величины
• Линейная регрессия
• Погрешность измерения

Другая объективная статистика

• Лучшее линейное несмещенное предсказание (BLUP)
• Несмещенная оценка с минимальной дисперсией (MVUE)

Рекомендации

1. См. главу 7 Джонсона, РА; Вичерн, Д.В. (2002). Прикладной многомерный статистический анализ . Том. 5. Прентис-холл.
2. Тейл, Анри (1971). «Лучшая линейная несмещенная оценка и прогноз». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 119–124. ISBN 0-471-85845-5.
3. Плакетт, Р.Л. (1949). «Историческая справка о методе наименьших квадратов». Биометрика . 36 (3/4): 458–460. дои : 10.2307/2332682.
4. Дэвид, ФН; Нейман, Дж. (1938). «Распространение теоремы Маркова о наименьших квадратах». Статистические исследования Мемуары . 2 : 105–116. ОСЛК  4025782.
5. Эйткен, AC (1935). «О наименьших квадратах и ​​линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга . 55 : 42–48. дои : 10.1017/S0370164600014346.
6. Хуанг, Дэвид С. (1970). Регрессия и эконометрические методы . Нью-Йорк: Джон Уайли и сыновья. стр. 127–147. ISBN 0-471-41754-8.
7. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 13. ISBN 0-691-01018-8.
8. Уолтерс, А.А. (1970). Введение в эконометрику . Нью-Йорк: WW Нортон. п. 275. ИСБН 0-393-09931-8.
9. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 7. ISBN 0-691-01018-8.
10. Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 267–291. ISBN 0-07-032679-7.
11. Вулдридж, Джеффри (2012). Вводная эконометрика (Пятое международное изд.). Юго-Западный. п. 220. ИСБН 978-1-111-53439-4.
12. Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: МакГроу-Хилл. стр. 159–168. ISBN 0-07-032679-7.
13. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 10. ISBN 0-691-01018-8.
14. Раманатан, Раму (1993). «Несферические возмущения». Статистические методы в эконометрике . Академическая пресса. стр. 330–351. ISBN 0-12-576830-3.

дальнейшее чтение

• Дэвидсон, Джеймс (2000). «Статистический анализ регрессионной модели». Эконометрическая теория . Оксфорд: Блэквелл. стр. 17–36. ISBN 0-631-17837-6.
• Гольдбергер, Артур (1991). «Классическая регрессия». Курс эконометрики . Кембридж: Издательство Гарвардского университета. стр. 160–169. ISBN 0-674-17544-1.
• Тейл, Анри (1971). «Меньшие квадраты и стандартная линейная модель». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 101–162. ISBN 0-471-85845-5.

Внешние ссылки

• Самые ранние известные варианты использования некоторых математических слов: G (краткая история и объяснение названия)
• Доказательство теоремы Гаусса Маркова для множественной линейной регрессии (с использованием матричной алгебры)
• Доказательство теоремы Гаусса о Маркове с использованием геометрии