Обычный метод наименьших квадратов

Метод оценки неизвестных параметров в линейной регрессионной модели

Закон Оукена в макроэкономике гласит, что в экономике рост ВВП должен линейно зависеть от изменения уровня безработицы. Здесь используется обычный метод наименьших квадратов для построения линии регрессии, описывающей этот закон.

В статистике метод наименьших квадратов ( МНК ) — это тип линейного метода наименьших квадратов для выбора неизвестных параметров в модели линейной регрессии (с фиксированными эффектами первого уровня ^{[ требуется разъяснение ]} линейной функции набора объясняющих переменных ) по принципу наименьших квадратов : минимизация суммы квадратов разностей между наблюдаемой зависимой переменной (значениями наблюдаемой переменной) во входном наборе данных и выходом (линейной) функции независимой переменной . Некоторые источники считают МНК линейной регрессией. ^[1]

Геометрически это выглядит как сумма квадратов расстояний, параллельных оси зависимой переменной, между каждой точкой данных в наборе и соответствующей точкой на поверхности регрессии — чем меньше различия, тем лучше модель соответствует данным. Полученная оценка может быть выражена простой формулой, особенно в случае простой линейной регрессии , в которой есть один регрессор в правой части уравнения регрессии.

Оценка OLS является последовательной для фиксированных эффектов уровня один, когда регрессоры являются экзогенными , и образует идеальную коллинеарность (условие ранга), последовательной для оценки дисперсии остатков, когда регрессоры имеют конечные четвертые моменты ^[2] , и — по теореме Гаусса–Маркова — оптимальной в классе линейных несмещенных оценок , когда ошибки гомоскедастичны и последовательно некоррелированы . При этих условиях метод OLS обеспечивает оценку среднего несмещенного с минимальной дисперсией , когда ошибки имеют конечные дисперсии . При дополнительном предположении, что ошибки распределены нормально с нулевым средним , OLS является оценкой максимального правдоподобия , которая превосходит любую нелинейную несмещенную оценку.

Линейная модель

Предположим, что данные состоят из наблюдений . Каждое наблюдение включает скалярный отклик и вектор-столбец параметров (регрессоров), т.е. . В линейной регрессионной модели переменная отклика, , является линейной функцией регрессоров: ${\displaystyle n}$ ${\displaystyle \left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}}$ ${\displaystyle i}$ ${\displaystyle y_{i}}$ ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle p}$ ${\displaystyle \mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }}$ ${\displaystyle y_{i}}$

${\displaystyle y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},}$

или в векторной форме,

${\displaystyle y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,}$

где , как было введено ранее, является вектором-столбцом -го наблюдения всех объясняющих переменных; является вектором неизвестных параметров; и скаляр представляет ненаблюдаемые случайные величины ( ошибки ) -го наблюдения. учитывает влияние на отклики источников, отличных от объясняющих переменных . Эту модель также можно записать в матричной записи как ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle i}$ ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle p\times 1}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle i}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle \mathbf {x} _{i}}$

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

где и — векторы переменных отклика и ошибок наблюдений , а — матрица регрессоров, также иногда называемая матрицей дизайна , строка которой содержит -е наблюдения по всем объясняющим переменным. ${\displaystyle \mathbf {y} }$ ${\displaystyle {\boldsymbol {\varepsilon }}}$ ${\displaystyle n\times 1}$ ${\displaystyle n}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n\times p}$ ${\displaystyle i}$ ${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }}$ ${\displaystyle i}$

Обычно постоянный член включается в набор регрессоров , скажем, путем взятия для всех . Коэффициент, соответствующий этому регрессору, называется отсекателем . Без отсекателя подобранная линия вынуждена пересекать начало координат, когда . ${\displaystyle \mathbf {X} }$ ${\displaystyle x_{i1}=1}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle \beta _{1}}$ ${\displaystyle x_{i}={\vec {0}}}$

Регрессоры не обязательно должны быть независимыми, чтобы оценка была последовательной, например, они могут быть нелинейно зависимыми. За исключением идеальной мультиколлинеарности, оценки параметров могут быть последовательными; однако, по мере увеличения мультиколлинеарности стандартная ошибка вокруг таких оценок увеличивается и снижает точность таких оценок. Когда есть идеальная мультиколлинеарность, больше невозможно получить уникальные оценки для коэффициентов для связанных регрессоров; оценка для этих параметров не может сходиться (таким образом, она не может быть последовательной).

В качестве конкретного примера, где регрессоры нелинейно зависимы, но оценка все еще может быть последовательной, мы могли бы предположить, что ответ линейно зависит как от значения, так и от его квадрата; в этом случае мы бы включили один регрессор, значение которого является просто квадратом другого регрессора. В этом случае модель была бы квадратичной во втором регрессоре, но тем не менее все еще считалась бы линейной моделью, поскольку модель все еще линейна по параметрам ( ). ${\displaystyle {\boldsymbol {\beta }}}$

Матрично-векторная формулировка

Рассмотрим переопределенную систему

${\displaystyle \sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),}$

линейных уравнений с неизвестными коэффициентами , , с . Это можно записать в матричной форме как ${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{p}}$ ${\displaystyle n>p}$

${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} ,}$

где

${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.}$

(Примечание: для линейной модели, как указано выше, не все элементы в содержат информацию о точках данных. Первый столбец заполнен единицами, . Только другие столбцы содержат фактические данные. Поэтому здесь равно числу регрессоров плюс один). ${\displaystyle \mathbf {X} }$ ${\displaystyle X_{i1}=1}$ ${\displaystyle p}$

Такая система обычно не имеет точного решения, поэтому цель состоит в том, чтобы найти коэффициенты , которые соответствуют уравнениям «лучше всего», в смысле решения задачи квадратичной минимизации. ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),}$

где целевая функция задается выражением ${\displaystyle S}$

${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.}$

Обоснование выбора этого критерия приведено в разделе Свойства ниже. Эта задача минимизации имеет единственное решение при условии, что столбцы матрицы линейно независимы , что определяется решением так называемых нормальных уравнений : ${\displaystyle p}$ ${\displaystyle \mathbf {X} }$

${\displaystyle \left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .}$

Матрица известна как нормальная матрица или матрица Грама , а матрица известна как матрица моментов регресса регрессорами. ^[3] Наконец, — это вектор коэффициентов гиперплоскости наименьших квадратов , выраженный как ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$ ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {y} }$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }\mathbf {y} .}$

или

${\displaystyle {\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }{\boldsymbol {\varepsilon }}.}$

Оценка

Предположим, что b является "кандидатным" значением для вектора параметров β . Величина y _i − x _i ^T b , называемая остатком для i -го наблюдения, измеряет вертикальное расстояние между точкой данных ( x _i , y _i ) и гиперплоскостью y = x ^T b , и таким образом оценивает степень соответствия между фактическими данными и моделью. Сумма квадратов остатков ( SSR ) (также называемая суммой квадратов ошибок ( ESS ) или суммой квадратов остатков ( RSS )) ^[4] является мерой общего соответствия модели:

${\displaystyle S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),}$

где T обозначает транспонированную матрицу , а строки X , обозначающие значения всех независимых переменных, связанных с определенным значением зависимой переменной, равны X _i = x _i ^T . Значение b , которое минимизирует эту сумму, называется оценкой МНК для β . Функция S ( b ) является квадратичной по b с положительно определенным гессианом , и, следовательно, эта функция обладает единственным глобальным минимумом при , который может быть задан явной формулой: ^{[5] [доказательство]} ${\displaystyle b={\hat {\beta }}}$

${\displaystyle {\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .}$

Произведение N = X ^T X является матрицей Грама , а ее обратная матрица, Q = N ^–1 , является матрицей кофакторов β , ^{[6] [7]} [ ^8], тесно связанной с ее ковариационной матрицей, C _β . Матрица ( X ^T X ) ^–1 X ^T = Q X ^T называется псевдообратной матрицей Мура–Пенроуза для X. Эта формулировка подчеркивает тот факт, что оценка может быть выполнена тогда и только тогда, когда нет идеальной мультиколлинеарности между объясняющими переменными (что привело бы к тому, что матрица Грама не имела бы обратной матрицы).

После того, как мы оценили β , подобранные значения (или предсказанные значения ) из регрессии будут

${\displaystyle {\hat {y}}=X{\hat {\beta }}=Py,}$

где P = X ( X ^T X ) ⁻¹ X ^T — матрица проекции на пространство V , охватываемое столбцами X . Эту матрицу P также иногда называют матрицей шляпы , потому что она «надевает шляпу» на переменную y . Другая матрица, тесно связанная с P — это матрица аннигилятора M = I _n − P ; это матрица проекции на пространство, ортогональное V . Обе матрицы P и M симметричны и идемпотентны (это означает, что P 2 ⁼ P и M 2 ⁼ M ) , и связаны с матрицей данных X через тождества PX = X и MX = 0 . ^[9] Матрица M создает остатки от регрессии:

${\displaystyle {\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .}$

Используя эти остатки, мы можем оценить значение σ2 ^, используя приведенную статистику хи-квадрат :

${\displaystyle s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}}$

Знаменатель, n − p , является статистическими степенями свободы . Первая величина, s ² , является оценкой OLS для σ ² , тогда как вторая, , является оценкой MLE для σ ² . Эти две оценки довольно похожи в больших выборках; первая оценка всегда несмещена , в то время как вторая оценка смещена , но имеет меньшую среднеквадратичную ошибку . На практике s ² используется чаще, так как она более удобна для проверки гипотез. Квадратный корень из s ² называется стандартной ошибкой регрессии , ^[10] стандартной ошибкой регрессии , ^{[11] [12]} или стандартной ошибкой уравнения . ^[9] ${\displaystyle \scriptstyle {\hat {\sigma }}^{2}}$

Обычно оценивают степень соответствия регрессии OLS, сравнивая, насколько начальная вариация в выборке может быть уменьшена путем регрессии на X. Коэффициент детерминации R ² определяется как отношение «объясненной» дисперсии к «общей» дисперсии зависимой переменной y в случаях, когда сумма квадратов регрессии равна сумме квадратов остатков: ^[13]

${\displaystyle R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}}$

где TSS — это общая сумма квадратов для зависимой переменной, , и — матрица n × n единиц. ( — центрирующая матрица , которая эквивалентна регрессии на константу; она просто вычитает среднее значение из переменной.) Для того чтобы R ² была осмысленной, матрица X данных о регрессорах должна содержать вектор-столбец из единиц для представления константы, коэффициент которой является свободным членом регрессии. В этом случае R ² всегда будет числом от 0 до 1, причем значения, близкие к 1, указывают на хорошую степень соответствия. ${\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}$ ${\textstyle J_{n}}$ ${\displaystyle L}$

Дисперсия в прогнозе независимой переменной как функция зависимой переменной приведена в статье Полиномиальные наименьшие квадраты .

Простая модель линейной регрессии

Если матрица данных X содержит только две переменные, константу и скалярный регрессор x _i , то это называется "простой регрессионной моделью". Этот случай часто рассматривается на занятиях по статистике для начинающих, так как он обеспечивает гораздо более простые формулы, даже подходящие для ручного расчета. Параметры обычно обозначаются как ( α , β ) :

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

Оценки наименьших квадратов в этом случае даются простыми формулами

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}}$

Альтернативные производные

В предыдущем разделе оценка наименьших квадратов была получена как значение, которое минимизирует сумму квадратов остатков модели. Однако также возможно вывести ту же оценку из других подходов. Во всех случаях формула для оценки МНК остается той же: ^{^} β = ( X ^T X ) ⁻¹ X ^T y ; единственное отличие заключается в том, как мы интерпретируем этот результат. ${\displaystyle {\hat {\beta }}}$

Проекция

Оценку OLS можно рассматривать как проекцию на линейное пространство, охватываемое регрессорами. (Здесь каждый из и относится к столбцу матрицы данных.) ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

Для математиков МНК — это приближенное решение переопределенной системы линейных уравнений Xβ ≈ y , где β — неизвестное. Предполагая, что система не может быть решена точно (количество уравнений n намного больше количества неизвестных p ), мы ищем решение, которое могло бы обеспечить наименьшее расхождение между правой и левой частями. Другими словами, мы ищем решение, которое удовлетворяет

${\displaystyle {\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ,}$

где ‖ · ‖ — стандартная  норма L 2 в n -мерном евклидовом пространстве R ⁿ . Предсказанная величина Xβ — это просто некоторая линейная комбинация векторов регрессоров. Таким образом, остаточный вектор y − Xβ будет иметь наименьшую длину, когда y ортогонально проецируется на линейное подпространство , охватываемое столбцами X . Оценку МНК в этом случае можно интерпретировать как коэффициенты векторного разложения ^{^} y = Py по базису X . ${\displaystyle {\hat {\beta }}}$

Другими словами, уравнения градиента в минимуме можно записать как:

${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.}$

Геометрическая интерпретация этих уравнений заключается в том, что вектор остатков ортогонален пространству столбцов X , поскольку скалярное произведение равно нулю для любого конформного вектора v . Это означает, что является самым коротким из всех возможных векторов , то есть дисперсия остатков является минимально возможной. Это проиллюстрировано справа. ${\displaystyle \mathbf {y} -X{\hat {\boldsymbol {\beta }}}}$ ${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v} }$ ${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}}$ ${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$

Вводя матрицу K с предположением, что матрица невырожденная и K ^T X = 0 (ср. Ортогональные проекции ), остаточный вектор должен удовлетворять следующему уравнению: ${\displaystyle {\hat {\boldsymbol {\gamma }}}}$ ${\displaystyle [\mathbf {X} \ \mathbf {K} ]}$

${\displaystyle {\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.}$

Уравнение и решение линейного метода наименьших квадратов, таким образом, описываются следующим образом:

${\displaystyle {\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}}$

Другой способ взглянуть на это — считать линию регрессии средневзвешенным значением линий, проходящих через комбинацию любых двух точек в наборе данных. ^[14] Хотя этот способ расчета более затратен в вычислительном отношении, он обеспечивает лучшее интуитивное представление об OLS.

Максимальная вероятность

Оценка МНК идентична оценке максимального правдоподобия (MLE) при предположении нормальности для членов ошибки. ^{[15] [доказательство]} Это предположение о нормальности имеет историческое значение, поскольку оно послужило основой для ранних работ по линейному регрессионному анализу Юла и Пирсона . ^{[ необходима ссылка ]} Из свойств MLE можно сделать вывод, что оценка МНК асимптотически эффективна (в смысле достижения границы Крамера–Рао для дисперсии), если предположение о нормальности выполняется. ^[16]

Обобщенный метод моментов

В этом случае оценку OLS можно также рассматривать как оценку GMM , возникающую из моментных условий

${\displaystyle \mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.}$

Эти условия моментов утверждают, что регрессоры должны быть некоррелированы с ошибками. Поскольку x _i является p -вектором, количество условий моментов равно размерности вектора параметров β , и, таким образом, система точно идентифицируется. Это так называемый классический случай GMM, когда оценка не зависит от выбора весовой матрицы.

Обратите внимание, что исходное строгое предположение экзогенности E[ ε _i  |  x _i ] = 0 подразумевает гораздо более богатый набор моментных условий, чем указано выше. В частности, это предположение подразумевает, что для любой векторной функции ƒ будет выполняться моментное условие E[ ƒ ( x _i )· ε _i ] = 0. Однако с помощью теоремы Гаусса–Маркова можно показать , что оптимальным выбором функции ƒ является взятие ƒ ( x ) = x , что приводит к уравнению моментов, приведенному выше.

Характеристики

Предположения

Существует несколько различных фреймворков, в которых может быть использована модель линейной регрессии для того, чтобы сделать метод OLS применимым. Каждая из этих настроек дает одни и те же формулы и одни и те же результаты. Единственное отличие заключается в интерпретации и предположениях, которые должны быть введены для того, чтобы метод давал значимые результаты. Выбор применимого фреймворка в основном зависит от характера имеющихся данных и от задачи вывода, которую необходимо выполнить.

Одной из линий различия в интерпретации является то, следует ли рассматривать регрессоры как случайные величины или как предопределенные константы. В первом случае ( случайный дизайн ) регрессоры x _i случайны и выбираются вместе с y _i из некоторой популяции , как в наблюдательном исследовании . Этот подход позволяет более естественно изучать асимптотические свойства оценщиков. В другой интерпретации ( фиксированный дизайн ) регрессоры X рассматриваются как известные константы, установленные планом , а y выбирается условно на основе значений X , как в эксперименте . Для практических целей это различие часто неважно, поскольку оценка и вывод выполняются при обусловлении X. Все результаты, изложенные в этой статье, находятся в рамках случайного дизайна.

Классическая модель линейной регрессии

Классическая модель фокусируется на оценке и выводе "конечной выборки", что означает, что число наблюдений n фиксировано. Это контрастирует с другими подходами, которые изучают асимптотическое поведение OLS, и в которых изучается поведение при большом числе выборок.

• Правильная спецификация . Линейная функциональная форма должна совпадать с формой фактического процесса генерации данных.
• Строгая экзогенность . Ошибки в регрессии должны иметь условное среднее значение, равное нулю: ^[17] Непосредственным следствием предположения об экзогенности является то, что ошибки имеют среднее значение, равное нулю: E[ ε ] = 0 (для закона полного ожидания ), и что регрессоры не коррелируют с ошибками: E[ X ^T ε ] = 0 . $${\displaystyle \operatorname {E} [\,\varepsilon \mid X\,]=0.}$$
  Предположение об экзогенности имеет решающее значение для теории OLS. Если оно выполняется, то переменные-регрессоры называются экзогенными . Если нет, то те регрессоры, которые коррелируют с ошибкой, называются эндогенными [ ^18] , и оценка OLS становится смещенной. В таком случае для выполнения вывода можно использовать метод инструментальных переменных .
• Нет линейной зависимости . Все регрессоры в X должны быть линейно независимыми . Математически это означает, что матрица X должна иметь полный ранг столбца почти наверняка: ^[19] Обычно также предполагается, что регрессоры имеют конечные моменты, по крайней мере, до второго момента. Тогда матрица Q _xx = E[ X ^T X  /  n ] является конечной и положительно полуопределенной. $${\displaystyle \Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.}$$
  Когда это предположение нарушается, регрессоры называются линейно зависимыми или совершенно мультиколлинеарными . В таком случае значение коэффициента регрессии β не может быть изучено, хотя предсказание значений y все еще возможно для новых значений регрессоров, которые лежат в том же линейно зависимом подпространстве.
• Сферические ошибки : ^[19] где I _n — единичная матрица в размерности n , а σ ² — параметр, определяющий дисперсию каждого наблюдения. Этот σ ² считается мешающим параметром в модели, хотя обычно он также оценивается. Если это предположение нарушается, то оценки OLS остаются действительными, но уже неэффективными. $${\displaystyle \operatorname {Var} [\,\varepsilon \mid X\,]=\sigma ^{2}I_{n},}$$
  Это предположение принято делить на две части:
  • Гомоскедастичность : E[  ε _i ²  |  X  ] = σ ² , что означает, что ошибка имеет одинаковую дисперсию σ ² в каждом наблюдении. Когда это требование нарушается, это называется гетероскедастичностью , в таком случае более эффективной оценкой будет взвешенный метод наименьших квадратов . Если ошибки имеют бесконечную дисперсию, то оценки OLS также будут иметь бесконечную дисперсию (хотя по закону больших чисел они, тем не менее, будут стремиться к истинным значениям, пока ошибки имеют нулевое среднее). В этом случаерекомендуются надежные методы оценки .
  • Автокорреляция отсутствует : ошибки не коррелируют между наблюдениями: E[  ε _i ε _j  |  X  ] = 0 для i ≠ j . Это предположение может быть нарушено в контексте данных временных рядов , панельных данных , кластерных выборок, иерархических данных, данных повторных измерений, продольных данных и других данных с зависимостями. В таких случаях обобщенный метод наименьших квадратов обеспечивает лучшую альтернативу, чем МНК. Другим выражением для автокорреляции является последовательная корреляция .
• Нормальность . Иногда дополнительно предполагается, что ошибки имеют нормальное распределение , обусловленное регрессорами: ^[20] Это предположение не требуется для обоснованности метода OLS, хотя некоторые дополнительные свойства конечной выборки могут быть установлены в случае, когда это необходимо (особенно в области проверки гипотез). Также, когда ошибки являются нормальными, оценка OLS эквивалентна оценке максимального правдоподобия (MLE), и, следовательно, она асимптотически эффективна в классе всех регулярных оценок . Важно, что предположение о нормальности применяется только к членам ошибки; вопреки распространенному заблуждению, ответная (зависимая) переменная не обязательно должна быть распределена нормально. ^[21] $${\displaystyle \varepsilon \mid X\sim {\mathcal {N}}(0,\sigma ^{2}I_{n}).}$$

Независимые и одинаково распределенные (iid)

В некоторых приложениях, особенно с данными поперечного сечения , накладывается дополнительное предположение — что все наблюдения независимы и одинаково распределены . Это означает, что все наблюдения берутся из случайной выборки , что упрощает и облегчает интерпретацию всех перечисленных ранее предположений. Также эта структура позволяет устанавливать асимптотические результаты (поскольку размер выборки n  → ∞ ), которые понимаются как теоретическая возможность извлечения новых независимых наблюдений из процесса генерации данных . Список предположений в этом случае таков:

• iid наблюдения : ( x _i , y _i ) независимы от ( x j , y j ) и имеют то же распределение , что и ( x _j , y _j ) для всех i ≠ j ;
• нет идеальной мультиколлинеарности : Q _xx = E[  x _i  x _i ^T  ] — положительно определенная матрица ;
• экзогенность : E[  ε _i  |  x _i  ] = 0;
• Гомоскедастичность : Var[  ε _i  |  x _i  ] = σ ² .

Модель временного ряда

• Стохастический процесс { x _i , y _i } является стационарным и эргодическим ; если { x _i , y _i } нестационарен, результаты МНК часто оказываются ложными, если только { x _i , y _i } не является коинтегрирующим . ^[22]
• Регрессоры предопределены : E[ x _i ε _i ] = 0 для всех i = 1, ..., n ;
• Матрица Q _xx = E[  x _i  x _i ^T  ] размера p × p имеет полный ранг и, следовательно, положительно определена ;
• { x _i ε _i } — последовательность мартингальных разностей с конечной матрицей вторых моментов Q _{xxε ²} = E[  ε _i ² x _i  x _i ^T  ] .

Конечные свойства выборки

Прежде всего, при строгом предположении экзогенности оценки OLS и s ² являются несмещенными , что означает, что их ожидаемые значения совпадают с истинными значениями параметров: ^{[23] [доказательство]} ${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.}$

Если строгая экзогенность не выполняется (как в случае со многими моделями временных рядов , где экзогенность предполагается только по отношению к прошлым шокам, но не к будущим), то эти оценки будут смещены в конечных выборках.

Дисперсионно -ковариационная матрица (или просто ковариационная матрица ) равна ^[24] ${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.}$

В частности, стандартная ошибка каждого коэффициента равна квадратному корню из j -го диагонального элемента этой матрицы. Оценка этой стандартной ошибки получается путем замены неизвестной величины σ ² на ее оценку s ² . Таким образом, ${\displaystyle \scriptstyle {\hat {\beta }}_{j}}$

${\displaystyle {\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}}$

Также можно легко показать, что оценка не коррелирует с остатками модели: ^[24] ${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.}$

Теорема Гаусса –Маркова утверждает, что при предположении сферических ошибок (то есть, ошибки должны быть некоррелированными и гомоскедастичными ) оценщик эффективен в классе линейных несмещенных оценщиков. Это называется наилучшим линейным несмещенным оценщиком (BLUE). Эффективность следует понимать так, как если бы мы нашли какой-то другой оценщик , который был бы линейным по y и несмещенным, тогда ^[24] ${\displaystyle \scriptstyle {\hat {\beta }}}$ ${\displaystyle \scriptstyle {\tilde {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0}$

в том смысле, что это неотрицательно-определенная матрица . Эта теорема устанавливает оптимальность только в классе линейных несмещенных оценок, что является довольно ограничительным. В зависимости от распределения членов ошибки ε другие, нелинейные оценки могут давать лучшие результаты, чем OLS.

Предполагая нормальность

Все перечисленные до сих пор свойства действительны независимо от базового распределения членов ошибки. Однако, если вы готовы предположить, что предположение о нормальности выполняется (то есть, что ε ~ N (0, σ ² I _n ) ), то можно указать дополнительные свойства оценщиков МНК.

Оценка имеет нормальное распределение со средним значением и дисперсией, как указано ранее: ^[25] ${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.}$

Эта оценка достигает границы Крамера–Рао для модели и, таким образом, является оптимальной в классе всех несмещенных оценок. ^[16] Обратите внимание, что в отличие от теоремы Гаусса–Маркова , этот результат устанавливает оптимальность как среди линейных, так и среди нелинейных оценок, но только в случае нормально распределенных ошибок.

Оценка s ² будет пропорциональна распределению хи-квадрат : ^[26]

${\displaystyle s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}}$

Дисперсия этой оценки равна 2 σ ⁴ /( n  −  p ) , что не достигает границы Крамера–Рао 2 σ ⁴ / n . Однако было показано, что не существует несмещенных оценок σ ² с дисперсией, меньшей, чем у оценки s ² . ^[27] Если мы готовы допустить смещенные оценки и рассмотреть класс оценок, которые пропорциональны сумме квадратов остатков (SSR) модели, то наилучшей (в смысле среднеквадратической ошибки ) оценкой в ​​этом классе будет ^~ σ ² = SSR  /  ( n  −  p  + 2) , что даже превосходит границу Крамера–Рао в случае, когда есть только один регрессор ( p = 1 ). ^[28]

Более того, оценки и s2 независимы [ ^29], что ^{полезно} при построении t- и F-тестов для регрессии. ${\displaystyle \scriptstyle {\hat {\beta }}}$

Влиятельные наблюдения

Как упоминалось ранее, оценщик линеен по y , что означает, что он представляет собой линейную комбинацию зависимых переменных y _i . Веса в этой линейной комбинации являются функциями регрессоров X и, как правило, неравны. Наблюдения с высокими весами называются влиятельными, поскольку они оказывают более выраженное влияние на значение оценщика. ${\displaystyle {\hat {\beta }}}$

Чтобы проанализировать, какие наблюдения являются влиятельными, мы удаляем конкретное j -е наблюдение и рассматриваем, насколько изменятся оцененные величины (аналогично методу складного ножа ). Можно показать, что изменение в оценке OLS для β будет равно ^[30]

${\displaystyle {\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,}$

где h _j = x _j ^T  ( X ^T X ) ⁻¹ x _j — j -й диагональный элемент матрицы P , а x _j — вектор регрессоров, соответствующий j -му наблюдению. Аналогично, изменение прогнозируемого значения для j -го наблюдения в результате исключения этого наблюдения из набора данных будет равно ^[30]

${\displaystyle {\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}}$

Из свойств матрицы шляпы следует, что 0 ≤ h _j ≤ 1 , и они в сумме дают p , так что в среднем h _j ≈ p/n . Эти величины h _j называются рычагами , а наблюдения с высоким h _j называются точками рычага . ^[31] Обычно наблюдения с высоким рычагом следует проверять более тщательно, на случай, если они ошибочны, или являются выбросами, или каким-либо другим образом нетипичны для остального набора данных.

Разделенная регрессия

Иногда переменные и соответствующие им параметры в регрессии можно логически разделить на две группы, так что регрессия принимает вид

${\displaystyle y=X_{1}\beta _{1}+X_{2}\beta _{2}+\varepsilon ,}$

где X ₁ и X ₂ имеют размерности n × p ₁ , n × p ₂ , а β ₁ , β ₂ являются векторами p ₁ ×1 и p ₂ ×1, причем p ₁ + p ₂ = p .

Теорема Фриша –Во–Ловелла _{утверждает ,} что в этой регрессии остатки и оценка МНК будут численно идентичны остаткам и оценке МНК для β2 в следующей регрессии: ^[32] ${\displaystyle {\hat {\varepsilon }}}$ ${\displaystyle \scriptstyle {\hat {\beta }}_{2}}$

${\displaystyle M_{1}y=M_{1}X_{2}\beta _{2}+\eta \,,}$

где M ₁ — матрица аннигилятора для регрессоров X ₁ .

Теорему можно использовать для установления ряда теоретических результатов. Например, наличие регрессии с константой и другим регрессором эквивалентно вычитанию средних значений из зависимой переменной и регрессора, а затем запуску регрессии для вычтенных переменных, но без постоянного члена.

Ограниченная оценка

Предположим, что известно, что коэффициенты регрессии удовлетворяют системе линейных уравнений

${\displaystyle A\colon \quad Q^{\operatorname {T} }\beta =c,\,}$

где Q — матрица p × q полного ранга, а c — вектор известных констант размером q × 1, где q < p . В этом случае оценка наименьших квадратов эквивалентна минимизации суммы квадратов остатков модели, подчиняющейся ограничению A . Оценка наименьших квадратов с ограничениями (CLS) может быть задана явной формулой: ^[33]

${\displaystyle {\hat {\beta }}^{c}={\hat {\beta }}-(X^{\operatorname {T} }X)^{-1}Q{\Big (}Q^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}Q{\Big )}^{-1}(Q^{\operatorname {T} }{\hat {\beta }}-c).}$

Это выражение для ограниченной оценки справедливо до тех пор, пока матрица X ^T X обратима. С самого начала статьи предполагалось, что эта матрица имеет полный ранг, и было отмечено, что когда условие ранга не выполняется, β не будет идентифицируемой. Однако может случиться так, что добавление ограничения A сделает β идентифицируемой, и в этом случае хотелось бы найти формулу для оценки. Оценка равна ^[34]

${\displaystyle {\hat {\beta }}^{c}=R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }y+{\Big (}I_{p}-R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }X{\Big )}Q(Q^{\operatorname {T} }Q)^{-1}c,}$

где R — матрица p × ( p  −  q ) такая, что матрица [ QR ] невырожденная, и R ^T Q = 0 . Такую матрицу всегда можно найти, хотя, как правило, она не единственная. Вторая формула совпадает с первой в случае, когда X ^T X обратима. ^[34]

Свойства большого образца

Оценки наименьших квадратов являются точечными оценками параметров линейной регрессионной модели β . Однако, как правило, мы также хотим знать, насколько близки эти оценки к истинным значениям параметров. Другими словами, мы хотим построить интервальные оценки .

Поскольку мы не сделали никаких предположений о распределении погрешности ε _i , невозможно вывести распределение оценок и . Тем не менее, мы можем применить центральную предельную теорему для вывода их асимптотических свойств, когда размер выборки n стремится к бесконечности. Хотя размер выборки обязательно конечен, принято предполагать, что n «достаточно велико», чтобы истинное распределение оценки МНК было близко к ее асимптотическому пределу. ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {\sigma }}^{2}}$

Мы можем показать, что при предположениях модели оценка наименьших квадратов для β является последовательной (то есть сходится по вероятности к β ) и асимптотически нормальной: ^{[доказательство]} ${\displaystyle {\hat {\beta }}}$

${\displaystyle ({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}{\big (}0,\;\sigma ^{2}Q_{xx}^{-1}{\big )},}$

где ${\displaystyle Q_{xx}=X^{\operatorname {T} }X.}$

Интервалы

Используя это асимптотическое распределение, можно построить приблизительные двусторонние доверительные интервалы для j -го компонента вектора как ${\displaystyle {\hat {\beta }}}$

${\displaystyle \beta _{j}\in {\bigg [}\ {\hat {\beta }}_{j}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}}}\ {\bigg ]}}$   на уровне достоверности 1 −  α ,

где q обозначает функцию квантиля стандартного нормального распределения, а [·] _jj — j -й диагональный элемент матрицы.

Аналогично, оценка наименьших квадратов для σ ² также является последовательной и асимптотически нормальной (при условии, что существует четвертый момент ε _i ) с предельным распределением

${\displaystyle ({\hat {\sigma }}^{2}-\sigma ^{2})\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\operatorname {E} \left[\varepsilon _{i}^{4}\right]-\sigma ^{4}\right).}$

Эти асимптотические распределения могут использоваться для прогнозирования, проверки гипотез, построения других оценок и т. д. В качестве примера рассмотрим задачу прогнозирования. Предположим, что есть некоторая точка в области распределения регрессоров, и кто-то хочет узнать, какой была бы переменная отклика в этой точке. Средний отклик — это величина , тогда как предсказанный отклик — это . Очевидно, что предсказанный отклик — это случайная величина, его распределение можно вывести из распределения : ${\displaystyle x_{0}}$ ${\displaystyle y_{0}=x_{0}^{\mathrm {T} }\beta }$ ${\displaystyle {\hat {y}}_{0}=x_{0}^{\mathrm {T} }{\hat {\beta }}}$ ${\displaystyle {\hat {\beta }}}$

${\displaystyle \left({\hat {y}}_{0}-y_{0}\right)\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\sigma ^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}\right),}$

что позволяет построить доверительные интервалы для построения среднего отклика: ${\displaystyle y_{0}}$

${\displaystyle y_{0}\in \left[\ x_{0}^{\mathrm {T} }{\hat {\beta }}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}}}\ \right]}$   на уровне достоверности 1 −  α .

Проверка гипотез

Особенно широко используются два теста гипотез. Во-первых, нужно узнать, лучше ли оцененное уравнение регрессии, чем простое предсказание того, что все значения переменной отклика равны ее выборочному среднему (если нет, говорят, что оно не имеет объяснительной силы). Нулевая гипотеза об отсутствии объяснительной силы оцененной регрессии проверяется с помощью F-теста . Если вычисленное F-значение оказывается достаточно большим, чтобы превысить свое критическое значение для заранее выбранного уровня значимости, нулевая гипотеза отвергается, а альтернативная гипотеза о том, что регрессия имеет объяснительную силу, принимается. В противном случае принимается нулевая гипотеза об отсутствии объяснительной силы.

Во-вторых, для каждой интересующей объясняющей переменной нужно узнать, отличается ли ее оценочный коэффициент от нуля, то есть имеет ли эта конкретная объясняющая переменная на самом деле объяснительную силу в предсказании ответной переменной. Здесь нулевая гипотеза заключается в том, что истинный коэффициент равен нулю. Эта гипотеза проверяется путем вычисления t-статистики коэффициента как отношения оценки коэффициента к его стандартной ошибке . Если t-статистика больше заранее определенного значения, нулевая гипотеза отвергается, и обнаруживается, что переменная имеет объяснительную силу, причем ее коэффициент значительно отличается от нуля. В противном случае принимается нулевая гипотеза о нулевом значении истинного коэффициента.

Кроме того, тест Чоу используется для проверки того, имеют ли две подвыборки одинаковые базовые истинные значения коэффициентов. Сумма квадратов остатков регрессий на каждом из подмножеств и на объединенном наборе данных сравнивается путем вычисления F-статистики; если она превышает критическое значение, нулевая гипотеза об отсутствии различий между двумя подмножествами отклоняется; в противном случае она принимается.

Пример с реальными данными

Следующий набор данных содержит средние показатели роста и веса американских женщин в возрасте 30–39 лет (источник: The World Almanac and Book of Facts, 1975 ).

Когда моделируется только одна зависимая переменная, диаграмма рассеяния покажет форму и силу связи между зависимой переменной и регрессорами. Она также может выявить выбросы, гетероскедастичность и другие аспекты данных, которые могут усложнить интерпретацию подобранной модели регрессии. Диаграмма рассеяния показывает, что связь сильная и может быть аппроксимирована как квадратичная функция. МНК может обрабатывать нелинейные связи, вводя регрессор HEIGHT ² . Тогда регрессионная модель становится множественной линейной моделью:

${\displaystyle w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.}$

Подогнанная регрессия

Вывод большинства популярных статистических пакетов будет выглядеть примерно так:

В этой таблице:

• В столбце «Значение» приведены оценки параметров β _{j, полученные методом наименьших квадратов.}
• Столбец стандартной ошибки показывает стандартные ошибки каждой оценки коэффициента: ${\displaystyle {\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}}$
• Столбцы t-статистики и p-значения проверяют, может ли какой-либо из коэффициентов быть равен нулю. t -статистика вычисляется просто как . Если ошибки ε следуют нормальному распределению, t следует распределению Стьюдента-t. При более слабых условиях t является асимптотически нормальным. Большие значения t указывают на то, что нулевая гипотеза может быть отклонена и что соответствующий коэффициент не равен нулю. Второй столбец, p -значение , выражает результаты проверки гипотезы в виде уровня значимости . Традиционно p -значения, меньшие 0,05, принимаются как доказательство того, что коэффициент популяции не равен нулю. ${\displaystyle t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}}$
• R-квадрат — это коэффициент детерминации, указывающий на качество подгонки регрессии. Эта статистика будет равна единице, если подгонка идеальна, и нулю, если регрессоры X вообще не имеют никакой объяснительной силы. Это смещенная оценка R-квадрата популяции , и она никогда не уменьшится при добавлении дополнительных регрессоров, даже если они нерелевантны.
• Adjusted R-squared — это слегка измененная версия , разработанная для штрафования избыточного числа регрессоров, которые не добавляют объяснительной силы регрессии. Эта статистика всегда меньше , может уменьшаться по мере добавления новых регрессоров и даже быть отрицательной для плохо подогнанных моделей: ${\displaystyle R^{2}}$ ${\displaystyle R^{2}}$

${\displaystyle {\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})}$

• Логарифмическое правдоподобие рассчитывается при условии, что ошибки следуют нормальному распределению. Несмотря на то, что предположение не очень разумно, эта статистика все равно может найти свое применение при проведении LR-тестов.
• Статистика Дурбина–Уотсона проверяет, есть ли какие-либо доказательства последовательной корреляции между остатками. Как правило, значение меньше 2 будет свидетельством положительной корреляции.
• Критерий информации Акаике и критерий Шварца используются для выбора модели. Обычно при сравнении двух альтернативных моделей меньшие значения одного из этих критериев указывают на лучшую модель. ^[35]
• Стандартная ошибка регрессии — это оценка σ , стандартной ошибки члена ошибки.
• Общая сумма квадратов , модельная сумма квадратов и остаточная сумма квадратов говорят нам, какая часть первоначальной вариации в выборке была объяснена регрессией.
• F-статистика пытается проверить гипотезу о том, что все коэффициенты (кроме отсекателя) равны нулю. Эта статистика имеет распределение F ( p–1 , n–p ) при нулевой гипотезе и предположении о нормальности, а ее p-значение указывает на вероятность того, что гипотеза действительно верна. Обратите внимание, что когда ошибки не являются нормальными, эта статистика становится недействительной, и следует использовать другие тесты, такие как тест Вальда или тест LR .

Участок остатков

Обычный анализ наименьших квадратов часто включает использование диагностических графиков, предназначенных для обнаружения отклонений данных от предполагаемой формы модели. Вот некоторые из распространенных диагностических графиков:

• Остатки против объясняющих переменных в модели. Нелинейная связь между этими переменными предполагает, что линейность условной средней функции может не соблюдаться. Различные уровни изменчивости остатков для различных уровней объясняющих переменных предполагают возможную гетероскедастичность.
• Остатки против объясняющих переменных, не входящих в модель. Любая связь остатков с этими переменными предполагает рассмотрение этих переменных для включения в модель.
• Остатки по подобранным значениям, . ${\displaystyle {\hat {y}}}$
• Остатки против предыдущего остатка. Этот график может идентифицировать серийные корреляции в остатках.

Важным соображением при выполнении статистического вывода с использованием регрессионных моделей является то, как были отобраны данные. В этом примере данные являются средними, а не измерениями отдельных женщин. Подгонка модели очень хорошая, но это не означает, что вес отдельной женщины можно предсказать с высокой точностью, основываясь только на ее росте.

Чувствительность к округлению

Этот пример также демонстрирует, что коэффициенты, определяемые этими расчетами, чувствительны к тому, как подготовлены данные. Первоначально высоты были округлены до ближайшего дюйма и были преобразованы и округлены до ближайшего сантиметра. Поскольку коэффициент преобразования составляет один дюйм к 2,54 см, это не точное преобразование. Исходные дюймы можно восстановить с помощью Round(x/0,0254), а затем снова преобразовать в метрическую систему без округления. Если это сделать, результаты станут:

Остатки квадратичной аппроксимации для правильно и неправильно преобразованных данных.

Использование любого из этих уравнений для прогнозирования веса женщины ростом 5 футов 6 дюймов (1,6764 м) дает схожие значения: 62,94 кг с округлением против 62,98 кг без округления. Таким образом, кажущееся небольшим изменение в данных оказывает реальное влияние на коэффициенты, но незначительное влияние на результаты уравнения.

Хотя это может выглядеть безобидным в середине диапазона данных, оно может стать существенным в крайних значениях или в случае, когда подобранная модель используется для проецирования за пределы диапазона данных ( экстраполяция ).

Это подчеркивает распространенную ошибку: этот пример является злоупотреблением OLS, которое по своей сути требует, чтобы ошибки в независимой переменной (в данном случае высоте) были равны нулю или, по крайней мере, пренебрежимо малы. Первоначальное округление до ближайшего дюйма плюс любые фактические ошибки измерения составляют конечную и непренебрежимо малую ошибку. В результате подобранные параметры не являются наилучшими оценками, какими они предположительно должны быть. Хотя это и не полностью ложно, ошибка в оценке будет зависеть от относительного размера ошибок x и y .

Еще один пример с менее реальными данными

Постановка проблемы

Мы можем использовать механизм наименьших квадратов, чтобы вычислить уравнение орбиты двух тел в полярных базовых координатах. Обычно используется уравнение, где — радиус того, насколько далеко объект находится от одного из тел. В уравнении параметры и используются для определения пути орбиты. Мы измерили следующие данные. ${\displaystyle r(\theta )={\frac {p}{1-e\cos(\theta )}}}$ ${\displaystyle r(\theta )}$ ${\displaystyle p}$ ${\displaystyle e}$

Нам необходимо найти приближение наименьших квадратов и для заданных данных. ${\displaystyle e}$ ${\displaystyle p}$

Решение

Сначала нам нужно представить e и p в линейной форме. Поэтому мы собираемся переписать уравнение как . Кроме того, можно подогнать для апсид , расширив с помощью дополнительного параметра как , который линеен в обоих и в дополнительной базисной функции , используемой для дополнительной . Мы используем исходную двухпараметрическую форму для представления наших наблюдательных данных как: ${\displaystyle r(\theta )}$ ${\displaystyle {\frac {1}{r(\theta )}}={\frac {1}{p}}-{\frac {e}{p}}\cos(\theta )}$ ${\displaystyle \cos(\theta )}$ ${\displaystyle \cos(\theta -\theta _{0})=\cos(\theta )\cos(\theta _{0})+\sin(\theta )\sin(\theta _{0})}$ ${\displaystyle \cos(\theta )}$ ${\displaystyle \sin(\theta )}$ ${\displaystyle \tan \theta _{0}=\sin(\theta _{0})/\cos(\theta _{0})}$

${\displaystyle A^{T}A{\binom {x}{y}}=A^{T}b}$где есть и есть и построено по первому столбцу, являющемуся коэффициентом , и второму столбцу, являющемуся коэффициентом , и есть значения для соответствующих so и ${\displaystyle x}$ ${\displaystyle {\frac {1}{p}}}$ ${\displaystyle y}$ ${\displaystyle {\frac {e}{p}}}$ ${\displaystyle A}$ ${\displaystyle {\frac {1}{p}}}$ ${\displaystyle {\frac {e}{p}}}$ ${\displaystyle b}$ ${\displaystyle {\frac {1}{r(\theta )}}}$ ${\displaystyle A={\begin{bmatrix}1&-0.731354\\1&-0.707107\\1&-0.615661\\1&\ 0.052336\\1&0.309017\\1&0.438371\end{bmatrix}}}$ ${\displaystyle b={\begin{bmatrix}0.21220\\0.21958\\0.24741\\0.45071\\0.52883\\0.56820\end{bmatrix}}.}$

При решении получаем ${\displaystyle {\binom {x}{y}}={\binom {0.43478}{0.30435}}}$

так и ${\displaystyle p={\frac {1}{x}}=2.3000}$ ${\displaystyle e=p\cdot y=0.70001}$

Смотрите также

• Байесовские наименьшие квадраты
• Регрессия Фамы–Макбета
• Нелинейный метод наименьших квадратов
• Численные методы для линейных наименьших квадратов
• Нелинейная идентификация системы

Ссылки

1. "Истоки предположений об обычных наименьших квадратах". Feature Column . 2022-03-01 . Получено 2024-05-16 .
2. «Каков полный список обычных предположений для линейной регрессии?». Перекрестная проверка . Получено 28.09.2022 .
3. Голдбергер, Артур С. (1964). «Классическая линейная регрессия». Эконометрическая теория. Нью-Йорк: John Wiley & Sons. С. 158. ISBN 0-471-31101-4.
4. Хаяси, Фумио (2000). Эконометрика . Princeton University Press. стр. 15.
5. Хаяси (2000, стр. 18)
6. Гилани, Чарльз Д.; Пол Р. Вольф, доктор философии (12 июня 2006 г.). Корректирующие расчеты: пространственный анализ данных. ISBN 9780471697282.
7. Хофманн-Велленхоф, Бернхард; Лихтенеггер, Герберт; Васле, Эльмар (20 ноября 2007 г.). GNSS – глобальные навигационные спутниковые системы: GPS, ГЛОНАСС, Galileo и другие. ISBN 9783211730171.
8. Сюй, Гочан (5 октября 2007 г.). GPS: теория, алгоритмы и приложения. ISBN 9783540727156.
9. Hayashi (2000, стр. 19)
10. Джулиан Фаравей (2000), Практическая регрессия и дисперсионный анализ с использованием R
11. Кенни, Дж.; Киппинг, Э.С. (1963). Математика статистики . ван Ностранд. стр. 187.
12. Цвиллингер, Д. (1995). Стандартные математические таблицы и формулы . Chapman&Hall/CRC. стр. 626. ISBN 0-8493-2479-3.
13. Хаяси (2000, стр. 20)
14. Акбарзаде, Вахаб (7 мая 2014 г.). «Оценка линии».
15. Хаяси (2000, стр. 49)
16. Hayashi (2000, стр. 52)
17. Хаяси (2000, стр. 7)
18. Хаяси (2000, стр. 187)
19. Hayashi (2000, стр. 10)
20. Хаяси (2000, стр. 34)
21. Уильямс, М. Н.; Грахалес, К. А. Г.; Куркевич, Д. (2013). «Предположения множественной регрессии: исправление двух заблуждений». Практическая оценка, исследования и оценка . 18 (11).
22. "Memento on EViews Output" (PDF) . Получено 28 декабря 2020 г. .
23. Хаяси (2000, стр. 27, 30)
24. Хаяси (2000, стр. 27)
25. Амемия, Такеши (1985). Продвинутая эконометрика . Издательство Гарвардского университета. стр. 13. ISBN 9780674005600.
26. Амемия (1985, стр. 14)
27. Рао, CR (1973). Линейный статистический вывод и его применение (второе изд.). Нью-Йорк: J. Wiley & Sons. стр. 319. ISBN 0-471-70823-2.
28. Амемия (1985, стр. 20)
29. Амемия (1985, стр. 27)
30. Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). Оценка и вывод в эконометрике . Нью-Йорк: Oxford University Press. стр. 33. ISBN 0-19-506011-3.
31. Дэвидсон и МакКиннон (1993, стр. 36)
32. Дэвидсон и МакКиннон (1993, стр. 20)
33. Амемия (1985, стр. 21)
34. Amemiya (1985, стр. 22)
35. Бернхэм, Кеннет П.; Дэвид Андерсон (2002). Выбор модели и вывод многомодельных данных (2-е изд.). Springer. ISBN 0-387-95364-7.

Дальнейшее чтение

• Догерти, Кристофер (2002). Введение в эконометрику (2-е изд.). Нью-Йорк: Oxford University Press. С. 48–113. ISBN 0-19-877643-8.
• Гуджарати, Дамодар Н.; Портер , Дон К. (2009). Основы эконометики (Пятое изд.). Бостон: McGraw-Hill Irwin. С. 55–96. ISBN 978-0-07-337577-9.
• Привет, Кристиан; Бур, Пол; Фрэнсис, Филип Х.; Клок, Теун; ван Дейк, Герман К. (2004). Эконометрические методы с применением в бизнесе и экономике (1-е изд.). Оксфорд: Издательство Оксфордского университета. стр. 76–115. ISBN 978-0-19-926801-6.
• Хилл, Р. Картер; Гриффитс, Уильям Э.; Лим, Гвай К. (2008). Принципы эконометрики (3-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons. стр. 8–47. ISBN 978-0-471-72360-8.
• Вулдридж, Джеффри (2008). «Простая регрессионная модель». Введение в эконометрику: современный подход (4-е изд.). Мейсон, Огайо: Cengage Learning. стр. 22–67. ISBN 978-0-324-58162-1.