Взвешенные наименьшие квадраты

Метод подгонки модели в статистике

Взвешенный метод наименьших квадратов ( WLS ), также известный как взвешенная линейная регрессия , ^{[1] [2]} представляет собой обобщение обычного метода наименьших квадратов и линейной регрессии , в котором в регрессию включено знание о неравной дисперсии наблюдений ( гетероскедастичности ). WLS также является специализацией метода обобщенных наименьших квадратов , когда все недиагональные элементы ковариационной матрицы ошибок равны нулю.

Формулировка

Соответствие модели точке данных измеряется ее остатком , определяемым как разница между измеренным значением зависимой переменной и значением, предсказанным моделью : ${\displaystyle r_{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$

$${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

Если ошибки некоррелированы и имеют одинаковую дисперсию, то функция

$${\displaystyle S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},}$$

${\displaystyle {\boldsymbol {\hat {\beta }}}}$ ${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0}$

Теорема Гаусса -Маркова показывает, что в этом случае это лучший линейный несмещенный оценщик ( СИНИЙ ). Однако если измерения некоррелированы, но имеют разные неопределенности, можно применить модифицированный подход. Эйткен показал, что, когда взвешенная сумма квадратов остатков минимизирована, она становится СИНЕЙ , если каждый вес равен обратной величине дисперсии измерения. ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

$${\displaystyle {\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}}$$

Уравнения градиента для этой суммы квадратов:

$${\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}$$

которые в линейной системе наименьших квадратов дают модифицированные нормальные уравнения:

$${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$$

Когда ошибки наблюдения некоррелированы, а весовая матрица W = Ω ⁻¹ диагональна, их можно записать как

$${\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}$$

Если ошибки коррелированы, результирующая оценка имеет СИНИЙ цвет , если весовая матрица равна обратной матрице дисперсии-ковариации наблюдений.

Когда ошибки некоррелированы, удобно упростить вычисления, факторизовав матрицу весов как . Тогда нормальные уравнения можно записать в той же форме, что и обычные уравнения наименьших квадратов: ${\displaystyle w_{ii}={\sqrt {W_{ii}}}}$

$${\displaystyle \mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,}$$

где мы определяем следующую масштабированную матрицу и вектор:

$${\displaystyle {\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}$$

Это разновидность отбеливающей трансформации ; последнее выражение предполагает поэлементное деление .

Для нелинейных систем наименьших квадратов аналогичный аргумент показывает, что нормальные уравнения следует изменить следующим образом.

$${\displaystyle \mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,}$$

Обратите внимание, что для эмпирических тестов соответствующая W неизвестна наверняка и ее необходимо оценить. Для этого можно использовать методы обобщенных наименьших квадратов (FGLS); в этом случае он специализирован для диагональной ковариационной матрицы, что дает допустимое взвешенное решение методом наименьших квадратов.

Если неопределенность наблюдений неизвестна из внешних источников, то веса можно оценить на основе данных наблюдений. Это может быть полезно, например, для выявления выбросов. После удаления выбросов из набора данных веса следует сбросить до единицы. ^[3]

Мотивация

В некоторых случаях наблюдения могут быть взвешенными — например, они могут быть не одинаково надежными. В этом случае можно минимизировать взвешенную сумму квадратов:

$${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}$$

w _iгоWдиагональная матрица

В идеале веса должны быть равны обратной величине дисперсии измерения . (Это означает, что наблюдения некоррелированы. Если наблюдения коррелируют , выражение применяется. В этом случае матрица весов в идеале должна быть равна обратной матрице дисперсии-ковариации наблюдений). ^[3] Тогда нормальные уравнения таковы: ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$

$${\displaystyle \left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .}$$

Этот метод используется в методе наименьших квадратов с итеративным перевзвешиванием .

Решение

Ошибки параметров и корреляция

Оценочные значения параметров представляют собой линейные комбинации наблюдаемых значений.

$${\displaystyle {\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .}$$

Следовательно, выражение для предполагаемой дисперсионно-ковариационной матрицы оценок параметров можно получить путем распространения ошибок из ошибок наблюдений. Пусть матрица дисперсии-ковариации для наблюдений обозначается M , а матрица оцененных параметров - M ^β . Затем

$${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}$$

Когда W = M ⁻¹ , это упрощается до

$${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.}$$

Когда используются единичные веса ( W = I , единичная матрица ), подразумевается, что экспериментальные ошибки некоррелированы и все равны: M = σ ² I , где σ ² — априорная дисперсия наблюдения. В любом случае σ2 аппроксимируется приведенным хи-квадратом ^: ${\displaystyle \chi _{\nu }^{2}}$

$${\displaystyle {\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}}$$

где S – минимальное значение взвешенной целевой функции:

$${\displaystyle S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.}$$

Знаменатель — число степеней свободы ; см. эффективные степени свободы для обобщений на случай коррелированных наблюдений. ${\displaystyle \nu =n-m}$

Во всех случаях дисперсия оценки параметра определяется выражением , а ковариация между оценками параметра и определяется выражением . Стандартное отклонение представляет собой квадратный корень из дисперсии, а коэффициент корреляции определяется выражением . Эти оценки ошибок отражают только случайные ошибки измерений. Истинная неопределенность параметров больше из-за наличия систематических ошибок , которые по определению не поддаются количественной оценке. Обратите внимание, что хотя наблюдения могут быть некоррелированными, параметры обычно коррелируют . ${\displaystyle {\hat {\beta }}_{i}}$ ${\displaystyle M_{ii}^{\beta }}$ ${\displaystyle {\hat {\beta }}_{i}}$ ${\displaystyle {\hat {\beta }}_{j}}$ ${\displaystyle M_{ij}^{\beta }}$ ${\displaystyle \sigma _{i}={\sqrt {M_{ii}^{\beta }}}}$ ${\displaystyle \rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})}$

Доверительные пределы параметров

Из-за отсутствия каких-либо конкретных доказательств, но часто ссылаясь на центральную предельную теорему (см. Нормальное распределение#Возникновение и приложения ), часто предполагается , что ошибка каждого наблюдения принадлежит нормальному распределению со средним значением, равным нулю, и стандартным отклонением . При этом предположении следующие вероятности могут быть получены для оценки одного скалярного параметра с точки зрения его расчетной стандартной ошибки (приведенной здесь ): ${\displaystyle \sigma }$ ${\displaystyle se_{\beta }}$

• 68%, что интервал охватывает истинное значение коэффициента ${\displaystyle {\hat {\beta }}\pm se_{\beta }}$
• 95%, что интервал охватывает истинное значение коэффициента ${\displaystyle {\hat {\beta }}\pm 2se_{\beta }}$
• 99%, что интервал охватывает истинное значение коэффициента ${\displaystyle {\hat {\beta }}\pm 2.5se_{\beta }}$

Предположение не является необоснованным, если n  >>  m . Если экспериментальные ошибки распределены нормально, параметры будут принадлежать t-распределению Стьюдента с n  -  m степенями свободы . Когда n  ≫  m t-распределение Стьюдента приближается к нормальному распределению. Однако обратите внимание, что эти доверительные пределы не могут учитывать систематическую ошибку. Кроме того, ошибки параметров следует указывать только с одной значащей цифрой, поскольку они подвержены ошибке выборки . ^[4]

Когда количество наблюдений относительно невелико, неравенство Чебычева можно использовать для верхней границы вероятностей, независимо от каких-либо предположений о распределении экспериментальных ошибок: максимальные вероятности того, что параметр будет превышать 1, 2 или 3 стандартных отклонения. от его ожидаемого значения составляют 100%, 25% и 11% соответственно.

Остаточная стоимость и корреляция

Остатки связаны с наблюдениями соотношением

$${\displaystyle \mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,}$$

где H — идемпотентная матрица, известная как матрица шляпы :

$${\displaystyle H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,}$$

и I — единичная матрица . Матрица дисперсии-ковариации остатков M ^r определяется выражением

$${\displaystyle M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.}$$

Таким образом, остатки коррелируют, даже если наблюдения — нет.

Когда , ${\displaystyle W=M^{-1}}$

$${\displaystyle M^{\mathbf {r} }=(I-H)M.}$$

Сумма взвешенных остаточных значений равна нулю, если модельная функция содержит постоянный член. Умножьте выражение для остатков на X ^T W ^T :

$${\displaystyle X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}$$

Скажем, например, что первый член модели является константой, так что для всех i . В таком случае следует, что ${\displaystyle X_{i1}=1}$

$${\displaystyle \sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.}$$

Таким образом, в мотивационном примере, приведенном выше, тот факт, что сумма остаточных значений равна нулю, не случаен, а является следствием присутствия постоянного члена α в модели.

Если ошибка эксперимента подчиняется нормальному распределению , то из-за линейной зависимости между остатками и наблюдениями то же самое должно быть и с остатками, ^[5] , но поскольку наблюдения представляют собой лишь выборку из совокупности всех возможных наблюдений, остатки должны принадлежать распределению Стьюдента . t-распределение . Стьюдентизированные остатки полезны при проведении статистической проверки выброса , когда конкретный остаток кажется чрезмерно большим.

Смотрите также

• Итеративно перевзвешенные методы наименьших квадратов
• Стандартные ошибки, совместимые с гетероскедастичностью
• Средневзвешенное значение

Рекомендации

1. «Взвешенная регрессия».
2. «Визуализируйте взвешенную регрессию» .
3. Струц, Т. (2016). «3». Подбор данных и неопределенность (Практическое введение в метод взвешенных наименьших квадратов и не только) . Спрингер Вьюег. ISBN 978-3-658-11455-8.
4. Мандель, Джон (1964). Статистический анализ экспериментальных данных . Нью-Йорк: Межнаучный.
5. Мардия, КВ; Кент, Джей Ти; Бибби, Дж. М. (1979). Многомерный анализ . Нью-Йорк: Академическая пресса. ISBN 0-12-471250-9.