Взвешенные наименьшие квадраты

Метод подгонки модели в статистике

Метод наименьших квадратов с весами ( WLS ), также известный как взвешенная линейная регрессия , ^{[1] [2]} является обобщением обычных наименьших квадратов и линейной регрессии , в котором знание неравной дисперсии наблюдений ( гетероскедастичность ) включено в регрессию. WLS также является специализацией обобщенных наименьших квадратов , когда все недиагональные элементы ковариационной матрицы ошибок равны нулю.

Формулировка

Соответствие модели точке данных измеряется ее остатком , определяемым как разница между измеренным значением зависимой переменной и значением, предсказанным моделью : ${\displaystyle r_{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$ $${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

Если ошибки некоррелированы и имеют одинаковую дисперсию, то функция минимизируется при , так что . $${\displaystyle S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},}$$ ${\displaystyle {\boldsymbol {\hat {\beta }}}}$ ${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0}$

Теорема Гаусса –Маркова показывает, что когда это так, является наилучшей линейной несмещенной оценкой ( СИНИЙ ). Если, однако, измерения не коррелируют, но имеют разные неопределенности, можно принять модифицированный подход. Эйткен показал, что когда взвешенная сумма квадратов остатков минимизируется, является СИНИМ , если каждый вес равен обратной величине дисперсии измерения ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ $${\displaystyle {\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}}$$

Уравнения градиента для этой суммы квадратов следующие: $${\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}$$

которые в линейной системе наименьших квадратов дают модифицированные нормальные уравнения. Матрица выше определена в соответствующем обсуждении линейного метода наименьших квадратов . $${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$$ ${\displaystyle X}$

Когда ошибки наблюдений некоррелированы и весовая матрица W = Ω −1 ^{является} диагональной, их можно записать как $${\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}$$

Если ошибки коррелируют, то результирующая оценка будет СИНЕЙ , если весовая матрица равна обратной величине дисперсионно-ковариационной матрицы наблюдений.

Когда ошибки некоррелированы, удобно упростить вычисления, чтобы разложить весовую матрицу на множители . Тогда нормальные уравнения можно записать в той же форме, что и обычные наименьшие квадраты: ${\displaystyle w_{ii}={\sqrt {W_{ii}}}}$ $${\displaystyle \mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,}$$

где мы определяем следующую масштабированную матрицу и вектор: $${\displaystyle {\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}$$

Это тип отбеливающего преобразования ; последнее выражение подразумевает деление по входу .

Для нелинейных систем наименьших квадратов аналогичное рассуждение показывает, что нормальные уравнения следует модифицировать следующим образом. $${\displaystyle \mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,}$$

Обратите внимание, что для эмпирических тестов соответствующее значение W точно не известно и должно быть оценено. Для этого могут быть использованы методы допустимых обобщенных наименьших квадратов (FGLS); в этом случае он специализирован для диагональной ковариационной матрицы, что дает допустимое решение взвешенных наименьших квадратов.

Если неопределенность наблюдений неизвестна из внешних источников, то веса можно оценить из данных наблюдений. Это может быть полезно, например, для выявления выбросов. После удаления выбросов из набора данных веса следует сбросить до единицы. ^[3]

Мотивация

В некоторых случаях наблюдения могут быть взвешенными, например, они могут быть не одинаково надежными. В этом случае можно минимизировать взвешенную сумму квадратов: где w _i > 0 — вес i- го наблюдения, а W — диагональная матрица таких весов. $${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}$$

Веса должны, в идеале, быть равны обратной величине дисперсии измерения . (Это подразумевает, что наблюдения некоррелированы. Если наблюдения коррелированы , выражение применимо. В этом случае матрица весов должна быть в идеале равна обратной величине дисперсионно -ковариационной матрицы наблюдений). ^[3] Тогда нормальные уравнения будут такими: ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$ $${\displaystyle \left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .}$$

Этот метод используется в методе наименьших квадратов с итеративным перевзвешиванием .

Решение

Ошибки параметров и корреляция

Оценочные значения параметров представляют собой линейные комбинации наблюдаемых значений. $${\displaystyle {\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .}$$

Следовательно, выражение для оцененной матрицы дисперсии-ковариации оценок параметров может быть получено путем распространения ошибок из ошибок в наблюдениях. Пусть матрица дисперсии-ковариации для наблюдений будет обозначена как M , а матрица дисперсии-ковариации для оцененных параметров как M ^β . Тогда $${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}$$

Когда W = M ⁻¹ , это упрощается до $${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.}$$

При использовании единичных весов ( W = I , единичная матрица ) подразумевается, что экспериментальные ошибки некоррелированы и все равны: M = σ ² I , где σ ² — априорная дисперсия наблюдения. В любом случае σ ² аппроксимируется приведенным хи-квадрат : ${\displaystyle \chi _{\nu }^{2}}$ $${\displaystyle {\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}}$$

где S — минимальное значение взвешенной целевой функции: $${\displaystyle S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.}$$

Знаменатель, , представляет собой число степеней свободы ; см. эффективные степени свободы для обобщений в случае коррелированных наблюдений. ${\displaystyle \nu =n-m}$

Во всех случаях дисперсия оценки параметра задается как , а ковариация между оценками параметра и задается как . Среднеквадратическое отклонение является квадратным корнем дисперсии, , а коэффициент корреляции задается как . Эти оценки ошибок отражают только случайные ошибки в измерениях. Истинная неопределенность параметров больше из-за наличия систематических ошибок , которые по определению не могут быть количественно оценены. Обратите внимание, что даже если наблюдения могут быть некоррелированными, параметры обычно коррелируют . ${\displaystyle {\hat {\beta }}_{i}}$ ${\displaystyle M_{ii}^{\beta }}$ ${\displaystyle {\hat {\beta }}_{i}}$ ${\displaystyle {\hat {\beta }}_{j}}$ ${\displaystyle M_{ij}^{\beta }}$ ${\displaystyle \sigma _{i}={\sqrt {M_{ii}^{\beta }}}}$ ${\displaystyle \rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})}$

Пределы достоверности параметров

Часто предполагается , из-за отсутствия каких-либо конкретных доказательств, но часто с обращением к центральной предельной теореме — см. Нормальное распределение#Встречаемость и приложения — что ошибка в каждом наблюдении принадлежит нормальному распределению со средним значением, равным нулю, и стандартным отклонением . При этом предположении следующие вероятности могут быть выведены для оценки одного скалярного параметра в терминах его оценочной стандартной ошибки (приведенной здесь ): ${\displaystyle \sigma }$ ${\displaystyle se_{\beta }}$

• 68% что интервал охватывает истинное значение коэффициента ${\displaystyle {\hat {\beta }}\pm se_{\beta }}$
• 95% что интервал охватывает истинное значение коэффициента ${\displaystyle {\hat {\beta }}\pm 2se_{\beta }}$
• 99% что интервал охватывает истинное значение коэффициента ${\displaystyle {\hat {\beta }}\pm 2.5se_{\beta }}$

Предположение не является необоснованным, когда n  >>  m . Если экспериментальные ошибки распределены нормально, параметры будут принадлежать распределению Стьюдента с n  −  m степенями свободы . Когда n  ≫  m, распределение Стьюдента приближается к нормальному распределению. Обратите внимание, однако, что эти доверительные интервалы не могут учитывать систематическую ошибку. Кроме того, ошибки параметров должны быть указаны только с точностью до одной значащей цифры, поскольку они подвержены ошибке выборки . ^[4]

Когда число наблюдений относительно невелико, неравенство Чебышева можно использовать для верхней границы вероятностей, независимо от каких-либо предположений о распределении экспериментальных ошибок: максимальные вероятности того, что параметр будет отличаться от своего ожидаемого значения более чем на 1, 2 или 3 стандартных отклонения, составляют 100%, 25% и 11% соответственно.

Остаточные значения и корреляция

Остатки связаны с наблюдениями $${\displaystyle \mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,}$$

где H — идемпотентная матрица, известная как матрица шляпы : $${\displaystyle H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,}$$

и I — единичная матрица . Дисперсионно-ковариационная матрица остатков, M ^r, задается как $${\displaystyle M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.}$$

Таким образом, остатки коррелируют, даже если наблюдения не коррелируют.

Когда , ${\displaystyle W=M^{-1}}$ $${\displaystyle M^{\mathbf {r} }=(I-H)M.}$$

Сумма взвешенных остаточных значений равна нулю, когда модельная функция содержит постоянный член. Умножаем выражение для остатков слева на X ^T W ^T : $${\displaystyle X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}$$

Скажем, например, что первый член модели является константой, так что для всех i . В этом случае следует, что ${\displaystyle X_{i1}=1}$ $${\displaystyle \sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.}$$

Таким образом, в приведенном выше мотивационном примере тот факт, что сумма остаточных значений равна нулю, не является случайностью, а является следствием наличия в модели постоянного члена α.

Если экспериментальная ошибка подчиняется нормальному распределению , то из-за линейной связи между остатками и наблюдениями остатки должны подчиняться нормальному распределению, ^[5] но поскольку наблюдения являются лишь выборкой из совокупности всех возможных наблюдений, остатки должны принадлежать к распределению Стьюдента . Стьюдентизированные остатки полезны при проведении статистического теста на выброс, когда конкретный остаток кажется чрезмерно большим.

Смотрите также

• Итеративно перевзвешенные наименьшие квадраты
• Гетероскедастично-согласованные стандартные ошибки
• Средневзвешенное значение

Ссылки

1. «Взвешенная регрессия».
2. «Визуализация взвешенной регрессии».
3. Strutz, T. (2016). "3". Подгонка данных и неопределенность (практическое введение в метод взвешенных наименьших квадратов и далее) . Springer Vieweg. ISBN 978-3-658-11455-8.
4. Мэндел, Джон (1964). Статистический анализ экспериментальных данных . Нью-Йорк: Interscience.
5. Мардиа, К. В.; Кент, Дж. Т.; Бибби, Дж. М. (1979). Многомерный анализ . Нью-Йорк: Academic Press. ISBN 0-12-471250-9.