Остаточная сумма квадратов

Статистическая мера расхождения между данными и оценочной моделью.

В статистике остаточная сумма квадратов ( RSS ), также известная как сумма квадратов остатков ( SSR ) или сумма квадратов оценок ошибок ( SSE ), представляет собой сумму квадратов остатков (отклонений, предсказанных на основе фактических эмпирических значений данных). Это мера расхождения между данными и моделью оценки, такой как линейная регрессия . Малая RSS указывает на точное соответствие модели данным. Она используется в качестве критерия оптимальности при выборе параметров и модели .

В общем случае общая сумма квадратов = объясненная сумма квадратов + остаточная сумма квадратов. Для доказательства этого в случае многомерного обычного метода наименьших квадратов (OLS) см. разделение в общей модели OLS .

Одна объясняющая переменная

В модели с одной объясняющей переменной RSS определяется по формуле: ^[1]

${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$

где y _i - это i- ^е значение переменной, которая должна быть предсказана, x _i - это i- ^е значение объясняющей переменной, а - предсказанное значение y _i (также называемое ). В стандартной линейной простой регрессионной модели , , где и - коэффициенты , y и x - регрессанд и регрессор , соответственно, а ε - ошибка . Сумма квадратов остатков - это сумма квадратов ; то есть ${\displaystyle f(x_{i})}$ ${\displaystyle {\hat {y_{i}}}}$ ${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle {\widehat {\varepsilon \,}}_{i}}$

${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}}$

где — расчетное значение постоянного члена , а — расчетное значение коэффициента наклона . ${\displaystyle {\widehat {\alpha \,}}}$ ${\displaystyle \alpha }$ ${\displaystyle {\widehat {\beta \,}}}$ ${\displaystyle \beta }$

Матричное выражение для остаточной суммы квадратов МНК

Общая регрессионная модель с n наблюдениями и k поясняющими факторами, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является свободным членом регрессии, имеет вид

${\displaystyle y=X\beta +e}$

где y — вектор n × 1 зависимых переменных наблюдений, каждый столбец матрицы X размером n × k — вектор наблюдений одного из k объясняющих факторов, — вектор k × 1 истинных коэффициентов, а e — вектор n × 1 истинных базовых ошибок. Обычная оценка наименьших квадратов для — это ${\displaystyle \beta }$ ${\displaystyle \beta }$

${\displaystyle X{\hat {\beta }}=y\iff }$

${\displaystyle X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff }$

${\displaystyle {\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.}$

Остаточный вектор ; таким образом, остаточная сумма квадратов равна: ${\displaystyle {\hat {e}}=y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

${\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}}$,

(эквивалентно квадрату нормы остатков ). Полностью:

${\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y}$,

где H — матрица шляпы , или матрица проекции в линейной регрессии.

Связь с корреляцией Пирсона «продукт-момент»

Линия регрессии наименьших квадратов определяется как

${\displaystyle y=ax+b}$,

где и , где и ${\displaystyle b={\bar {y}}-a{\bar {x}}}$ ${\displaystyle a={\frac {S_{xy}}{S_{xx}}}}$ ${\displaystyle S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})}$ ${\displaystyle S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.}$

Поэтому,

${\displaystyle {\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}}$

где ${\displaystyle S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.}$

Корреляция Пирсона -момента определяется следующим образом: ${\displaystyle r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};}$ ${\displaystyle \operatorname {RSS} =S_{yy}(1-r^{2}).}$

Смотрите также

• Критерий информации Акаике#Сравнение с наименьшими квадратами
• Распределение хи-квадрат#Приложения
• Степени свободы (статистика)#Сумма квадратов и степеней свободы
• Ошибки и остатки в статистике
• Сумма квадратов несоответствия
• Среднеквадратическая ошибка
• Сокращенная статистика хи-квадрат , RSS на степень свободы
• Квадратичные отклонения
• Сумма квадратов (статистика)

Ссылки

1. Архидьякон, Томас Дж. (1994). Корреляционный и регрессионный анализ: руководство историка . Издательство Висконсинского университета. С. 161–162. ISBN 0-299-13650-7. OCLC  27266095.

• Дрейпер, Н. Р.; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). John Wiley. ISBN 0-471-17082-8.