Объясненная сумма квадратов

Статистическое количество

В статистике — объяснимая сумма квадратов ( ESS ), также известная как модельная сумма квадратов или сумма квадратов вследствие регрессии ( SSR — не путать с остаточной суммой квадратов (RSS) или суммой квадратов ошибок). , — это величина, используемая для описания того, насколько хорошо модель, часто регрессионная модель , представляет моделируемые данные. В частности, объясненная сумма квадратов измеряет, насколько сильно варьируются смоделированные значения, и ее сравнивают с общей суммой квадратов (TSS), которая измеряет, насколько сильно варьируются наблюдаемые данные, и с остаточной суммой Squares , который измеряет разницу в ошибке между наблюдаемыми данными и смоделированными значениями.

Определение

Объясненная сумма квадратов (ESS) — это сумма квадратов отклонений прогнозируемых значений от среднего значения переменной отклика в стандартной регрессионной модели — например, y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _i , где y _{i —} i ^- е наблюдение переменной отклика , x _ji — i-е наблюдение ^j - й ^{объясняющей} переменной , a и b _j — коэффициенты , i индексирует наблюдения от 1 до n , а ε _{i —} i -  е ^{значение} ошибки . В общем, чем больше ESS, тем лучше работает предполагаемая модель.

Если и – расчетные коэффициенты , то ${\displaystyle {\hat {a}}}$ ${\displaystyle {\hat {b}}_{i}}$

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,}$

— i -е  ^{прогнозируемое} значение переменной ответа. Тогда ESS:

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

где значение, оцененное по линии регрессии. ^[1] ${\displaystyle {\hat {y}}_{i}}$

В некоторых случаях (см. ниже): общая сумма квадратов  (TSS) = объясненная сумма квадратов (ESS) + остаточная сумма квадратов  (RSS).

Разделение в простой линейной регрессии

Следующее равенство, гласящее, что общая сумма квадратов (TSS) равна остаточной сумме квадратов (=SSE: сумма квадратов ошибок прогнозирования) плюс объясненная сумма квадратов (SSR: сумма квадратов вследствие регрессии или объясненной сумма квадратов), как правило, верно для простой линейной регрессии:

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

Простой вывод

${\displaystyle {\begin{aligned}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y}}_{i}-{\bar {y}}).\end{aligned}}}$

Возведите в квадрат обе стороны и просуммируйте по всем i :

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

Вот как последний член выше равен нулю из простой линейной регрессии ^[2]

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

Так,

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

Поэтому,

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}}$

Разбиение в общей модели наименьших квадратов

Общая модель регрессии с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является точкой пересечения регрессии:

${\displaystyle y=X\beta +e}$

где y — вектор наблюдений зависимой переменной размера n × 1, каждый столбец матрицы X размера n × k представляет собой вектор наблюдений на одном из k объяснителей, является вектором истинных коэффициентов размера k × 1, а e — это вектор n × 1 1 вектор истинных основных ошибок. Обычная оценка методом наименьших квадратов для ${\displaystyle \beta }$ ${\displaystyle \beta }$

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

Вектор остатков равен , поэтому остаточная сумма квадратов после упрощения равна ${\displaystyle {\hat {e}}}$ ${\displaystyle y-X{\hat {\beta }}=y-X(X^{T}X)^{-1}X^{T}y}$ ${\displaystyle {\hat {e}}^{T}{\hat {e}}}$

${\displaystyle RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.}$

Обозначим как постоянный вектор, все элементы которого являются выборочным средним значений зависимой переменной в векторе y . Тогда общая сумма квадратов равна ${\displaystyle {\bar {y}}}$ ${\displaystyle y_{m}}$

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Объясненная сумма квадратов, определяемая как сумма квадратов отклонений прогнозируемых значений от наблюдаемого среднего значения y , равна

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Использование этого и упрощение для получения даёт результат, что TSS = ESS + RSS тогда и только тогда, когда . Левая часть этого выражения равна умноженной на сумму элементов y , а правая часть — умноженной на сумму элементов y , поэтому условие состоит в том, что сумма элементов y равняется сумме элементов y или, что то же самое, что сумма ошибок прогнозирования (остатков) равна нулю. В этом можно убедиться, отметив хорошо известное свойство МНК, согласно которому вектор k × 1 : поскольку первый столбец X представляет собой вектор единиц, первый элемент этого вектора представляет собой сумму остатков и равен нуль. Это доказывает, что условие TSS = ESS + RSS выполняется . ${\displaystyle {\hat {y}}=X{\hat {\beta }}}$ ${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$ ${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$ ${\displaystyle y_{m}}$ ${\displaystyle y_{m}}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle y_{i}-{\hat {y}}_{i}}$ ${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$ ${\displaystyle X^{T}{\hat {e}}}$

В терминах линейной алгебры имеем , , . Доказательство можно упростить, заметив, что . Доказательство следующее: ${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$ ${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$ ${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$ ${\displaystyle {\hat {y}}^{T}{\hat {y}}={\hat {y}}^{T}y}$

${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

Таким образом,

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2\langle y-{\hat {y}},{\hat {y}}-{\bar {y}}\rangle \\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

что снова дает результат: TSS = ESS + RSS , поскольку . ${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$

Смотрите также

• Сумма квадратов (статистика)
• Несоответствующая сумма квадратов
• Доля дисперсии необъяснима

Примечания

1. «Сумма квадратов - определение, формулы, регрессионный анализ» . Институт корпоративных финансов . Проверено 11 июня 2020 г.
2. Менденхолл, Уильям (2009). Введение в вероятность и статистику (13-е изд.). Бельмонт, Калифорния: Брукс/Коул. п. 507. ИСБН 9780495389538.

Рекомендации

• С.Э. Максвелл и HD Делани (1990), «Проектирование экспериментов и анализ данных: перспектива сравнения моделей». Уодсворт. стр. 289–290.
• Г.А. Милликен и Д.Е. Джонсон (1984), «Анализ беспорядочных данных», Vol. Я: Спланированные эксперименты. Ван Ностранд Рейнхольд. стр. 146–151.
• Б.Г. Табачник и Л.С. Фиделл (2007), «Экспериментальный дизайн с использованием ANOVA». Даксбери. п. 220.
• Б.Г. Табачник и Л.С. Фиделл (2007), «Использование многомерной статистики», 5-е изд. Пирсон Образование. стр. 217–218.