Статистическая мера расхождения между данными и оценочной моделью.
В статистике остаточная сумма квадратов ( RSS ), также известная как сумма квадратов остатков ( SSR ) или сумма квадратов оценок ошибок ( SSE ), представляет собой сумму квадратов остатков (отклонений , прогнозируемых от фактических эмпирических значений) . данных). Это мера несоответствия между данными и оценочной моделью, такой как линейная регрессия . Небольшой RSS указывает на точное соответствие модели данным. Он используется как критерий оптимальности при выборе параметров и модели .
В общем, общая сумма квадратов = объясненная сумма квадратов + остаточная сумма квадратов. Доказательство этого в многомерном случае обычных наименьших квадратов (МНК) см. в разделе «Разбиение в общей модели МНК» .
Одна объясняющая переменная
В модели с одной объясняющей переменной RSS определяется следующим образом: [1]
где y i — i -е значение прогнозируемой переменной, xi — i -е значение объясняющей переменной и — прогнозируемое значение y i (также называемое ). В стандартной модели линейной простой регрессии , , где и – коэффициенты , y и x – регрессия и регрессор соответственно, а ε – член ошибки . Сумма квадратов остатков равна сумме квадратов ; то есть
где – расчетное значение постоянного члена и – расчетное значение коэффициента наклона .
Матричное выражение для суммы квадратов остатков МНК
Общая модель регрессии с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является точкой пересечения регрессии:
где y — вектор наблюдений зависимой переменной размера n × 1, каждый столбец матрицы X размера n × k представляет собой вектор наблюдений на одном из k объяснителей, является вектором истинных коэффициентов размера k × 1, а e — это вектор n × 1 1 вектор истинных основных ошибок. Обычная оценка методом наименьших квадратов для
Остаточный вектор ; поэтому остаточная сумма квадратов равна:
- ,
(эквивалент квадрата нормы остатков ). В полном объеме:
- ,
где H — матрица шляпы или матрица проекции в линейной регрессии.
Связь с корреляцией момента продукта Пирсона
Линия регрессии по методу наименьших квадратов определяется выражением
- ,
где и , где и
Поэтому,
где
Таким образом, корреляция момента произведения Пирсона определяется следующим образом:
Смотрите также
Рекомендации
- ^ Архидиакон, Томас Дж. (1994). Корреляционно-регрессионный анализ: руководство историка . Университет Висконсина Пресс. стр. 161–162. ISBN 0-299-13650-7. ОСЛК 27266095.
- Дрейпер, Северная Каролина; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Уайли. ISBN 0-471-17082-8.