Необъясненная доля дисперсии

Статистический шум

В статистике доля необъясненной дисперсии ( FVU ) в контексте задачи регрессии — это доля дисперсии регрессанта ( зависимой переменной) Y , которую невозможно объяснить, т. е . которая неправильно предсказана объясняющими переменными X.

Формальное определение

Предположим, что нам дана функция регрессии, дающая для каждого оценку , где — вектор i- ^х наблюдений по всем объясняющим переменным. ^{[1] : 181} Мы определяем долю необъясненной дисперсии (FVU) как: ${\displaystyle f}$ ${\displaystyle y_{i}}$ ${\displaystyle {\widehat {y}}_{i}=f(x_{i})}$ ${\displaystyle x_{i}}$

${\displaystyle {\begin{aligned}{\text{FVU}}&={{\text{VAR}}_{\text{err}} \over {\text{VAR}}_{\text{tot}}}={{\text{SS}}_{\text{err}}/N \over {\text{SS}}_{\text{tot}}/N}={{\text{SS}}_{\text{err}} \over {\text{SS}}_{\text{tot}}}\left(=1-{{\text{SS}}_{\text{reg}} \over {\text{SS}}_{\text{tot}}},{\text{ only true in some cases such as linear regression}}\right)\\[6pt]&=1-R^{2}\end{aligned}}}$

где R ² — коэффициент детерминации , а VAR _err и VAR _tot — дисперсия остатков и выборочная дисперсия зависимой переменной. SS _err (сумма квадратов ошибок предсказаний, эквивалентно остаточной сумме квадратов ), SS _tot ( общая сумма квадратов ) и SS _reg (сумма квадратов регрессии, эквивалентно объясненной сумме квадратов ) определяются как

${\displaystyle {\begin{aligned}{\text{SS}}_{\text{err}}&=\sum _{i=1}^{N}\;(y_{i}-{\widehat {y}}_{i})^{2}\\{\text{SS}}_{\text{tot}}&=\sum _{i=1}^{N}\;(y_{i}-{\bar {y}})^{2}\\{\text{SS}}_{\text{reg}}&=\sum _{i=1}^{N}\;({\widehat {y}}_{i}-{\bar {y}})^{2}{\text{ and}}\\{\bar {y}}&={\frac {1}{N}}\sum _{i=1}^{N}\;y_{i}.\end{aligned}}}$

В качестве альтернативы долю необъясненной дисперсии можно определить следующим образом:

${\displaystyle {\text{FVU}}={\frac {\operatorname {MSE} (f)}{\operatorname {var} [Y]}}}$

где MSE( f ) — среднеквадратическая ошибка функции регрессии  ƒ .

Объяснение

Полезно рассмотреть второе определение, чтобы понять FVU. При попытке предсказать Y наиболее наивная функция регрессии, которую мы можем придумать, — это постоянная функция, предсказывающая среднее значение Y , т. е . . Из этого следует, что MSE этой функции равна дисперсии Y ; то есть SS _err = SS _tot , а SS _reg = 0. В этом случае никакое изменение Y не может быть учтено, и FVU тогда имеет максимальное значение 1. ${\displaystyle f(x_{i})={\bar {y}}}$

В более общем смысле, FVU будет равен 1, если объясняющие переменные X ничего не говорят нам о Y в том смысле, что предсказанные значения Y не ковариируют с Y. Но по мере того, как прогнозирование улучшается и MSE может быть уменьшено, FVU снижается. В случае идеального прогнозирования, когда для всех i , MSE равно 0, SS _err = 0, SS _reg = SS _tot , а FVU равно 0. ${\displaystyle {\hat {y}}_{i}=y_{i}}$

Смотрите также

• Коэффициент детерминации
• Корреляция
• Объясненная сумма квадратов
• Сумма квадратов несоответствия
• Линейная регрессия
• Регрессионный анализ
• Средняя абсолютная масштабированная ошибка

Ссылки

1. Эйчен, CH (1990).«Что объясняет «объясненная дисперсия»?: Ответ». Политический анализ . 2 (1): 173–184. doi :10.1093/pan/2.1.173.