Коэффициент детерминации

Индикатор того, насколько хорошо точки данных соответствуют линии или кривой

Обычная регрессия наименьших квадратов закона Оукена . Поскольку линия регрессии не сильно отклоняется от какой-либо точки, R ² регрессии относительно высок.

Сравнение оценщика Тейла–Сена (черный) и простой линейной регрессии (синий) для набора точек с выбросами . Из-за большого количества выбросов ни одна из линий регрессии не соответствует данным хорошо, что подтверждается тем фактом, что ни одна из них не дает очень высокого R ² .

В статистике коэффициент детерминации , обозначаемый R2 или r2 и произносимый как «R в квадрате ^» , представляет собой долю вариации зависимой переменной, которая предсказуема на основе независимой(ых) переменной(ых) ^.

Это статистика, используемая в контексте статистических моделей, чьей основной целью является либо предсказание будущих результатов, либо проверка гипотез на основе другой связанной информации. Она обеспечивает меру того, насколько хорошо наблюдаемые результаты воспроизводятся моделью, на основе доли общей вариации результатов, объясняемых моделью. ^{[1] [2] [3]}

Существует несколько определений R ² , которые лишь иногда эквивалентны. Один класс таких случаев включает простую линейную регрессию , где r ² используется вместо R ² . Когда включен только отсекаемый член , то r ² является просто квадратом коэффициента корреляции выборки (т. е. r ) между наблюдаемыми результатами и наблюдаемыми значениями предиктора. ^[4] Если включены дополнительные регрессоры , R ² является квадратом коэффициента множественной корреляции . В обоих таких случаях коэффициент детерминации обычно находится в диапазоне от 0 до 1.

Существуют случаи, когда R ² может давать отрицательные значения. Это может возникнуть, когда прогнозы, которые сравниваются с соответствующими результатами, не были получены из процедуры подгонки модели с использованием этих данных. Даже если была использована процедура подгонки модели, R ² все равно может быть отрицательным, например, когда линейная регрессия проводится без включения отсекателя ^[5] или когда для подгонки данных используется нелинейная функция. ^[6] В случаях, когда возникают отрицательные значения, среднее значение данных обеспечивает лучшее соответствие результатам, чем подогнанные значения функции, согласно этому конкретному критерию.

Коэффициент детерминации может быть более интуитивно информативным, чем MAE , MAPE , MSE и RMSE при оценке регрессионного анализа , поскольку первый может быть выражен в процентах, тогда как последние меры имеют произвольные диапазоны. Он также оказался более надежным для плохих подгонок по сравнению с SMAPE на тестовых наборах данных в статье. ^[7]

При оценке степени соответствия смоделированных ( Y _pred ) и измеренных ( Y _obs ) значений нецелесообразно основывать это на R ² линейной регрессии (т. е. Y _obs = m · Y _pred + b). ^{[ требуется цитирование ]} R ² количественно определяет степень любой линейной корреляции между Y _obs и Y _pred , в то время как для оценки степени соответствия следует учитывать только одну конкретную линейную корреляцию: Y _obs = 1 · Y _pred + 0 (т. е . линию 1:1). ^{[8] [9]}

Определения

${\displaystyle R^{2}=1-{\frac {\color {blue}{SS_{\text{res}}}}{\color {red}{SS_{\text{tot}}}}}}$
Чем лучше линейная регрессия (справа) соответствует данным по сравнению с простым средним (на левом графике), тем ближе значение R ² к 1. Площади синих квадратов представляют квадраты остатков относительно линейной регрессии. Площади красных квадратов представляют квадраты остатков относительно среднего значения.

Набор данных содержит n значений, обозначенных как y ₁ , ..., y _n (совместно именуемых y _i или вектором y = [ y ₁ , ..., y _n ] ^T ), каждое из которых связано с подобранным (или смоделированным, или предсказанным) значением f ₁ , ..., f _n (известным как f _i , или иногда ŷ _i , как вектор f ).

Определим остатки как e _i = y _i − f _i (образуя вектор e ).

Если — среднее значение наблюдаемых данных: тогда изменчивость набора данных можно измерить с помощью двух формул суммы квадратов : ${\displaystyle {\bar {y}}}$ $${\displaystyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$$

• Сумма квадратов остатков, также называемая остаточной суммой квадратов : $${\displaystyle SS_{\text{res}}=\sum _{i}(y_{i}-f_{i})^{2}=\sum _{i}e_{i}^{2}\,}$$
• Общая сумма квадратов (пропорциональна дисперсии данных): $${\displaystyle SS_{\text{tot}}=\sum _{i}(y_{i}-{\bar {y}})^{2}}$$

Наиболее общее определение коэффициента детерминации: $${\displaystyle R^{2}=1-{SS_{\rm {res}} \over SS_{\rm {tot}}}}$$

В лучшем случае смоделированные значения точно соответствуют наблюдаемым значениям, что приводит к R 2 ⁼ 1. Базовая модель, которая всегда предсказывает y , будет иметь R ² = 0 . ${\displaystyle SS_{\text{res}}=0}$

Отношение к необъяснимой дисперсии

В общем виде R ² можно рассматривать как связанный с долей необъясненной дисперсии (FVU), поскольку второй член сравнивает необъясненную дисперсию (дисперсию ошибок модели) с общей дисперсией (данных): $${\displaystyle R^{2}=1-{\text{FVU}}}$$

Как объяснили дисперсию

Большее значение R ² подразумевает более успешную модель регрессии. ^{[4] : 463} Предположим, что R ² = 0,49 . Это означает, что 49% изменчивости зависимой переменной в наборе данных было учтено, а оставшиеся 51% изменчивости все еще не учтены. Для моделей регрессии сумма квадратов регрессии, также называемая объясненной суммой квадратов , определяется как

${\displaystyle SS_{\text{reg}}=\sum _{i}(f_{i}-{\bar {y}})^{2}}$

В некоторых случаях, как в простой линейной регрессии , общая сумма квадратов равна сумме двух других сумм квадратов, определенных выше:

${\displaystyle SS_{\text{res}}+SS_{\text{reg}}=SS_{\text{tot}}}$

См. Partitioning in the general OLS model для вывода этого результата для одного случая, когда это отношение выполняется. Когда это отношение выполняется, приведенное выше определение R ² эквивалентно

${\displaystyle R^{2}={\frac {SS_{\text{reg}}}{SS_{\text{tot}}}}={\frac {SS_{\text{reg}}/n}{SS_{\text{tot}}/n}}}$

где n — количество наблюдений (случаев) по переменным.

В этой форме R ² выражается как отношение объясненной дисперсии (дисперсии предсказаний модели, которая равна SS _reg / n ) к общей дисперсии (выборочной дисперсии зависимой переменной, которая равна SS _tot / n ).

Это разбиение суммы квадратов выполняется, например, когда значения модели ƒ _i получены с помощью линейной регрессии . Более мягкое достаточное условие выглядит следующим образом: Модель имеет вид

${\displaystyle f_{i}={\widehat {\alpha }}+{\widehat {\beta }}q_{i}}$

где q _i — произвольные значения, которые могут зависеть или не зависеть от i или от других свободных параметров (общий выбор q _i  =  x _i является лишь одним частным случаем), а оценки коэффициентов и получаются путем минимизации остаточной суммы квадратов. ${\displaystyle {\widehat {\alpha }}}$ ${\displaystyle {\widehat {\beta }}}$

Этот набор условий является важным и имеет ряд последствий для свойств подобранных остатков и смоделированных значений. В частности, при этих условиях:

${\displaystyle {\bar {f}}={\bar {y}}.\,}$

Как квадрат коэффициента корреляции

В линейной множественной регрессии наименьших квадратов (с подобранным свободным отрезком и наклоном) R ² равен квадрату коэффициента корреляции Пирсона между наблюдаемыми и смоделированными (прогнозируемыми) значениями данных зависимой переменной. ${\displaystyle \rho ^{2}(y,f)}$ ${\displaystyle y}$ ${\displaystyle f}$

В линейной регрессии наименьших квадратов с одним объясняющим фактором (с подобранным свободным отрезком и наклоном) это также равно квадрату коэффициента корреляции Пирсона между зависимой переменной и объясняющей переменной . ${\displaystyle \rho ^{2}(y,x)}$ ${\displaystyle y}$ ${\displaystyle x}$

Его не следует путать с коэффициентом корреляции между двумя объясняющими переменными , определяемым как

${\displaystyle \rho _{{\widehat {\alpha }},{\widehat {\beta }}}={\operatorname {cov} \left({\widehat {\alpha }},{\widehat {\beta }}\right) \over \sigma _{\widehat {\alpha }}\sigma _{\widehat {\beta }}},}$

где ковариация между двумя оценками коэффициентов, а также их стандартные отклонения , получаются из ковариационной матрицы оценок коэффициентов, . ${\displaystyle (X^{T}X)^{-1}}$

В более общих условиях моделирования, когда прогнозируемые значения могут быть получены из модели, отличной от линейной регрессии наименьших квадратов, значение R ² может быть рассчитано как квадрат коэффициента корреляции между исходными и смоделированными значениями данных. В этом случае значение не является прямой мерой того, насколько хороши смоделированные значения, а скорее мерой того, насколько хорош предиктор, который может быть построен из смоделированных значений (путем создания пересмотренного предиктора формы α + βƒ _i ). ^{[ необходима цитата ]} Согласно Эверитту ^[10], это использование является конкретно определением термина «коэффициент детерминации»: квадрат корреляции между двумя (общими) переменными. ${\displaystyle y}$ ${\displaystyle f}$

Интерпретация

R ² — это мера качества соответствия модели. ^[11] В регрессии коэффициент детерминации R ^{2 — это статистическая мера того, насколько хорошо предсказания регрессии приближаются к реальным точкам данных.} R ² , равный 1, указывает на то, что предсказания регрессии идеально соответствуют данным.

Значения R ² вне диапазона от 0 до 1 возникают, когда модель соответствует данным хуже, чем наихудший возможный предиктор наименьших квадратов (эквивалент горизонтальной гиперплоскости на высоте, равной среднему значению наблюдаемых данных). Это происходит, когда была выбрана неправильная модель или по ошибке были применены бессмысленные ограничения. Если используется уравнение 1 Квольсета ^[12] (это уравнение используется чаще всего), R ² может быть меньше нуля. Если используется уравнение 2 Квольсета, R ² может быть больше единицы.

Во всех случаях, когда используется R ² , предикторы вычисляются с помощью обычной регрессии наименьших квадратов: то есть путем минимизации SS _res . В этом случае R ² увеличивается по мере увеличения числа переменных в модели ( R ² монотонно увеличивается с числом включенных переменных — он никогда не уменьшится). Это иллюстрирует недостаток одного из возможных вариантов использования R ² , когда можно продолжать добавлять переменные ( регрессия кухонной раковины ) для увеличения значения R ² . Например, если кто-то пытается предсказать продажи модели автомобиля по расходу бензина автомобиля, цене и мощности двигателя, можно включить, вероятно, не имеющие значения факторы, такие как первая буква названия модели или рост ведущего инженера, проектирующего автомобиль, потому что R 2 ^{никогда} не уменьшится по мере добавления переменных и, скорее всего, увеличится исключительно по воле случая.

Это приводит к альтернативному подходу рассмотрения скорректированного R2. Объяснение этой статистики почти такое же, как и R2 ^, но оно штрафует статистику, поскольку в модель включены дополнительные переменные. Для случаев, отличных от подгонки обычными наименьшими квадратами, статистика R2 может быть рассчитана, как указано выше, и все еще может быть полезной мерой. Если подгонка осуществляется взвешенными ^{наименьшими} квадратами или обобщенными наименьшими квадратами , альтернативные версии R2 могут быть рассчитаны в ^{соответствии} с этими статистическими рамками, в то время как «сырой» R2 все еще может быть полезен ^, если его легче интерпретировать. Значения для R2 могут быть рассчитаны для любого типа прогностической модели, которая не ^{обязательно} должна иметь статистическую основу.

В множественной линейной модели

Рассмотрим линейную модель с более чем одной объясняющей переменной в форме

${\displaystyle Y_{i}=\beta _{0}+\sum _{j=1}^{p}\beta _{j}X_{i,j}+\varepsilon _{i},}$

где для i- го случая — это ответная переменная, — p -регрессоры, а — среднее значение нулевой ошибки . Величины — это неизвестные коэффициенты, значения которых оцениваются методом наименьших квадратов . Коэффициент детерминации R ² — это мера глобального соответствия модели. В частности, R ² — это элемент [0, 1] и представляет собой долю изменчивости в Y _i , которая может быть отнесена к некоторой линейной комбинации регрессоров ( объясняющих переменных ) в X . ^[13] ${\displaystyle {Y_{i}}}$ ${\displaystyle X_{i,1},\dots ,X_{i,p}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{0},\dots ,\beta _{p}}$

R ² часто интерпретируется как доля вариации отклика, «объясненная» регрессорами в модели. Таким образом, R ²  = 1 указывает на то, что подобранная модель объясняет всю изменчивость в , в то время как R ²  = 0 указывает на отсутствие «линейной» связи (для прямой линейной регрессии это означает, что прямая линейная модель представляет собой постоянную линию (наклон = 0, отсекаемый отрезок =  ) между переменной отклика и регрессорами). Внутреннее значение, такое как R ²  = 0,7, можно интерпретировать следующим образом: «Семьдесят процентов дисперсии в переменной отклика можно объяснить объясняющими переменными. Остальные тридцать процентов можно отнести к неизвестным, скрытым переменным или присущей изменчивости». ${\displaystyle y}$ ${\displaystyle {\bar {y}}}$

Предостережение, которое относится к R ² , как и к другим статистическим описаниям корреляции и ассоциации, заключается в том, что « корреляция не подразумевает причинно-следственную связь ». Другими словами, хотя корреляции иногда могут давать ценные подсказки в раскрытии причинно-следственных связей между переменными, ненулевая оценочная корреляция между двумя переменными сама по себе не является доказательством того, что изменение значения одной переменной приведет к изменению значений других переменных. Например, практика ношения спичек (или зажигалки) коррелирует с заболеваемостью раком легких, но ношение спичек не вызывает рак (в стандартном смысле «причины»).

В случае одного регрессора, подобранного по наименьшим квадратам, R ² является квадратом коэффициента корреляции Пирсона, связывающего регрессор и переменную отклика. В более общем смысле, R ² является квадратом корреляции между сконструированным предиктором и переменной отклика. При наличии более одного регрессора R ² можно назвать коэффициентом множественной детерминации .

ИнфляцияР2

В регрессии наименьших квадратов с использованием типичных данных R ² по крайней мере слабо увеличивается с увеличением числа регрессоров в модели. Поскольку увеличение числа регрессоров увеличивает значение R ² , R ² сам по себе не может использоваться в качестве осмысленного сравнения моделей с очень разным числом независимых переменных. Для осмысленного сравнения двух моделей можно выполнить F-тест на остаточной сумме квадратов ^{[ требуется ссылка ]} , аналогично F-тестам в причинности по Грейнджеру , хотя это не всегда уместно ^{[ требуется дополнительное объяснение ]} . В качестве напоминания об этом некоторые авторы обозначают R ² как R _q ² , где q — число столбцов в X (число объясняющих факторов, включая константу).

Чтобы продемонстрировать это свойство, сначала вспомним, что цель линейной регрессии наименьших квадратов —

${\displaystyle \min _{b}SS_{\text{res}}(b)\Rightarrow \min _{b}\sum _{i}(y_{i}-X_{i}b)^{2}\,}$

где X _i — вектор-строка значений объясняющих переменных для случая i, а b — вектор-столбец коэффициентов соответствующих элементов X _i .

Оптимальное значение цели слабо меньше по мере добавления дополнительных объясняющих переменных и, следовательно, дополнительных столбцов (матрицы объясняющих данных, i -я строка которой — X _i ), из-за того, что менее ограниченная минимизация приводит к оптимальной стоимости, которая слабо меньше, чем более ограниченная минимизация. Учитывая предыдущий вывод и отмечая, что зависит только от y , свойство неубывания R ² следует непосредственно из определения выше. ${\displaystyle X}$ ${\displaystyle SS_{tot}}$

Интуитивная причина того, что использование дополнительной объясняющей переменной не может снизить R ² , заключается в следующем: минимизация эквивалентна максимизации R ² . Когда включена дополнительная переменная, данные всегда имеют возможность придать ей оценочный коэффициент, равный нулю, оставляя прогнозируемые значения и R ² неизменными. Единственный способ, которым задача оптимизации даст ненулевой коэффициент, — это если это улучшит  R ² . ${\displaystyle SS_{\text{res}}}$

Вышеизложенное дает аналитическое объяснение инфляции R ² . Далее, ниже показан пример, основанный на обычном наименьшем квадрате с геометрической точки зрения. ^[14]

Это пример остатков регрессионных моделей в меньших и больших пространствах, основанных на обычной регрессии наименьших квадратов.

Сначала рассмотрим простой случай:

${\displaystyle Y=\beta _{0}+\beta _{1}\cdot X_{1}+\varepsilon \,}$

Это уравнение описывает обычную модель регрессии наименьших квадратов с одним регрессором. Прогноз показан красным вектором на рисунке справа. Геометрически это проекция истинного значения на модельное пространство в (без пересечения). Остаток показан красной линией. ${\displaystyle \mathbb {R} }$

${\displaystyle Y=\beta _{0}+\beta _{1}\cdot X_{1}+\beta _{2}\cdot X_{2}+\varepsilon \,}$

Это уравнение соответствует обычной модели регрессии наименьших квадратов с двумя регрессорами. Прогноз показан в виде синего вектора на рисунке справа. Геометрически это проекция истинного значения на большее пространство модели в (без отсекателя). Примечательно, что значения и не совпадают с значениями в уравнении для меньшего пространства модели, пока и не являются нулевыми векторами. Поэтому ожидается, что уравнения дадут разные прогнозы (т. е. ожидается, что синий вектор будет отличаться от красного вектора). Критерий регрессии наименьших квадратов гарантирует, что остаток минимизируется. На рисунке синяя линия, представляющая остаток, ортогональна пространству модели в , что дает минимальное расстояние от пространства. ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle \mathbb {R} ^{2}}$

Меньшее пространство модели является подпространством большего, и, таким образом, остаток меньшей модели гарантированно будет больше. Сравнивая красную и синюю линии на рисунке, синяя линия ортогональна пространству, и любая другая линия будет больше синей. Принимая во внимание расчет для R ² , меньшее значение приведет к большему значению R ² , что означает, что добавление регрессоров приведет к инфляции R ² . ${\displaystyle SS_{tot}}$

Предостережения

В R ² не указано:

• независимые переменные являются причиной изменений зависимой переменной ;
• существует смещение из-за пропущенной переменной ;
• была использована правильная регрессия ;
• выбран наиболее подходящий набор независимых переменных;
• в данных по объясняющим переменным присутствует коллинеарность ;
• модель может быть улучшена путем использования преобразованных версий существующего набора независимых переменных;
• имеется достаточно данных, чтобы сделать обоснованный вывод.

Расширения

СкорректированоР2

Использование скорректированного R ² (одно из распространенных обозначений — , произносится как «R bar squared»; другое — или ) — это попытка объяснить явление автоматического увеличения R ² при добавлении в модель дополнительных объясняющих переменных. Существует множество различных способов корректировки. ^[15] Наиболее часто используемым из них, до такой степени, что его обычно называют просто скорректированным R , является поправка, предложенная Мордехаем Иезекиилем . ^{[15] [16] [17]} Скорректированный R ² определяется как ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle R_{\text{a}}^{2}}$ ${\displaystyle R_{\text{adj}}^{2}}$

${\displaystyle {\bar {R}}^{2}={1-{SS_{\text{res}}/{\text{df}}_{\text{res}} \over SS_{\text{tot}}/{\text{df}}_{\text{tot}}}}}$

где df _res — степени свободы оценки дисперсии совокупности вокруг модели, а df _tot — степени свободы оценки дисперсии совокупности вокруг среднего значения. df _res задается через размер выборки n и количество переменных p в модели, df _res = n − p − 1. df _tot задается таким же образом, но с p , равным единице для среднего значения, т. е. df _tot = n − 1 .

Вставляя степени свободы и используя определение R ² , его можно переписать как:

${\displaystyle {\bar {R}}^{2}=1-(1-R^{2}){n-1 \over n-p-1}}$

где p — общее число объясняющих переменных в модели (исключая свободный член), а n — размер выборки.

Скорректированный R ² может быть отрицательным, и его значение всегда будет меньше или равно значению R ² . В отличие от R ² , скорректированный R ² увеличивается только тогда, когда увеличение R ² (из-за включения новой объясняющей переменной) больше, чем можно было бы ожидать увидеть случайно. Если набор объясняющих переменных с предопределенной иерархией важности вводится в регрессию по одной за раз, при этом скорректированный R ² вычисляется каждый раз, уровень, на котором скорректированный R ² достигает максимума и затем уменьшается, будет регрессией с идеальной комбинацией наилучшего соответствия без лишних/ненужных членов.

Схема вклада смещения и дисперсии в общую ошибку

Скорректированный R ² можно интерпретировать как пример компромисса смещения-дисперсии . Когда мы рассматриваем производительность модели, меньшая ошибка представляет лучшую производительность. Когда модель становится более сложной, дисперсия будет увеличиваться, тогда как квадрат смещения будет уменьшаться, и эти две метрики в сумме будут составлять общую ошибку. Объединяя эти две тенденции, компромисс смещения-дисперсии описывает связь между производительностью модели и ее сложностью, которая показана в виде U-образной кривой справа. Для скорректированного R ² в частности сложность модели (т. е. количество параметров) влияет на R ² и член / frac и тем самым фиксирует их атрибуты в общей производительности модели.

R ² можно интерпретировать как дисперсию модели, на которую влияет сложность модели. Высокий R ² указывает на меньшую ошибку смещения, поскольку модель может лучше объяснить изменение Y с помощью предикторов. По этой причине мы делаем меньше (ошибочных) предположений, и это приводит к меньшей ошибке смещения. Между тем, чтобы учесть меньше предположений, модель имеет тенденцию быть более сложной. Исходя из компромисса смещения-дисперсии, более высокая сложность приведет к уменьшению смещения и лучшей производительности (ниже оптимальной линии). В R ² член ( 1 − R ² ) будет ниже при высокой сложности и приведет к более высокому R ² , последовательно указывая на лучшую производительность.

С другой стороны, на term/frac обратное влияние оказывает сложность модели. term/frac увеличится при добавлении регрессоров (т.е. увеличится сложность модели) и приведет к ухудшению производительности. Исходя из компромисса смещения-дисперсии, более высокая сложность модели (за пределами оптимальной линии) приводит к увеличению ошибок и ухудшению производительности.

Принимая во внимание расчет R ² , больше параметров увеличит R ² и приведет к увеличению R ² . Тем не менее, добавление большего количества параметров увеличит term/frac и, таким образом, уменьшит R ² . Эти две тенденции создают обратную u-образную зависимость между сложностью модели и R ² , что согласуется с u-образной тенденцией сложности модели по сравнению с общей производительностью. В отличие от R ² , который всегда будет увеличиваться при увеличении сложности модели, R ² увеличится только тогда, когда смещение, устраненное добавленным регрессором, больше, чем дисперсия, введенная одновременно. Использование R ² вместо R ² может таким образом предотвратить переобучение.

Следуя той же логике, скорректированный R ² можно интерпретировать как менее смещенную оценку совокупности R ² , тогда как наблюдаемая выборка R ² является положительно смещенной оценкой значения совокупности. ^[18] Скорректированный R ² более уместен при оценке соответствия модели (дисперсия в зависимой переменной, учтенная независимыми переменными) и при сравнении альтернативных моделей на этапе выбора признаков при построении модели. ^[18]

Принцип, лежащий в основе скорректированной статистики R ² , можно увидеть, переписав обычную статистику R ² как

${\displaystyle R^{2}={1-{{\text{VAR}}_{\text{res}} \over {\text{VAR}}_{\text{tot}}}}}$

где и являются выборочными дисперсиями оцененных остатков и зависимой переменной соответственно, которые можно рассматривать как смещенные оценки дисперсий популяции ошибок и зависимой переменной. Эти оценки заменяются статистически несмещенными версиями: и . ${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/n}$ ${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/n}$ ${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/(n-p)}$ ${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/(n-1)}$

Несмотря на использование несмещенных оценок для дисперсий популяции ошибки и зависимой переменной, скорректированный R ² не является несмещенной оценкой популяции R ² , ^[18] что получается путем использования дисперсий популяции ошибок и зависимой переменной вместо их оценки. Ингрэм Олкин и Джон В. Пратт вывели несмещенную оценку с минимальной дисперсией для популяции R ² , ^[19] которая известна как оценка Олкина–Пратта. Сравнения различных подходов к корректировке R ² пришли к выводу, что в большинстве ситуаций либо приближенная версия оценки Олкина–Пратта ^[18] , либо точная оценка Олкина–Пратта ^[20] должны быть предпочтительнее скорректированного R ² (Иезекииля) .

Коэффициент частичной детерминации

Коэффициент частичной детерминации можно определить как долю вариации, которую невозможно объяснить в сокращенной модели, но можно объяснить предикторами, указанными в полной (более полной) модели. ^{[21] [22] [23]} Этот коэффициент используется для получения информации о том, могут ли быть полезны один или несколько дополнительных предикторов в более полной регрессионной модели.

Расчет для частичного R ² относительно прост после оценки двух моделей и создания таблиц ANOVA для них. Расчет для частичного R ² выглядит следующим образом:

${\displaystyle {\frac {SS_{\text{ res, reduced}}-SS_{\text{ res, full}}}{SS_{\text{ res, reduced}}}},}$

что аналогично обычному коэффициенту детерминации:

${\displaystyle {\frac {SS_{\text{tot}}-SS_{\text{res}}}{SS_{\text{tot}}}}.}$

Обобщение и разложениеР2

Как объяснялось выше, эвристики выбора модели, такие как скорректированный критерий R ² и F-тест, проверяют, достаточно ли увеличивается общий R ^2, чтобы определить, следует ли добавлять в модель новый регрессор. Если в модель добавляется регрессор, который сильно коррелирует с другими регрессорами, которые уже были включены, то общий R ² вряд ли увеличится, даже если новый регрессор имеет значение. В результате вышеупомянутые эвристики будут игнорировать соответствующие регрессоры, когда кросс-корреляции высоки. ^[24]

Геометрическое представление r ² .

В качестве альтернативы можно разложить обобщенную версию R ² для количественной оценки релевантности отклонения от гипотезы. ^[24] Как показывает Хорнвег (2018), несколько оценок сжатия , такие как байесовская линейная регрессия , гребневая регрессия и (адаптивное) лассо , используют это разложение R ² , когда они постепенно сжимают параметры от неограниченных решений OLS к предполагаемым значениям. Давайте сначала определим модель линейной регрессии как

${\displaystyle y=X\beta +\varepsilon .}$

Предполагается, что матрица X стандартизирована с помощью Z-оценок и что вектор-столбец центрирован так, чтобы иметь среднее значение, равное нулю. Пусть вектор-столбец относится к предполагаемым параметрам регрессии, а вектор-столбец обозначает предполагаемые параметры. Затем мы можем определить ${\displaystyle y}$ ${\displaystyle \beta _{0}}$ ${\displaystyle b}$

${\displaystyle R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.}$

R ^{2 75% означает} , что точность в выборке улучшается на 75%, если вместо предполагаемых значений используются оптимизированные по данным решения b . В особом случае, который является вектором нулей, мы снова получаем традиционный R ^{2 .} ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{0}}$

Индивидуальный эффект отклонения от гипотезы на R ² можно вычислить с помощью ('R-outer'). Эта матрица времен задается как ${\displaystyle R^{\otimes }}$ ${\displaystyle p}$ ${\displaystyle p}$

${\displaystyle R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},}$

где . Диагональные элементы точно складывают до R ² . Если регрессоры не коррелируют и представляет собой вектор нулей, то диагональный элемент просто соответствует значению r ² между и . Когда регрессоры и коррелируют, может увеличиться за счет уменьшения . В результате диагональные элементы могут быть меньше 0 и, в более исключительных случаях, больше 1. Чтобы справиться с такими неопределенностями, несколько оценщиков сжатия неявно берут средневзвешенное значение диагональных элементов для количественной оценки релевантности отклонения от предполагаемого значения. ^[24] Щелкните по лассо для примера. ${\displaystyle {\tilde {y}}_{0}=y-X\beta _{0}}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle \beta _{0}}$ ${\displaystyle j^{\text{th}}}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle x_{j}}$ ${\displaystyle y}$ ${\displaystyle x_{i}}$ ${\displaystyle x_{j}}$ ${\displaystyle R_{ii}^{\otimes }}$ ${\displaystyle R_{jj}^{\otimes }}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle R^{\otimes }}$

Р2в логистической регрессии

В случае логистической регрессии , обычно подходящей по принципу максимального правдоподобия , существует несколько вариантов псевдо- R2 ^.

Одним из них является обобщенный R ^2, первоначально предложенный Коксом и Снеллом ^[25] и независимо Маги: ^[26]

${\displaystyle R^{2}=1-\left({{\mathcal {L}}(0) \over {\mathcal {L}}({\widehat {\theta }})}\right)^{2/n}}$

где — вероятность модели только с интерсептом, — вероятность оценочной модели (т. е. модели с заданным набором оценок параметров), а n — размер выборки. Это легко переписать в: ${\displaystyle {\mathcal {L}}(0)}$ ${\displaystyle {{\mathcal {L}}({\widehat {\theta }})}}$

${\displaystyle R^{2}=1-e^{{\frac {2}{n}}(\ln({\mathcal {L}}(0))-\ln({\mathcal {L}}({\widehat {\theta }}))}=1-e^{-D/n}}$

где D — это тестовая статистика теста отношения правдоподобия .

Нико Нагелькерке отметил, что он обладает следующими свойствами: ^{[27] [22]}

1. Это согласуется с классическим коэффициентом детерминации, когда оба могут быть вычислены;
2. Его значение максимизируется путем оценки максимального правдоподобия модели;
3. Он асимптотически не зависит от размера выборки;
4. Интерпретация — это доля вариации, объясняемая моделью;
5. Значения находятся в диапазоне от 0 до 1, где 0 означает, что модель не объясняет никаких изменений, а 1 означает, что она идеально объясняет наблюдаемые изменения;
6. Он не имеет какой-либо единицы измерения.

Однако в случае логистической модели, где не может быть больше 1, R ² находится в диапазоне от 0 до : таким образом, Нагелькерке предложил возможность определить масштабированный R ² как R ² / R ² _max . ^[22] ${\displaystyle {\mathcal {L}}({\widehat {\theta }})}$ ${\displaystyle R_{\max }^{2}=1-({\mathcal {L}}(0))^{2/n}}$

Сравнение с нормой остатков

Иногда норма остатков используется для указания степени соответствия. Этот термин вычисляется как квадратный корень из суммы квадратов остатков :

${\displaystyle {\text{norm of residuals}}={\sqrt {SS_{\text{res}}}}=\|e\|.}$

И R ² , и норма остатков имеют свои относительные достоинства. Для анализа наименьших квадратов R ² изменяется от 0 до 1, причем большие числа указывают на лучшее соответствие, а 1 представляет идеальное соответствие. Норма остатков изменяется от 0 до бесконечности, причем меньшие числа указывают на лучшее соответствие, а ноль указывает на идеальное соответствие. Одним из преимуществ и недостатков R ² является то, что член действует для нормализации значения. Если все значения y _i умножить на константу, норма остатков также изменится на эту константу, но R ² останется прежним. В качестве простого примера для линейного наименьших квадратов, соответствующих набору данных: ${\displaystyle SS_{\text{tot}}}$

R ² = 0,998, а норма остатков = 0,302. Если все значения y умножить на 1000 (например, при смене префикса СИ ), то R ² останется прежним, но норма остатков = 302.

Другим однопараметрическим индикатором соответствия является RMSE остатков или стандартное отклонение остатков. Оно будет иметь значение 0,135 для приведенного выше примера, учитывая, что соответствие было линейным с невынужденным отсеканием. ^[28]

История

Создание коэффициента детерминации приписывается генетику Сьюэллу Райту и впервые опубликовано в 1921 году. ^[29]

Смотрите также

• Квартет Энскомба
• Необъясненная доля дисперсии
• Качество соответствия
• Коэффициент эффективности модели Нэша-Сатклиффа ( гидрологические приложения )
• Коэффициент корреляции Пирсона-момента
• Пропорциональное сокращение потерь
• Проверка регрессионной модели
• Среднеквадратичное отклонение
• Пошаговая регрессия

Примечания

1. Стил, RGD; Торри, JH (1960). Принципы и процедуры статистики с особым упором на биологические науки . McGraw Hill .
2. Гланц, Стэнтон А.; Слинкер, Б.К. (1990). Учебник прикладной регрессии и дисперсионного анализа . McGraw-Hill. ISBN 978-0-07-023407-9.
3. Дрейпер, Н. Р.; Смит, Х. (1998). Прикладной регрессионный анализ . Wiley-Interscience. ISBN 978-0-471-17082-2.
4. Devore, Jay L. (2011). Вероятность и статистика для инженерии и наук (8-е изд.). Бостон, Массачусетс: Cengage Learning. стр. 508–510. ISBN 978-0-538-73352-6.
5. Бартен, Антон П. (1987). «Коэффициент детерминации регрессии без постоянного члена». Ин Хейманс, Ристо; Нойдекер, Хайнц (ред.). Практика эконометрики . Дордрехт: Клювер. стр. 181–189. ISBN 90-247-3502-5.
6. Колин Кэмерон, А.; Виндмейер, Фрэнк АГ (1997). «Мера качества подгонки в квадрате R для некоторых распространенных нелинейных регрессионных моделей». Журнал эконометрики . 77 (2): 1790–2. doi :10.1016/S0304-4076(96)01818-0.
7. Чикко, Давиде; Уорренс, Маттейс Дж.; Юрман, Джузеппе (2021). «Коэффициент детерминации R-квадрат более информативен, чем SMAPE, MAE, MAPE, MSE и RMSE при оценке регрессионного анализа». PeerJ Информатика . 7 (e623): e623. дои : 10.7717/peerj-cs.623 . ПМЦ 8279135 . ПМИД  34307865. 
8. Легатс, DR; МакКейб, GJ (1999). «Оценка использования мер «добротности соответствия» при проверке гидрологических и гидроклиматических моделей». Water Resour. Res . 35 (1): 233–241. Bibcode :1999WRR....35..233L. doi :10.1029/1998WR900018. S2CID  128417849.
9. Риттер, А.; Муньос-Карпена, Р. (2013). «Оценка эффективности гидрологических моделей: статистическая значимость для снижения субъективности в оценках соответствия». Журнал гидрологии . 480 (1): 33–45. Bibcode : 2013JHyd..480...33R. doi : 10.1016/j.jhydrol.2012.12.004.
10. Эверитт, Б.С. (2002). Кембриджский словарь статистики (2-е изд.). CUP. стр. 78. ISBN 978-0-521-81099-9.
11. Casella, Georges (2002). Статистический вывод (Второе издание). Pacific Grove, Калифорния: Duxbury/Thomson Learning. стр. 556. ISBN 9788131503942.
12. Квалсет, Таральд О. (1985). «Предостережение о R2». Американский статистик . 39 (4): 279–285. doi :10.2307/2683704. JSTOR  2683704.
13. «Линейная регрессия – MATLAB и Simulink». www.mathworks.com .
14. Faraway, Julian James (2005). Линейные модели с R (PDF) . Chapman & Hall/CRC. ISBN 9781584884255.
15. Raju, Nambury S.; Bilgic, Reyhan; Edwards, Jack E.; Fleer, Paul F. (1997). «Обзор методологии: оценка популяционной валидности и перекрестной валидности, а также использование равных весов в прогнозировании». Applied Psychological Measurement . 21 (4): 291–305. doi :10.1177/01466216970214001. ISSN  0146-6216. S2CID  122308344.
16. Мордехай Иезекииль (1930), Методы корреляционного анализа , Wiley , Wikidata  Q120123877, стр. 208–211.
17. Инь, Пин; Фань, Ситао (январь 2001 г.). «Оценка сокращения R 2 в множественной регрессии: сравнение различных аналитических методов» (PDF) . Журнал экспериментального образования . 69 (2): 203–224. doi :10.1080/00220970109600656. ISSN  0022-0973. S2CID  121614674.
18. Ши, Гвоуэн (2008-04-01). "Улучшенная оценка сжатия квадратичного множественного коэффициента корреляции и квадратичного коэффициента перекрестной валидности". Организационные методы исследования . 11 (2): 387–407. doi :10.1177/1094428106292901. ISSN  1094-4281. S2CID  55098407.
19. Олкин, Ингрэм; Пратт, Джон У. (март 1958 г.). «Непредвзятая оценка некоторых коэффициентов корреляции». Анналы математической статистики . 29 (1): 201–211. doi : 10.1214/aoms/1177706717 . ISSN  0003-4851.
20. Карч, Джулиан (29.09.2020). «Улучшение скорректированного R-квадрата». Collabra: Psychology . 6 (45). doi : 10.1525/collabra.343 . hdl : 1887/3161248 . ISSN  2474-7394.
21. Ричард Андерсон-Шпрехер, «Сравнение моделей и R2», The American Statistician , том 48, выпуск 2, 1994, стр. 113–117.
22. Nagelkerke, NJD (сентябрь 1991 г.). «Заметка об общем определении коэффициента детерминации» (PDF) . Biometrika . 78 (3): 691–692. doi :10.1093/biomet/78.3.691. JSTOR  2337038.
23. "регрессия – реализация R коэффициента частичной детерминации". Перекрестная проверка .
24. Hoornweg, Victor (2018). "Часть II: О сохранении фиксированных параметров". Наука: Под подачей . Hoornweg Press. ISBN 978-90-829188-0-9.
25. Кокс, Д.Д.; Снелл, Э.Дж. (1989). Анализ двоичных данных (2-е изд.). Чепмен и Холл.
26. Маги, Л. (1990). " Меры R ² на основе тестов совместной значимости Вальда и отношения правдоподобия ". Американский статистик . 44 (3): 250–3. doi :10.1080/00031305.1990.10475731.
27. Nagelkerke, Nico JD (1992). Оценка максимального правдоподобия функциональных связей, Pays-Bas . Конспект лекций по статистике. Том 69. ISBN 978-0-387-97721-8.
28. Веб-страница OriginLab, http://www.originlab.com/doc/Origin-Help/LR-Algorithm. Получено 9 февраля 2016 г.
29. Райт, Сьюэлл (январь 1921 г.). «Корреляция и причинно-следственная связь». Журнал сельскохозяйственных исследований . 20 : 557–585.

Дальнейшее чтение

• Гуджарати, Дамодар Н.; Портер , Дон К. (2009). Основы эконометрики (Пятое изд.). Нью-Йорк: McGraw-Hill/Irwin. С. 73–78. ISBN 978-0-07-337577-9.
• Хьюз, Энн; Грэвоиг, Деннис (1971). Статистика: Основа для анализа. Чтение: Addison-Wesley. стр. 344–348. ISBN 0-201-03021-7.
• Кмента, Ян (1986). Элементы эконометрики (Второе изд.). Нью-Йорк: Macmillan. С. 240–243. ISBN 978-0-02-365070-3.
• Льюис-Бек, Майкл С.; Скалабан, Эндрю (1990). « R -квадрат: откровенный разговор». Политический анализ . 2 : 153–171. doi :10.1093/pan/2.1.153. JSTOR  23317769.
• Чикко, Давиде; Уорренс, Маттейс Дж.; Юрман, Джузеппе (2021). «Коэффициент детерминации R-квадрат более информативен, чем SMAPE, MAE, MAPE, MSE и RMSE при оценке регрессионного анализа». PeerJ Информатика . 7 (e623): e623. doi : 10.7717/peerj-cs.623 . ПМЦ  8279135 . ПМИД  34307865.