Отклонение (статистика)

В статистике отклонение — это показатель согласия статистической модели ; его часто используют для проверки статистических гипотез . Это обобщение идеи использования суммы квадратов остатков (SSR) в обычном методе наименьших квадратов на случаи, когда подгонка модели достигается за счет максимального правдоподобия . Он играет важную роль в моделях экспоненциальной дисперсии и обобщенных линейных моделях .

Отклонение может быть связано с расхождением Кульбака-Лейблера . ^[1]

Определение

Единичное отклонение ^[2]^[3] представляет собой двумерную функцию, удовлетворяющую следующим условиям: $d(y,\mu)$

$d(y,y)=0$
$d(y,\mu)>0\quad \forall y\neq \mu$

Общее отклонение модели с предсказаниями наблюдения представляет собой сумму ее единичных отклонений: . $D(\mathbf {y}, {\hat {\boldsymbol {\mu }}})$ ${\hat {\boldsymbol {\mu }}}$ $\mathbf {y}$ ${\textstyle D(\mathbf {y}, {\hat {\boldsymbol {\mu }}}) =\sum _{i}d(y_{i},{\hat {\mu }}_{i} )}$

(Общее) отклонение для модели M ₀ с оценками , основанными на наборе данных y , может быть построено по ее правдоподобию как: ^[4]^[5] ${\hat {\mu }}=E[Y|{\hat {\theta }}_{0}]$

D(y, {\hat {\mu }})=2\left(\log \left[p(y\mid {\hat {\theta }}_{s})\right]-\log \left[p(y\mid {\hat {\theta }}_{0})\right]\right).

Здесь обозначены подобранные значения параметров в модели M ₀ , а обозначены подобранные параметры для насыщенной модели : оба набора подобранных значений являются неявными функциями наблюдений y . Здесь насыщенная модель — это модель с параметром для каждого наблюдения, позволяющая точно подгонять данные. Это выражение просто в 2 раза превышает логарифмическое отношение правдоподобия полной модели по сравнению с сокращенной моделью. Отклонение используется для сравнения двух моделей – особенно в случае обобщенных линейных моделей (GLM), где оно играет роль, аналогичную остаточной сумме квадратов ANOVA в линейных моделях ( RSS ). ${\hat {\theta }}_{0}$ ${\hat {\theta }}_{s}$

Предположим, в рамках GLM у нас есть две вложенные модели , M ₁ и M ₂ . В частности, предположим, что M ₁ содержит параметры из M ₂ и k дополнительных параметров. Затем, при нулевой гипотезе о том, что M ₂ является истинной моделью, разница между отклонениями для двух моделей следует, основываясь на теореме Уилкса , приблизительному распределению хи-квадрат с k - степенями свободы. ^[5] Это можно использовать для проверки гипотезы об отклонении.

Некоторое использование термина «отклонение» может сбить с толку. По словам Коллетта: ^[6]

«величину иногда называют отклонением . Это [...] неуместно, поскольку, в отличие от отклонения, используемого в контексте обобщенного линейного моделирования, оно не измеряет отклонение от модели, которая идеально соответствует данным».

-2\log {\big [}p(y\mid {\hat {\theta }}_{0}){\big ]}

-2\log {\big [}p(y\mid {\hat {\theta }}_{0}){\big ]}

Однако, поскольку основное использование заключается в разнице отклонений двух моделей, эта путаница в определениях не имеет значения.

Примеры

Единичное отклонение для распределения Пуассона равно , единичное отклонение для нормального распределения определяется выражением . $d(y,\mu)=2\left(y\log {\frac {y}{\mu }}-y+\mu \right)$ $d(y,\mu) =\left(y-\mu \right)^{2}$

Смотрите также

Информационный критерий Акаике
Информационный критерий отклонения
Тест Хосмера – Лемешоу , статистика качества соответствия, которую можно использовать для двоичных данных.
Критерий хи-квадрат Пирсона , альтернативный показатель качества соответствия обобщенных линейных моделей для подсчета данных.
Критерий Пирса

Примечания

^ Хасти, Тревор. «Более пристальный взгляд на отклонение». Американский статистик 41.1 (1987): 16–20.
^ Йоргенсен, Б. (1997). Теория моделей дисперсии . Чепмен и Холл.
^ Песня, Петр X. -К. (2007). Анализ коррелированных данных: моделирование, аналитика и приложения . Серия Спрингера по статистике. Серия Спрингера по статистике. дои : 10.1007/978-0-387-71393-9. ISBN 978-0-387-71392-2.
^ Нелдер, Дж. А .; Веддерберн, RWM (1972). «Обобщенные линейные модели». Журнал Королевского статистического общества. Серия А (Общая) . 135 (3): 370–384. дои : 10.2307/2344614. JSTOR 2344614. S2CID 14154576.
^ аб МакКаллах и Нелдер (1989): стр. 17.
^ Коллетт (2003): стр. 76.

Внешние ссылки