Функция дисперсии

Гладкая функция в статистике

В статистике функция дисперсии представляет собой гладкую функцию , которая отображает дисперсию случайной величины как функцию ее среднего значения . Функция дисперсии является мерой гетероскедастичности и играет большую роль во многих условиях статистического моделирования. Это основной компонент структуры обобщенной линейной модели и инструмент, используемый в непараметрической регрессии , ^[1] полупараметрической регрессии ^[1] и функциональном анализе данных . ^[2] При параметрическом моделировании функции дисперсии принимают параметрическую форму и явно описывают связь между дисперсией и средним значением случайной величины. В непараметрической настройке предполагается, что функция дисперсии является гладкой функцией .

Интуиция

В настройке регрессионной модели цель состоит в том, чтобы установить, существует ли связь между переменной ответа и набором переменных-предикторов. Кроме того, если связь действительно существует, цель состоит в том, чтобы описать ее как можно лучше. Основным допущением линейной регрессии является постоянная дисперсия или (гомоскедастичность), что означает, что разные переменные ответа имеют одинаковую дисперсию своих ошибок на каждом уровне предикторов. Это предположение хорошо работает, когда переменная ответа и переменная-предиктор вместе являются нормальными . Как мы увидим позже, функция отклонения в настройке «Нормальный» является постоянной; однако мы должны найти способ количественной оценки гетероскедастичности (непостоянной дисперсии) при отсутствии совместной нормальности.

Когда вполне вероятно, что ответ следует за распределением, которое является членом экспоненциального семейства, может быть более уместным использовать обобщенную линейную модель , и, более того, когда мы не хотим навязывать нашим данным параметрическую модель, непараметрическую модель регрессионный подход может быть полезен. Важность возможности моделирования дисперсии как функции среднего значения заключается в улучшении вывода (в параметрической настройке) и оценке функции регрессии в целом для любых настроек.

Функции дисперсии играют очень важную роль в оценке параметров и выводах. В общем, оценка максимального правдоподобия требует определения функции правдоподобия. Это требование означает, что сначала необходимо указать распределение наблюдаемых переменных отклика. Однако, чтобы определить квазиправдоподобие, нужно только указать связь между средним значением и дисперсией наблюдений, чтобы затем иметь возможность использовать функцию квазиправдоподобия для оценки. ^{[3] Оценка} квазиправдоподобия особенно полезна при наличии чрезмерной дисперсии . Чрезмерная дисперсия возникает, когда изменчивость данных выше, чем можно было бы ожидать в соответствии с предполагаемым распределением данных.

Таким образом, чтобы обеспечить эффективный вывод параметров регрессии и функции регрессии, необходимо учитывать гетероскедастичность. Функции дисперсии количественно определяют взаимосвязь между дисперсией и средним значением наблюдаемых данных и, следовательно, играют значительную роль в оценке регрессии и выводах.

Типы

Функция дисперсии и ее приложения встречаются во многих областях статистического анализа. Очень важное использование этой функции находится в рамках обобщенных линейных моделей и непараметрической регрессии .

Обобщенная линейная модель

Если указан член экспоненциального семейства , можно легко вывести функцию дисперсии. ^{[4] : 29} Общая форма функции дисперсии представлена ​​в контексте экспоненциального семейства, а также конкретные формы для нормальной функции, функции Бернулли, Пуассона и гаммы. Кроме того, мы описываем приложения и использование функций дисперсии при оценке максимального правдоподобия и оценке квазиправдоподобия.

Вывод

Обобщенная линейная модель (GLM) — это обобщение обычного регрессионного анализа, которое распространяется на любого члена экспоненциального семейства . Это особенно полезно, когда переменная ответа является категориальной, двоичной или подчиняется ограничению (например, имеют смысл только положительные ответы). На этой странице представлен краткий обзор компонентов GLM, но более подробную информацию и информацию см. на странице обобщенных линейных моделей .

GLM состоит из трех основных компонентов:

1. Случайная компонента: распределение y из экспоненциального семейства, ${\displaystyle E[y\mid X]=\mu }$

2. Линейный предиктор: ${\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}$

3. Функция ссылки: ${\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta )}$

Сначала важно вывести пару ключевых свойств экспоненциального семейства.

Любая случайная величина в экспоненциальном семействе имеет функцию плотности вероятности вида: ${\displaystyle {\textit {y}}}$

${\displaystyle f(y,\theta ,\phi )=\exp \left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)}$

с логарифмическим правдоподобием,

${\displaystyle \ell (\theta ,y,\phi )=\log(f(y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

Здесь – канонический параметр и интересующий параметр, а – мешающий параметр, который играет роль в дисперсии. Мы используем тождества Бартлетта , чтобы вывести общее выражение для функции дисперсии . Первый и второй результаты Бартлетта гарантируют, что при подходящих условиях (см. интегральное правило Лейбница ) для функции плотности, зависящей от , ${\displaystyle \theta }$ ${\displaystyle \phi }$ ${\displaystyle \theta ,f_{\theta }()}$

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}$

Эти тождества приводят к простым расчетам ожидаемого значения и дисперсии любой случайной величины в экспоненциальном семействе . ${\displaystyle {\textit {y}}}$ ${\displaystyle E_{\theta }[y],Var_{\theta }[y]}$

Ожидаемое значение Y : взяв первую производную по логарифму плотности в экспоненциальной форме семейства, описанной выше, мы имеем ${\displaystyle \theta }$

${\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}}$

Затем взятие ожидаемого значения и установка его равным нулю приводит к:

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0}$

${\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta )}$

Дисперсия Y: для вычисления дисперсии мы используем второе тождество Бартлетта:

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi }$

Теперь у нас есть связь между и , а именно ${\displaystyle \mu }$ ${\displaystyle \theta }$

${\displaystyle \mu =b'(\theta )}$и , что позволяет установить связь между и дисперсией, ${\displaystyle \theta =b'^{-1}(\mu )}$ ${\displaystyle \mu }$

${\displaystyle V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta }$

${\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}$

Обратите внимание, что поскольку , то обратимо. Мы выводим функцию дисперсии для нескольких распространенных распределений. ${\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0}$ ${\displaystyle b':\theta \rightarrow \mu }$

Пример – нормальный

Нормальное распределение — это частный случай, когда функция дисперсии является константой. Пусть тогда мы представим функцию плотности y в виде экспоненциального семейства, описанного выше: ${\displaystyle y\sim N(\mu ,\sigma ^{2})}$

${\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}$

где

${\displaystyle \theta =\mu ,}$

${\displaystyle b(\theta )={\frac {\mu ^{2}}{2}},}$

${\displaystyle \phi =\sigma ^{2},}$

${\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}$

Чтобы вычислить функцию дисперсии , мы сначала выражаем ее как функцию от . Затем преобразуем в функцию ${\displaystyle V(\mu )}$ ${\displaystyle \theta }$ ${\displaystyle \mu }$ ${\displaystyle V(\theta )}$ ${\displaystyle \mu }$

${\displaystyle \theta =\mu }$

${\displaystyle b'(\theta )=\theta =\operatorname {E} [y]=\mu }$

${\displaystyle V(\theta )=b''(\theta )=1}$

Следовательно, функция дисперсии постоянна.

Пример – Бернулли

Пусть , тогда мы выражаем плотность распределения Бернулли в экспоненциальной форме семейства: ${\displaystyle y\sim {\text{Bernoulli}}(p)}$

${\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)}$

${\displaystyle \theta =\ln {\frac {p}{1-p}}=}$ logit (p), что дает нам выход ${\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}$ ${\displaystyle (\theta )}$

${\displaystyle b(\theta )=\ln(1+e^{\theta })}$ и

${\displaystyle b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=}$ выход ${\displaystyle (\theta )=p=\mu }$

${\displaystyle b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}$

Это дает нам

${\displaystyle V(\mu )=\mu (1-\mu )}$

Пример – Пуассон

Пусть , тогда мы выражаем плотность распределения Пуассона в экспоненциальной форме семейства: ${\displaystyle y\sim {\text{Poisson}}(\lambda )}$

${\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}$

${\displaystyle \theta =\ln \lambda =}$что дает нам ${\displaystyle \lambda =e^{\theta }}$

${\displaystyle b(\theta )=e^{\theta }}$ и

${\displaystyle b'(\theta )=e^{\theta }=\lambda =\mu }$

${\displaystyle b''(\theta )=e^{\theta }=\mu }$

Это дает нам

${\displaystyle V(\mu )=\mu }$

Здесь мы видим главное свойство данных Пуассона: дисперсия равна среднему значению.

Пример — Гамма

Гамма -распределение и функция плотности могут быть выражены при различных параметризациях. Мы будем использовать форму гаммы с параметрами ${\displaystyle (\mu ,\nu )}$

${\displaystyle f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{-{\frac {\nu y}{\mu }}}}$

Тогда в экспоненциальной форме семейства мы имеем

${\displaystyle f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)}$

${\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}$

${\displaystyle \phi ={\frac {1}{\nu }}}$

${\displaystyle b(\theta )=-\ln(-\theta )}$

${\displaystyle b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }$

${\displaystyle b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}}$

И у нас есть ${\displaystyle V(\mu )=\mu ^{2}}$

Приложение – взвешенный метод наименьших квадратов

Очень важным применением функции дисперсии является ее использование при оценке параметров и выводе, когда переменная отклика имеет требуемую форму экспоненциального семейства, а также в некоторых случаях, когда это не так (что мы обсудим в разделе квазиправдоподобия ). Взвешенный метод наименьших квадратов (WLS) является частным случаем обобщенного метода наименьших квадратов. Каждый член критерия WLS включает вес, который определяет влияние каждого наблюдения на окончательные оценки параметров. Как и в обычном методе наименьших квадратов, цель состоит в том, чтобы оценить неизвестные параметры в функции регрессии путем нахождения значений для оценок параметров, которые минимизируют сумму квадратов отклонений между наблюдаемыми откликами и функциональной частью модели.

Хотя WLS предполагает независимость наблюдений, он не предполагает равную дисперсию и, следовательно, является решением для оценки параметров при наличии гетероскедастичности. Теорема Гаусса -Маркова и Эйткен демонстрируют, что лучшая линейная несмещенная оценка (СИНИЙ), несмещенная оценка с минимальной дисперсией, имеет каждый вес, равный обратной величине дисперсии измерения.

В рамках GLM наша цель — оценить параметры , где . Поэтому мы хотели бы минимизировать , и если мы определим весовую матрицу W как ${\displaystyle \beta }$ ${\displaystyle Z=g(E[y\mid X])=X\beta }$ ${\displaystyle (Z-XB)^{T}W(Z-XB)}$

${\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}$

где определены в предыдущем разделе, это позволяет итеративно перевзвешенную оценку параметров методом наименьших квадратов (IRLS). Дополнительную информацию и вывод см. в разделе об итеративном повторном взвешивании наименьших квадратов . ${\displaystyle \phi ,V(\mu ),g(\mu )}$

Также важно отметить, что когда весовая матрица имеет описанную здесь форму, минимизация выражения также минимизирует расстояние Пирсона. Дополнительную информацию см. в разделе Корреляция расстояний . ${\displaystyle (Z-XB)^{T}W(Z-XB)}$

Матрица W выпадает из оценочных уравнений для оценки . Оценка максимального правдоподобия для каждого параметра требует ${\displaystyle \beta }$ ${\displaystyle \beta _{r},1\leq r\leq p}$

${\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}$, где логарифмическое правдоподобие. ${\displaystyle \operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

Глядя на одно наблюдение, которое мы имеем,

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}$

${\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}$

${\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}}$

${\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}$

Это дает нам

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}$, и отмечая, что

${\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}$у нас есть это

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}}$

Матрица Гессе определяется аналогичным образом, и можно показать, что она равна:

${\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}$

Отмечая, что информация Фишера (FI),

${\displaystyle {\text{FI}}=-E[H]=X^{T}WX}$, позволяет провести асимптотическую аппроксимацию ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}$, и, следовательно, можно сделать вывод.

Применение – квазиправдоподобие

Поскольку большинство характеристик GLM зависят только от первых двух моментов распределения, а не от всего распределения, квазиправдоподобие можно получить, просто указав функцию связи и функцию дисперсии. То есть нам нужно указать

• функция ссылки, ${\displaystyle E[y]=\mu =g^{-1}(\eta )}$
• функция дисперсии, , где ${\displaystyle V(\mu )}$ ${\displaystyle \operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )}$

Имея заданную функцию дисперсии и функцию связи, мы можем разработать в качестве альтернативы логарифмической функции правдоподобия , функции оценки и информации Фишера квазиправдоподобие , квазиоценку и квазиинформацию . Это позволяет сделать полный вывод . ${\displaystyle \beta }$

Квазиправдоподобие (QL)

Хотя это и называется квазиправдоподобием , на самом деле это квазилогарифмическое правдоподобие . QL для одного наблюдения составляет

${\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}$

И поэтому QL для всех n наблюдений равен

${\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

Из QL мы получаем квазиоценку

Квази-оценка (QS)

Напомним, что функция оценки U для данных с логарифмическим правдоподобием равна ${\displaystyle \operatorname {l} (\mu \mid y)}$

${\displaystyle U={\frac {\partial l}{d\mu }}.}$

Аналогично получаем квазиоценку:

${\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Отмечая, что для одного наблюдения оценка равна

${\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Первые два уравнения Бартлетта удовлетворяются для квазипоказателя, а именно:

${\displaystyle E[U]=0}$

и

${\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}$

Кроме того, квазиоценка линейна по y .

В конечном итоге цель состоит в том, чтобы найти информацию об интересующих параметрах . И QS, и QL на самом деле являются функциями . Напомним, , и , следовательно, ${\displaystyle \beta }$ ${\displaystyle \beta }$ ${\displaystyle \mu =g^{-1}(\eta )}$ ${\displaystyle \eta =X\beta }$

${\displaystyle \mu =g^{-1}(X\beta ).}$

Квазиинформация (КИ)

Квазиинформация аналогична информации Фишера .

${\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}$

QL, QS, QI как функции ${\displaystyle \beta }$

QL, QS и QI являются строительными блоками для вывода об интересующих параметрах, и поэтому важно выражать QL, QS и QI как функции . ${\displaystyle \beta }$

Вспоминая еще раз, что , выведем выражения для QL, QS и QI, параметризованные при . ${\displaystyle \mu =g^{-1}(X\beta )}$ ${\displaystyle \beta }$

Квазиправдоподобие в , ${\displaystyle \beta }$

${\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

Таким образом, QS как функция ${\displaystyle \beta }$

${\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}$

${\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}$

Где,

${\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}$

Квазиинформационная матрица в том, ${\displaystyle \beta }$

${\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}$

Получение оценочной функции и информации о ней позволяет оценить параметры и сделать выводы аналогично тому, как описано в разделе «Применение» – взвешенные наименьшие квадраты. ${\displaystyle \beta }$

Непараметрический регрессионный анализ

Диаграмма разброса количества лет в высшей лиге в зависимости от зарплаты (x 1000 долларов США). Линия представляет собой тенденцию к среднему значению. График показывает, что дисперсия не является постоянной.

Сглаженная условная дисперсия относительно сглаженного условного среднего значения. Квадратичная форма указывает на гамма-распределение. Функция дисперсии гаммы равна V( ) = ${\displaystyle \mu }$ ${\displaystyle \mu ^{2}}$

Непараметрическая оценка функции дисперсии и ее важность широко обсуждались в литературе ^{[5] [6] [7]} В непараметрическом регрессионном анализе цель состоит в том, чтобы выразить ожидаемое значение вашей переменной ответа ( y ). как функция ваших предикторов ( X ). То есть мы хотим оценить среднюю функцию, не принимая параметрическую форму. Существует множество форм непараметрических методов сглаживания , помогающих оценить функцию . Интересный подход — рассмотреть также непараметрическую функцию дисперсии , . Непараметрическая функция дисперсии позволяет взглянуть на функцию среднего значения с точки зрения функции дисперсии и заметить закономерности в данных. ${\displaystyle g(x)=\operatorname {E} [y\mid X=x]}$ ${\displaystyle g(x)}$ ${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)}$

${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}$

Пример подробно показан на картинках справа. Цель проекта состояла в том, чтобы определить (среди прочего), повлиял ли предиктор, количество лет в высшей лиге (бейсбол), на реакцию, зарплату , которую зарабатывал игрок. Первоначальная диаграмма рассеяния данных показывает, что в данных существует гетероскедастичность, поскольку дисперсия не является постоянной на каждом уровне предиктора. Поскольку мы можем визуально обнаружить непостоянную дисперсию, теперь полезно построить график и посмотреть, указывает ли форма на какое-либо известное распределение. Оценить можно и с помощью общего метода сглаживания . График непараметрической сглаженной функции дисперсии может дать исследователю представление о взаимосвязи между дисперсией и средним значением. На рисунке справа показано квадратичное соотношение между средним значением и дисперсией. Как мы видели выше, функция дисперсии гаммы в среднем квадратична. ${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}$ ${\displaystyle \operatorname {E} [y^{2}\mid X=x]}$ ${\displaystyle \left[\operatorname {E} [y\mid X=x]\right]^{2}}$

Примечания

1. Мюллер и Чжао (1995). «О полупараметрической модели функции дисперсии и тесте на гетероскедастичность». Анналы статистики . 23 (3): 946–967. дои : 10.1214/aos/1176324630 . JSTOR  2242430.
2. Мюллер, Штадтмюллер и Яо (2006). «Процессы функциональной дисперсии». Журнал Американской статистической ассоциации . 101 (475): 1007–1018. дои : 10.1198/016214506000000186. JSTOR  27590778. S2CID  13712496.
3. Веддерберн, RWM (1974). «Функции квазиправдоподобия, обобщенные линейные модели и метод Гаусса – Ньютона». Биометрика . 61 (3): 439–447. дои : 10.1093/biomet/61.3.439. JSTOR  2334725.
4. МакКаллах, Питер; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Чепмен и Холл. ISBN 0-412-31760-5.
5. Мюллер и ШтадтМюллер (1987). «Оценка гетероскедастичности в регрессионном анализе». Анналы статистики . 15 (2): 610–625. дои : 10.1214/aos/1176350364 . JSTOR  2241329.
6. Цай и Ван, Т.; Ван, Ли (2008). «Адаптивная оценка функции дисперсии в гетероскедастической непараметрической регрессии». Анналы статистики . 36 (5): 2025–2054. arXiv : 0810.4780 . Бибкод : 2008arXiv0810.4780C. дои : 10.1214/07-AOS509. JSTOR  2546470. S2CID  9184727.
7. Райс и Сильверман (1991). «Непараметрическая оценка структуры среднего и ковариации, когда данные представляют собой кривые». Журнал Королевского статистического общества . 53 (1): 233–243. JSTOR  2345738.

Рекомендации

• МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Чепмен и Холл. ISBN 0-412-31760-5.
• Хенрик Мэдсен и Пол Тайрегод (2011). Введение в общие и обобщенные линейные модели . Чепмен и Холл/CRC. ISBN 978-1-4200-9155-7.

Внешние ссылки

• СМИ, связанные с функцией отклонения, на Викискладе?