Функция дисперсии

Гладкая функция в статистике

В статистике функция дисперсии — это гладкая функция , которая отображает дисперсию случайной величины как функцию ее среднего значения . Функция дисперсии является мерой гетероскедастичности и играет большую роль во многих настройках статистического моделирования. Это основной ингредиент в структуре обобщенной линейной модели и инструмент, используемый в непараметрической регрессии ^[1] , полупараметрической регрессии ^[1] и функциональном анализе данных . ^[2] В параметрическом моделировании функции дисперсии принимают параметрическую форму и явно описывают связь между дисперсией и средним значением случайной величины. В непараметрической настройке функция дисперсии считается гладкой функцией .

Интуиция

В настройке регрессионной модели цель состоит в том, чтобы установить, существует ли связь между переменной отклика и набором переменных-предикторов. Кроме того, если связь существует, цель состоит в том, чтобы иметь возможность описать эту связь как можно лучше. Основным предположением в линейной регрессии является постоянная дисперсия или (гомоскедастичность), что означает, что разные переменные отклика имеют одинаковую дисперсию своих ошибок на каждом уровне предиктора. Это предположение хорошо работает, когда переменная отклика и переменная-предиктор совместно нормальны . Как мы увидим позже, функция дисперсии в нормальной настройке постоянна; однако мы должны найти способ количественно оценить гетероскедастичность (непостоянную дисперсию) при отсутствии совместной нормальности.

Когда есть вероятность, что отклик следует распределению, которое является членом экспоненциального семейства, обобщенная линейная модель может быть более подходящей для использования, и, более того, когда мы не хотим навязывать параметрическую модель нашим данным, непараметрический регрессионный подход может быть полезным. Важность возможности моделировать дисперсию как функцию среднего заключается в улучшенном выводе (в параметрической настройке) и оценке функции регрессии в целом для любой настройки.

Функции дисперсии играют очень важную роль в оценке параметров и выводе. В общем, оценка максимального правдоподобия требует определения функции правдоподобия. Это требование затем подразумевает, что сначала необходимо указать распределение наблюдаемых переменных отклика. Однако, чтобы определить квазиправдоподобие, нужно только указать связь между средним значением и дисперсией наблюдений, чтобы затем иметь возможность использовать функцию квазиправдоподобия для оценки. ^{[3] Оценка} квазиправдоподобия особенно полезна, когда есть избыточная дисперсия . Избыточная дисперсия возникает, когда в данных больше изменчивости, чем следовало бы ожидать в соответствии с предполагаемым распределением данных.

Подводя итог, можно сказать, что для обеспечения эффективного вывода параметров регрессии и функции регрессии необходимо учитывать гетероскедастичность. Функции дисперсии количественно определяют связь между дисперсией и средним значением наблюдаемых данных и, следовательно, играют важную роль в оценке и выводе регрессии.

Типы

Функция дисперсии и ее приложения встречаются во многих областях статистического анализа. Очень важное применение этой функции — в рамках обобщенных линейных моделей и непараметрической регрессии .

Обобщенная линейная модель

Когда указан член экспоненциального семейства , функция дисперсии может быть легко выведена. ^{[4] : 29} Общая форма функции дисперсии представлена ​​в контексте экспоненциального семейства, а также конкретные формы для нормального, бернуллиевского, пуассоновского и гамма-распределения. Кроме того, мы описываем приложения и использование функций дисперсии в оценке максимального правдоподобия и оценке квазиправдоподобия.

Вывод

Обобщенная линейная модель (GLM) — это обобщение обычного регрессионного анализа, которое распространяется на любого члена экспоненциального семейства . Это особенно полезно, когда переменная отклика является категориальной, бинарной или подчиняется ограничению (например, только положительные ответы имеют смысл). Краткое изложение компонентов GLM приведено на этой странице, но для получения более подробной информации см. страницу об обобщенных линейных моделях .

GLM состоит из трех основных ингредиентов :

1. Случайная компонента: распределение y из экспоненциального семейства, ${\displaystyle E[y\mid X]=\mu }$

2. Линейный предиктор: ${\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}$

3. Функция связи: ${\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta )}$

Сначала важно вывести несколько ключевых свойств экспоненциального семейства.

Любая случайная величина в экспоненциальном семействе имеет функцию плотности вероятности вида: ${\displaystyle {\textit {y}}}$

${\displaystyle f(y,\theta ,\phi )=\exp \left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)}$

с логарифмической вероятностью,

${\displaystyle \ell (\theta ,y,\phi )=\log(f(y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

Здесь — канонический параметр и интересующий параметр, а — мешающий параметр, который играет роль в дисперсии. Мы используем тождества Бартлетта , чтобы вывести общее выражение для функции дисперсии . Первый и второй результаты Бартлетта гарантируют, что при подходящих условиях (см. интегральное правило Лейбница ), для функции плотности, зависящей от , ${\displaystyle \theta }$ ${\displaystyle \phi }$ ${\displaystyle \theta ,f_{\theta }()}$

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}$

Эти тождества приводят к простым вычислениям ожидаемого значения и дисперсии любой случайной величины в экспоненциальном семействе . ${\displaystyle {\textit {y}}}$ ${\displaystyle E_{\theta }[y],Var_{\theta }[y]}$

Ожидаемое значение Y : Взяв первую производную по логарифму плотности в форме экспоненциального семейства, описанной выше, имеем ${\displaystyle \theta }$

${\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}}$

Тогда, взяв ожидаемое значение и приравняв его к нулю, получаем,

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0}$

${\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta )}$

Дисперсия Y: Для вычисления дисперсии мы используем второе тождество Бартлетта,

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi }$

Теперь у нас есть связь между и , а именно ${\displaystyle \mu }$ ${\displaystyle \theta }$

${\displaystyle \mu =b'(\theta )}$и , что позволяет установить связь между и дисперсией, ${\displaystyle \theta =b'^{-1}(\mu )}$ ${\displaystyle \mu }$

${\displaystyle V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta }$

${\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}$

Обратите внимание, что поскольку , то обратимо. Мы выводим функцию дисперсии для нескольких распространенных распределений. ${\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0}$ ${\displaystyle b':\theta \rightarrow \mu }$

Пример – нормальный

Нормальное распределение является частным случаем, где функция дисперсии является константой. Пусть тогда мы представим функцию плотности y в виде экспоненциального семейства, описанного выше: ${\displaystyle y\sim N(\mu ,\sigma ^{2})}$

${\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}$

где

${\displaystyle \theta =\mu ,}$

${\displaystyle b(\theta )={\frac {\mu ^{2}}{2}},}$

${\displaystyle \phi =\sigma ^{2},}$

${\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}$

Для вычисления функции дисперсии сначала выразим как функцию от . Затем преобразуем в функцию от ${\displaystyle V(\mu )}$ ${\displaystyle \theta }$ ${\displaystyle \mu }$ ${\displaystyle V(\theta )}$ ${\displaystyle \mu }$

${\displaystyle \theta =\mu }$

${\displaystyle b'(\theta )=\theta =\operatorname {E} [y]=\mu }$

${\displaystyle V(\theta )=b''(\theta )=1}$

Следовательно, функция дисперсии постоянна.

Пример – Бернулли

Пусть , тогда выразим плотность распределения Бернулли в форме экспоненциального семейства, ${\displaystyle y\sim {\text{Bernoulli}}(p)}$

${\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)}$

${\displaystyle \theta =\ln {\frac {p}{1-p}}=}$ логит (p), что дает нам expit ${\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}$ ${\displaystyle (\theta )}$

${\displaystyle b(\theta )=\ln(1+e^{\theta })}$ и

${\displaystyle b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=}$ эксп ${\displaystyle (\theta )=p=\mu }$

${\displaystyle b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}$

Это дает нам

${\displaystyle V(\mu )=\mu (1-\mu )}$

Пример – Пуассон

Пусть , тогда выразим плотность распределения Пуассона в форме экспоненциального семейства, ${\displaystyle y\sim {\text{Poisson}}(\lambda )}$

${\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}$

${\displaystyle \theta =\ln \lambda =}$что дает нам ${\displaystyle \lambda =e^{\theta }}$

${\displaystyle b(\theta )=e^{\theta }}$ и

${\displaystyle b'(\theta )=e^{\theta }=\lambda =\mu }$

${\displaystyle b''(\theta )=e^{\theta }=\mu }$

Это дает нам

${\displaystyle V(\mu )=\mu }$

Здесь мы видим центральное свойство данных Пуассона: дисперсия равна среднему значению.

Пример – Гамма

Гамма -распределение и функция плотности могут быть выражены при различных параметризациях. Мы будем использовать форму гаммы с параметрами ${\displaystyle (\mu ,\nu )}$

${\displaystyle f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{-{\frac {\nu y}{\mu }}}}$

Тогда в экспоненциальной форме семейства мы имеем

${\displaystyle f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)}$

${\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}$

${\displaystyle \phi ={\frac {1}{\nu }}}$

${\displaystyle b(\theta )=-\ln(-\theta )}$

${\displaystyle b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }$

${\displaystyle b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}}$

И у нас есть ${\displaystyle V(\mu )=\mu ^{2}}$

Применение – взвешенный метод наименьших квадратов

Очень важным применением функции дисперсии является ее использование в оценке параметров и выводе, когда переменная отклика имеет требуемую форму экспоненциального семейства, а также в некоторых случаях, когда это не так (что мы обсудим в разделе « Квазиправдоподобие »). Взвешенные наименьшие квадраты (WLS) являются частным случаем обобщенных наименьших квадратов. Каждый член в критерии WLS включает вес, который определяет влияние каждого наблюдения на окончательные оценки параметров. Как и в обычном методе наименьших квадратов, цель состоит в том, чтобы оценить неизвестные параметры в функции регрессии путем нахождения значений для оценок параметров, которые минимизируют сумму квадратов отклонений между наблюдаемыми откликами и функциональной частью модели.

Хотя WLS предполагает независимость наблюдений, он не предполагает равную дисперсию и, следовательно, является решением для оценки параметров при наличии гетероскедастичности. Теорема Гаусса–Маркова и Эйткен показывают, что наилучшая линейная несмещенная оценка (BLUE), несмещенная оценка с минимальной дисперсией, имеет каждый вес, равный обратной величине дисперсии измерения.

В рамках GLM наша цель — оценить параметры , где . Поэтому мы хотели бы минимизировать и если мы определим весовую матрицу W как ${\displaystyle \beta }$ ${\displaystyle Z=g(E[y\mid X])=X\beta }$ ${\displaystyle (Z-XB)^{T}W(Z-XB)}$

${\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}$

где определены в предыдущем разделе, он позволяет проводить оценку параметров методом наименьших квадратов с итеративным повторным взвешиванием (IRLS). См. раздел об наименьших квадратах с итеративным повторным взвешиванием для получения дополнительной информации и вывода. ${\displaystyle \phi ,V(\mu ),g(\mu )}$

Также важно отметить, что когда матрица весов имеет форму, описанную здесь, минимизация выражения также минимизирует расстояние Пирсона. Подробнее см. Корреляция расстояний . ${\displaystyle (Z-XB)^{T}W(Z-XB)}$

Матрица W выпадает прямо из оценочных уравнений для оценки . Оценка максимального правдоподобия для каждого параметра требует ${\displaystyle \beta }$ ${\displaystyle \beta _{r},1\leq r\leq p}$

${\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}$, где — логарифм правдоподобия. ${\displaystyle \operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

Рассматривая одно наблюдение, которое мы имеем,

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}$

${\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}$

${\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}}$

${\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}$

Это дает нам

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}$, и отметив, что

${\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}$у нас есть это

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}}$

Матрица Гессе определяется аналогичным образом и может быть показана как:

${\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}$

Отмечая, что Fisher Information (FI),

${\displaystyle {\text{FI}}=-E[H]=X^{T}WX}$, допускает асимптотическую аппроксимацию ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}$, и, следовательно, можно сделать вывод.

Применение – квазивероятность

Поскольку большинство характеристик GLM зависят только от первых двух моментов распределения, а не от всего распределения, квазиправдоподобие можно развить, просто указав функцию связи и функцию дисперсии. То есть, нам нужно указать

• функция связи, ${\displaystyle E[y]=\mu =g^{-1}(\eta )}$
• функция дисперсии, , где ${\displaystyle V(\mu )}$ ${\displaystyle \operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )}$

С указанной функцией дисперсии и функцией связи мы можем разработать, как альтернативы функции логарифмического правдоподобия , функции оценки и информации Фишера , квазиправдоподобие , квазиоценку и квазиинформацию . Это позволяет сделать полный вывод о . ${\displaystyle \beta }$

Квазиправдоподобие (QL)

Хотя это называется квази-правдоподобием , на самом деле это квази- логарифмическое правдоподобие. QL для одного наблюдения

${\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}$

И поэтому QL для всех n наблюдений равен

${\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

Из QL мы имеем квазиоценку

Квази-оценка (QS)

Напомним , что функция оценки U для данных с логарифмическим правдоподобием имеет вид ${\displaystyle \operatorname {l} (\mu \mid y)}$

${\displaystyle U={\frac {\partial l}{d\mu }}.}$

Аналогичным образом получаем квазисчет,

${\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Отмечая, что для одного наблюдения оценка составляет

${\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Первые два уравнения Бартлетта удовлетворяются для квазисчета, а именно:

${\displaystyle E[U]=0}$

и

${\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}$

Кроме того, квазиоценка линейна по y .

В конечном итоге цель состоит в том, чтобы найти информацию об интересующих параметрах . И QS, и QL на самом деле являются функциями . Напомним, , и , следовательно, ${\displaystyle \beta }$ ${\displaystyle \beta }$ ${\displaystyle \mu =g^{-1}(\eta )}$ ${\displaystyle \eta =X\beta }$

${\displaystyle \mu =g^{-1}(X\beta ).}$

Квазиинформация (КИ)

Квазиинформация похожа на информацию Фишера ,

${\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}$

QL, QS, QI как функции ${\displaystyle \beta }$

QL, QS и QI предоставляют строительные блоки для вывода об интересующих параметрах, и поэтому важно выразить QL, QS и QI как функции . ${\displaystyle \beta }$

Вновь вспоминая, что , выводим выражения для QL, QS и QI, параметризованные относительно . ${\displaystyle \mu =g^{-1}(X\beta )}$ ${\displaystyle \beta }$

Квази-правдоподобие в , ${\displaystyle \beta }$

${\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

Следовательно, QS как функция равна ${\displaystyle \beta }$

${\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}$

${\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}$

Где,

${\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}$

Квазиинформационная матрица имеет вид : ${\displaystyle \beta }$

${\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}$

Получение функции оценки и информации позволяет проводить оценку параметров и делать выводы аналогично тому, как описано в разделе «Применение – взвешенные наименьшие квадраты». ${\displaystyle \beta }$

Непараметрический регрессионный анализ

Диаграмма рассеивания лет в высшей лиге против зарплаты (x$1000). Линия — это тренд в среднем. График показывает, что дисперсия не является постоянной.

Сглаженная условная дисперсия против сглаженной условной средней. Квадратичная форма указывает на гамма-распределение. Функция дисперсии гаммы — V( ) = ${\displaystyle \mu }$ ${\displaystyle \mu ^{2}}$

Непараметрическая оценка функции дисперсии и ее важность широко обсуждались в литературе ^{[5] [6] [7]} В непараметрическом регрессионном анализе цель состоит в том, чтобы выразить ожидаемое значение вашей переменной отклика ( y ) как функцию ваших предикторов ( X ). То есть мы пытаемся оценить среднюю функцию, не предполагая параметрическую форму. Существует много форм непараметрических методов сглаживания , которые помогают оценить функцию . Интересный подход заключается в том, чтобы также рассмотреть непараметрическую функцию дисперсии , . Непараметрическая функция дисперсии позволяет рассмотреть среднюю функцию, поскольку она связана с функцией дисперсии, и заметить закономерности в данных. ${\displaystyle g(x)=\operatorname {E} [y\mid X=x]}$ ${\displaystyle g(x)}$ ${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)}$

${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}$

Пример подробно представлен на рисунках справа. Целью проекта было определить (помимо прочего), повлиял ли предиктор, количество лет в высшей лиге (бейсбол), на отклик, зарплату , сделанную игроком. Первоначальный график рассеяния данных показывает, что в данных присутствует гетероскедастичность, поскольку дисперсия не является постоянной на каждом уровне предиктора. Поскольку мы можем визуально обнаружить непостоянную дисперсию, теперь полезно построить график и посмотреть, указывает ли форма на какое-либо известное распределение. Можно оценить и с помощью общего метода сглаживания . График непараметрической сглаженной функции дисперсии может дать исследователю представление о связи между дисперсией и средним значением. Рисунок справа показывает квадратичную связь между средним значением и дисперсией. Как мы видели выше, функция гамма-дисперсии является квадратичной по среднему значению. ${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}$ ${\displaystyle \operatorname {E} [y^{2}\mid X=x]}$ ${\displaystyle \left[\operatorname {E} [y\mid X=x]\right]^{2}}$

Примечания

1. Muller и Zhao (1995). «О полупараметрической модели дисперсионной функции и тесте на гетероскедастичность». Анналы статистики . 23 (3): 946–967. doi : 10.1214/aos/1176324630 . JSTOR  2242430.
2. Мюллер, Штадтмюллер и Яо (2006). «Процессы функциональной дисперсии». Журнал Американской статистической ассоциации . 101 (475): 1007–1018. doi :10.1198/016214506000000186. JSTOR  27590778. S2CID  13712496.
3. Wedderburn, RWM (1974). «Функции квазиправдоподобия, обобщенные линейные модели и метод Гаусса–Ньютона». Biometrika . 61 (3): 439–447. doi :10.1093/biomet/61.3.439. JSTOR  2334725.
4. МакКаллах, Питер; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Chapman and Hall. ISBN 0-412-31760-5.
5. Мюллер и ШтадтМюллер (1987). «Оценка гетероскедастичности в регрессионном анализе». Анналы статистики . 15 (2): 610–625. doi : 10.1214/aos/1176350364 . JSTOR  2241329.
6. Cai и Wang, T.; Wang, Lie (2008). «Адаптивная оценка функции дисперсии в гетероскедастической непараметрической регрессии». Анналы статистики . 36 (5): 2025–2054. arXiv : 0810.4780 . Bibcode : 2008arXiv0810.4780C. doi : 10.1214/07-AOS509. JSTOR  2546470. S2CID  9184727.
7. Райс и Сильверман (1991). «Непараметрическая оценка структуры среднего и ковариации, когда данные представляют собой кривые». Журнал Королевского статистического общества . 53 (1): 233–243. JSTOR  2345738.

Ссылки

• МакКаллах, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Chapman and Hall. ISBN 0-412-31760-5.
• Хенрик Мэдсен и Пол Тирегод (2011). Введение в общие и обобщенные линейные модели . Chapman & Hall/CRC. ISBN 978-1-4200-9155-7.

Внешние ссылки

• Медиафайлы по теме Функция дисперсии на Wikimedia Commons