Закон полной дисперсии

Теорема теории вероятностей

В теории вероятностей закон полной дисперсии ^[1] или формула разложения дисперсии или формулы условной дисперсии или закон итерированных дисперсий, также известный как закон Евы , ^[2] гласит, что если и являются случайными величинами на одном и том же вероятностном пространстве , а дисперсия конечна , то ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$

$${\displaystyle \operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$$

На языке, возможно, более известном статистикам, чем теоретикам вероятностей, эти два термина — «необъяснённые» и «объяснённые» компоненты дисперсии соответственно (ср. необъяснённая доля дисперсии , объясненная вариация ). В актуарной науке , в частности в теории достоверности , первый компонент называется ожидаемым значением дисперсии процесса ( EVPV ), а второй — дисперсией гипотетических средних ( VHM ). ^[3] Эти два компонента также являются источником термина «закон Евы», от инициалов EV VE для «ожидания дисперсии» и «дисперсии ожидания».

Объяснение

Чтобы понять формулу выше, нам нужно понять случайные величины и . Эти переменные зависят от значения : для заданного , и являются постоянными числами. По сути, мы используем возможные значения для группировки результатов, а затем вычисляем ожидаемые значения и дисперсии для каждой группы. ${\displaystyle \operatorname {E} [Y|X]}$ ${\displaystyle \operatorname {Var} (Y|X)}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} [Y|X=x]}$ ${\displaystyle \operatorname {Var} (Y|X=x)}$ ${\displaystyle X}$

Компонент "unexplained" - это просто среднее значение всех дисперсий в каждой группе. Компонент "explained" - это дисперсия ожидаемых значений, т.е. он представляет собой часть дисперсии, которая объясняется вариацией среднего значения для каждой группы. ${\displaystyle \operatorname {E} (\operatorname {Var} [Y|X])}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {Var} (\operatorname {E} [Y|X])}$ ${\displaystyle Y}$

Вес собак по породам

Для иллюстрации рассмотрим пример выставки собак (выбранный отрывок из Analysis_of_variance#Example ). Пусть случайная величина соответствует весу собаки и соответствует породе. В этой ситуации разумно ожидать, что порода объясняет большую часть дисперсии веса, поскольку существует большая дисперсия в средних весах пород. Конечно, все еще есть некоторая дисперсия веса для каждой породы, которая учитывается в термине «необъясненное». ${\displaystyle Y}$ ${\displaystyle X}$

Обратите внимание, что термин «объясненный» на самом деле означает «объясненный средними значениями». Если дисперсии для каждого фиксированного значения (например, для каждой породы в приведенном выше примере) очень различимы, эти дисперсии все равно объединяются в термин «необъясненный». ${\displaystyle X}$

Примеры

Пример 1

Пять аспирантов сдают экзамен, который оценивается по шкале от 0 до 100. Пусть обозначает оценку студента и указывает, является ли студент иностранным или отечественным. Данные суммируются следующим образом: ${\displaystyle Y}$ ${\displaystyle X}$

Среди иностранных студентов среднее значение равно , а дисперсия — . ${\displaystyle \operatorname {E} [Y|X={\text{International}}]=50}$ ${\displaystyle \operatorname {Var} (Y|X={\text{International}})={\frac {3800}{3}}=1266.{\overline {6}}}$

Среди отечественных студентов среднее значение равно , а дисперсия равна . ${\displaystyle \operatorname {E} [Y|X={\text{Domestic}}]=50}$ ${\displaystyle \operatorname {Var} (Y|X={\text{Domestic}})=100}$

Часть дисперсии "необъясненного" по является средним значением дисперсий для каждой группы. В этом случае это . Часть дисперсии "объясненного" по является дисперсией средних значений внутри каждой группы, определяемой значениями . В этом случае это ноль, поскольку среднее значение одинаково для каждой группы. Таким образом, общая дисперсия равна ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle \left({\frac {3}{5}}\right)\left({\frac {3800}{3}}\right)+\left({\frac {2}{5}}\right)(100)=800}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle \operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y|X)]+\operatorname {Var} (\operatorname {E} [Y|X])=800+0=800.}$

Пример 2

Предположим, что X — это подбрасывание монеты с вероятностью выпадения орла h . Предположим, что когда X = орел , то Y выбирается из нормального распределения со средним значением μ _h и стандартным отклонением σ _h , и что когда X = решка , то Y выбирается из нормального распределения со средним значением μ _t и стандартным отклонением σ _t . Тогда первый, «необъясненный» член в правой части приведенной выше формулы — это средневзвешенное значение дисперсий, hσ _h ² + (1 − h ) σ _t ² , а второй, «объясненный» член — это дисперсия распределения, которая дает μ _h с вероятностью h и дает μ _t с вероятностью 1 − h .

Формулировка

Существует общая формула разложения дисперсии для компонентов (см. ниже). ^[4] Например, с двумя обусловливающими случайными величинами: что следует из закона полной условной дисперсии: ^[4] ${\displaystyle c\geq 2}$ $${\displaystyle \operatorname {Var} [Y]=\operatorname {E} \left[\operatorname {Var} \left(Y\mid X_{1},X_{2}\right)\right]+\operatorname {E} [\operatorname {Var} (\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1})]+\operatorname {Var} (\operatorname {E} \left[Y\mid X_{1}\right]),}$$ $${\displaystyle \operatorname {Var} (Y\mid X_{1})=\operatorname {E} \left[\operatorname {Var} (Y\mid X_{1},X_{2})\mid X_{1}\right]+\operatorname {Var} \left(\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1}\right).}$$

Обратите внимание, что условное ожидаемое значение является случайной величиной сама по себе, значение которой зависит от значения Обратите внимание, что условное ожидаемое значение при данном событии является функцией (здесь становится важным соблюдение общепринятой и строго чувствительной к регистру нотации теории вероятностей!). Если мы запишем то случайная величина равна просто Аналогичные комментарии применимы к условной дисперсии . ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle X.}$ ${\displaystyle Y}$ ${\displaystyle X=x}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} (Y\mid X=x)=g(x)}$ ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle g(X).}$

Один особый случай (похожий на закон полного ожидания ) гласит, что если является разделом всего пространства результатов, то есть эти события являются взаимоисключающими и исчерпывающими, то ${\displaystyle A_{1},\ldots ,A_{n}}$ $${\displaystyle {\begin{aligned}\operatorname {Var} (X)={}&\sum _{i=1}^{n}\operatorname {Var} (X\mid A_{i})\Pr(A_{i})+\sum _{i=1}^{n}\operatorname {E} [X\mid A_{i}]^{2}(1-\Pr(A_{i}))\Pr(A_{i})\\[4pt]&{}-2\sum _{i=2}^{n}\sum _{j=1}^{i-1}\operatorname {E} [X\mid A_{i}]\Pr(A_{i})\operatorname {E} [X\mid A_{j}]\Pr(A_{j}).\end{aligned}}}$$

В этой формуле первый компонент — это математическое ожидание условной дисперсии; два других компонента — это дисперсия условного ожиданий.

Доказательство

Конечный случай

Пусть наблюдаются значения , с повторениями. ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ ${\displaystyle (X,Y)}$

Установите и для каждого возможного значения установите . ${\displaystyle {\bar {y}}=\operatorname {E} [Y]}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle {\bar {y}}_{x_{i}}=\operatorname {E} [Y|X=x_{i}]}$

Обратите внимание, что

${\displaystyle (y_{i}-{\bar {y}})^{2}=\left(y_{i}-{\bar {y}}_{x_{i}}+{\bar {y}}_{x_{i}}-{\bar {y}}\right)^{2}=(y_{i}-{\bar {y}}_{x_{i}})^{2}+({\bar {y}}_{x_{i}}-{\bar {y}})^{2}+2(y_{i}-{\bar {y}}_{x_{i}})({\bar {y}}_{x_{i}}-{\bar {y}}).}$

Суммируя их для , последняя посылка становится ${\displaystyle 1\leq i\leq n}$

${\displaystyle \sum _{i=1}^{n}2(y_{i}-{\bar {y}}_{x_{i}})({\bar {y}}_{x_{i}}-{\bar {y}})=2\sum _{x}\left(\sum _{\{1\leq i\leq n|x_{i}=x\}}(y_{i}-{\bar {y}}_{x})\right)({\bar {y}}_{x}-{\bar {y}})=2\sum _{x}0\cdot ({\bar {y}}_{x}-{\bar {y}})=0.}$

Следовательно,

${\displaystyle \operatorname {Var} (Y)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}}_{x_{i}})^{2}+{\frac {1}{n}}\sum _{i=1}^{n}({\bar {y}}_{x_{i}}-{\bar {y}})^{2}=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$

Общий случай

Закон полной дисперсии можно доказать, используя закон полного ожидания . ^[5] Во-первых, из определения дисперсии. Опять же, из определения дисперсии и применяя закон полного ожидания, мы имеем $${\displaystyle \operatorname {Var} (Y)=\operatorname {E} \left[Y^{2}\right]-\operatorname {E} [Y]^{2}}$$ $${\displaystyle \operatorname {E} \left[Y^{2}\right]=\operatorname {E} \left[\operatorname {E} [Y^{2}\mid X]\right]=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+\operatorname {E} [Y\mid X]^{2}\right].}$$

Теперь перепишем условный второй момент через его дисперсию и первый момент и применим закон полного математического ожидания к правой части: ${\displaystyle Y}$ $${\displaystyle \operatorname {E} \left[Y^{2}\right]-\operatorname {E} [Y]^{2}=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+\operatorname {E} [Y\mid X]^{2}\right]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}.}$$

Поскольку ожидание суммы является суммой ожиданий, то теперь члены можно перегруппировать: $${\displaystyle =\left(\operatorname {E} [\operatorname {Var} (Y\mid X)]\right)+\left(\operatorname {E} \left[\operatorname {E} [Y\mid X]^{2}\right]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}\right).}$$

Наконец, мы распознаем члены во втором наборе скобок как дисперсию условного ожидания : ${\displaystyle \operatorname {E} [Y\mid X]}$ $${\displaystyle =\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$$

Общая дисперсионная декомпозиция, применимая к динамическим системам

Следующая формула показывает, как применить общую формулу разложения дисперсии с теорией меры ^[4] к стохастическим динамическим системам. Пусть будет значением системной переменной в момент времени Предположим, что у нас есть внутренние истории ( естественные фильтрации ) , каждая из которых соответствует истории (траектории) различного набора системных переменных. Наборы не обязательно должны быть непересекающимися. Дисперсию можно разложить для всех моментов времени на компоненты следующим образом: ${\displaystyle Y(t)}$ ${\displaystyle t.}$ ${\displaystyle H_{1t},H_{2t},\ldots ,H_{c-1,t}}$ ${\displaystyle Y(t)}$ ${\displaystyle t,}$ ${\displaystyle c\geq 2}$ $${\displaystyle {\begin{aligned}\operatorname {Var} [Y(t)]={}&\operatorname {E} (\operatorname {Var} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{c-1,t}])\\[4pt]&{}+\sum _{j=2}^{c-1}\operatorname {E} (\operatorname {Var} [\operatorname {E} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{jt}]\mid H_{1t},H_{2t},\ldots ,H_{j-1,t}])\\[4pt]&{}+\operatorname {Var} (\operatorname {E} [Y(t)\mid H_{1t}]).\end{aligned}}}$$

Разложение не является единственным. Оно зависит от порядка обусловливания в последовательном разложении.

Квадрат корреляции и объясненная (или информационная) вариация

В случаях, когда таковы, что условное ожидаемое значение является линейным; то есть в случаях, когда из билинейности ковариации следует, что и и объясненный компонент дисперсии, деленный на общую дисперсию, есть просто квадрат корреляции между и то есть в таких случаях ${\displaystyle (Y,X)}$ $${\displaystyle \operatorname {E} (Y\mid X)=aX+b,}$$ $${\displaystyle a={\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}}$$ $${\displaystyle b=\operatorname {E} (Y)-{\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}\operatorname {E} (X)}$$ ${\displaystyle Y}$ ${\displaystyle X;}$ $${\displaystyle {\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (X,Y)^{2}.}$$

Одним из примеров такой ситуации является двумерное нормальное (гауссовское) распределение. ${\displaystyle (X,Y)}$

В более общем случае, когда условное ожидание является нелинейной функцией ^[4] , которую можно оценить как квадрат нелинейной регрессии на основе данных , полученных из совместного распределения Когда имеет гауссовское распределение (и является обратимой функцией ), или само имеет (предельное) гауссовское распределение, этот объясненный компонент вариации устанавливает нижнюю границу взаимной информации : ^[4] ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle X}$ $${\displaystyle \iota _{Y\mid X}={\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (\operatorname {E} (Y\mid X),Y)^{2},}$$ ${\displaystyle R}$ ${\displaystyle Y}$ ${\displaystyle X,}$ ${\displaystyle (X,Y).}$ ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle X}$ ${\displaystyle Y}$ $${\displaystyle \operatorname {I} (Y;X)\geq \ln \left([1-\iota _{Y\mid X}]^{-1/2}\right).}$$

Высшие моменты

Аналогичный закон для третьего центрального момента гласит: ${\displaystyle \mu _{3}}$ $${\displaystyle \mu _{3}(Y)=\operatorname {E} \left(\mu _{3}(Y\mid X)\right)+\mu _{3}(\operatorname {E} (Y\mid X))+3\operatorname {cov} (\operatorname {E} (Y\mid X),\operatorname {var} (Y\mid X)).}$$

Для более высоких кумулянтов существует обобщение. См. закон полной кумуляции .

Смотрите также

• Закон полной ковариации  – Формула теории вероятностей – обобщение
• Закон распространения ошибок  – Влияние неопределенностей переменных на неопределенность функции, основанной на нихPages displaying short descriptions of redirect targets

Ссылки

1. Нил А. Вайс, Курс теории вероятностей , Addison–Wesley, 2005, стр. 385–386.
2. Джозеф К. Блицштейн и Джессика Хван: «Введение в теорию вероятностей»
3. Малер, Ховард К.; Дин, Кертис Гэри (2001). "Глава 8: Достоверность" (PDF) . В Casualty Actuarial Society (ред.). Основы Casualty Actuarial Science (4-е изд.). Casualty Actuarial Society . стр. 525–526. ISBN 978-0-96247-622-8. Получено 25 июня 2015 г. .
4. Боушер, К. Г. и П. С. Суэйн, Определение источников вариации и потока информации в биохимических сетях, PNAS 15 мая 2012 г. 109 (20) E1320-E1328.
5. Нил А. Вайс, Курс теории вероятностей , Эддисон–Уэсли, 2005, страницы 380–383.

• Блицштейн, Джо. "Stat 110 Final Review (Закон Евы)" (PDF) . stat110.net . Гарвардский университет, Департамент статистики . Получено 9 июля 2014 г. .
• Биллингсли, Патрик (1995). Вероятность и мера . Нью-Йорк, Нью-Йорк: John Wiley & Sons, Inc. ISBN 0-471-00710-2.(Задача 34.10(б))