Условное ожидание

Ожидаемое значение случайной величины при условии, что известны определенные условия

В теории вероятностей условное ожидание , условное ожидаемое значение или условное среднее случайной величины — это ее ожидаемое значение, оцененное относительно условного распределения вероятностей . Если случайная величина может принимать только конечное число значений, «условия» заключаются в том, что переменная может принимать только подмножество этих значений. Более формально, в случае, когда случайная величина определена в дискретном вероятностном пространстве , «условия» являются разбиением этого вероятностного пространства.

В зависимости от контекста, условное ожидание может быть как случайной величиной, так и функцией. Случайная величина обозначается аналогично условной вероятности . Форма функции обозначается либо , либо вводится отдельный символ функции, такой как со значением . ${\displaystyle E(X\mid Y)}$ ${\displaystyle E(X\mid Y=y)}$ ${\displaystyle f(y)}$ ${\displaystyle E(X\mid Y)=f(Y)}$

Примеры

Пример 1: Бросание игральных костей

Рассмотрим бросок честной кости и пусть A = 1, если число четное (т. е. 2, 4 или 6), и A = 0 в противном случае. Кроме того, пусть B = 1, если число простое (т. е. 2, 3 или 5), и B = 0 в противном случае.

Безусловное ожидание A равно , но ожидание A, обусловленное B = 1 (т. е. обусловленное выпадением кубика 2, 3 или 5), равно , а ожидание A, обусловленное B = 0 (т. е. обусловленное выпадением кубика 1, 4 или 6), равно . Аналогично, ожидание B, обусловленное A = 1, равно , а ожидание B, обусловленное A = 0, равно . ${\displaystyle E[A]=(0+1+0+1+0+1)/6=1/2}$ ${\displaystyle E[A\mid B=1]=(1+0+0)/3=1/3}$ ${\displaystyle E[A\mid B=0]=(0+1+1)/3=2/3}$ ${\displaystyle E[B\mid A=1]=(1+0+0)/3=1/3}$ ${\displaystyle E[B\mid A=0]=(0+1+1)/3=2/3}$

Пример 2: Данные об осадках

Предположим, у нас есть данные о ежедневных осадках (мм осадков в день), собранные метеостанцией за каждый день десятилетнего (3652-дневного) периода с 1 января 1990 года по 31 декабря 1999 года. Безусловное ожидание осадков для неопределенного дня — это среднее значение количества осадков за эти 3652 дня. Условное ожидание осадков для иного неопределенного дня, который, как известно, находится (при условии, что находится) в месяце марте, — это среднее значение суточного количества осадков за все 310 дней десятилетнего периода, которые приходятся на март. А условное ожидание осадков, обусловленное днями, датированными 2 марта, — это среднее значение количества осадков, выпавших за десять дней с этой конкретной датой.

История

Связанная с этим концепция условной вероятности восходит как минимум к Лапласу , который вычислял условные распределения. Именно Андрей Колмогоров в 1933 году формализовал ее с помощью теоремы Радона–Никодима . ^[1] В работах Пола Халмоша ^[2] и Джозефа Л. Дуба ^[3] с 1953 года условное ожидание было обобщено до его современного определения с использованием под-σ-алгебр . ^[4]

Определения

Обусловливание события

Если A — событие с ненулевой вероятностью, а X — дискретная случайная величина , то условное ожидание X при условии A равно ${\displaystyle {\mathcal {F}}}$

${\displaystyle {\begin{aligned}\operatorname {E} (X\mid A)&=\sum _{x}xP(X=x\mid A)\\&=\sum _{x}x{\frac {P(\{X=x\}\cap A)}{P(A)}}\end{aligned}}}$

где сумма берется по всем возможным результатам X.

Если , то условное математическое ожидание не определено из-за деления на ноль. ${\displaystyle P(A)=0}$

Дискретные случайные величины

Если X и Y — дискретные случайные величины , то условное ожидание X при условии Y равно

${\displaystyle {\begin{aligned}\operatorname {E} (X\mid Y=y)&=\sum _{x}xP(X=x\mid Y=y)\\&=\sum _{x}x{\frac {P(X=x,Y=y)}{P(Y=y)}}\end{aligned}}}$

где — совместная функция вероятностной массы X и Y. Сумма берется по всем возможным исходам X. ${\displaystyle P(X=x,Y=y)}$

Заметим, что, как и выше, выражение не определено, если . ${\displaystyle P(Y=y)=0}$

Обусловливание дискретной случайной величины такое же, как и обусловливание соответствующего события:

${\displaystyle \operatorname {E} (X\mid Y=y)=\operatorname {E} (X\mid A)}$

где A — множество . ${\displaystyle \{Y=y\}}$

Непрерывные случайные величины

Пусть и — непрерывные случайные величины с совместной плотностью и условной плотностью для данного события. Условное ожидание для данного события равно ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f_{X,Y}(x,y),}$ ${\displaystyle Y}$ ${\displaystyle f_{Y}(y),}$ ${\displaystyle \textstyle f_{X|Y}(x|y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$ ${\displaystyle X}$ ${\displaystyle Y=y.}$ ${\displaystyle X}$ ${\displaystyle Y=y}$

${\displaystyle {\begin{aligned}\operatorname {E} (X\mid Y=y)&=\int _{-\infty }^{\infty }xf_{X|Y}(x\mid y)\,\mathrm {d} x\\&={\frac {1}{f_{Y}(y)}}\int _{-\infty }^{\infty }xf_{X,Y}(x,y)\,\mathrm {d} x.\end{aligned}}}$

Если знаменатель равен нулю, выражение не определено.

Обусловливание непрерывной случайной величины — это не то же самое, что обусловливание события , как это было в дискретном случае. Для обсуждения см. Обусловливание события с нулевой вероятностью . Несоблюдение этого различия может привести к противоречивым выводам, как показано парадоксом Бореля-Колмогорова . ${\displaystyle \{Y=y\}}$

Л2случайные величины

Все случайные величины в этом разделе предполагаются , то есть квадратично интегрируемыми . В своей полной общности условное ожидание разрабатывается без этого предположения, см. ниже в разделе Условное ожидание относительно под-σ-алгебры. Однако теория считается более интуитивной ^[5] и допускает важные обобщения. В контексте случайных величин условное ожидание также называется регрессией . ${\displaystyle L^{2}}$ ${\displaystyle L^{2}}$ ${\displaystyle L^{2}}$

В дальнейшем пусть будет вероятностным пространством, а в со средним и дисперсией . Ожидание минимизирует среднеквадратичную ошибку : ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle X:\Omega \to \mathbb {R} }$ ${\displaystyle L^{2}}$ ${\displaystyle \mu _{X}}$ ${\displaystyle \sigma _{X}^{2}}$ ${\displaystyle \mu _{X}}$

${\displaystyle \min _{x\in \mathbb {R} }\operatorname {E} \left((X-x)^{2}\right)=\operatorname {E} \left((X-\mu _{X})^{2}\right)=\sigma _{X}^{2}}$.

Условное ожидание X определяется аналогично, за исключением того , что вместо одного числа результатом будет функция . Пусть будет случайным вектором . Условное ожидание — это измеримая функция, такая что ${\displaystyle \mu _{X}}$ ${\displaystyle e_{X}(y)}$ ${\displaystyle Y:\Omega \to \mathbb {R} ^{n}}$ ${\displaystyle e_{X}:\mathbb {R} ^{n}\to \mathbb {R} }$

${\displaystyle \min _{g{\text{ measurable }}}\operatorname {E} \left((X-g(Y))^{2}\right)=\operatorname {E} \left((X-e_{X}(Y))^{2}\right)}$.

Обратите внимание, что в отличие от , условное ожидание , как правило, не является уникальным: может быть несколько минимизаторов среднеквадратической ошибки. ${\displaystyle \mu _{X}}$ ${\displaystyle e_{X}}$

Уникальность

Пример 1 : Рассмотрим случай, когда Y — постоянная случайная величина, которая всегда равна 1. Тогда среднеквадратическая ошибка минимизируется любой функцией вида

${\displaystyle e_{X}(y)={\begin{cases}\mu _{X}&{\text{ if }}y=1\\{\text{any number}}&{\text{ otherwise}}\end{cases}}}$

Пример 2 : Рассмотрим случай, когда Y — двумерный случайный вектор . Тогда ясно, что ${\displaystyle (X,2X)}$

${\displaystyle \operatorname {E} (X\mid Y)=X}$

но в терминах функций это может быть выражено как или или бесконечно многими другими способами. В контексте линейной регрессии это отсутствие уникальности называется мультиколлинеарностью . ${\displaystyle e_{X}(y_{1},y_{2})=3y_{1}-y_{2}}$ ${\displaystyle e'_{X}(y_{1},y_{2})=y_{2}-y_{1}}$

Условное ожидание уникально вплоть до набора меры ноль в . Используемая мера — это проталкиваемая мера, индуцированная Y . ${\displaystyle \mathbb {R} ^{n}}$

В первом примере мера прямого продвижения представляет собой распределение Дирака с шагом 1. Во втором примере она сосредоточена на «диагонали» , так что любое множество, не пересекающее ее, имеет меру 0. ${\displaystyle \{y:y_{2}=2y_{1}\}}$

Существование

Существование минимизатора для нетривиально. Можно показать, что ${\displaystyle \min _{g}\operatorname {E} \left((X-g(Y))^{2}\right)}$

${\displaystyle M:=\{g(Y):g{\text{ is measurable and }}\operatorname {E} (g(Y)^{2})<\infty \}=L^{2}(\Omega ,\sigma (Y))}$

является замкнутым подпространством гильбертова пространства . ^[6] По теореме о проекции Гильберта , необходимым и достаточным условием для того, чтобы быть минимизатором, является то, что для всех в M мы имеем ${\displaystyle L^{2}(\Omega )}$ ${\displaystyle e_{X}}$ ${\displaystyle f(Y)}$

${\displaystyle \langle X-e_{X}(Y),f(Y)\rangle =0}$.

На словах это уравнение говорит, что остаток ортогонален пространству M всех функций Y. Это условие ортогональности, примененное к индикаторным функциям , используется ниже для расширения условного ожидания на случай, когда X и Y не обязательно находятся в . ${\displaystyle X-e_{X}(Y)}$ ${\displaystyle f(Y)=1_{Y\in H}}$ ${\displaystyle L^{2}}$

Связь с регрессией

Условное ожидание часто аппроксимируется в прикладной математике и статистике из-за трудностей его аналитического расчета, а также для интерполяции. ^[7]

Подпространство Гильберта

${\displaystyle M=\{g(Y):\operatorname {E} (g(Y)^{2})<\infty \}}$

Определенный выше, заменяется его подмножествами, ограничивая функциональную форму g , вместо того, чтобы допускать любую измеримую функцию. Примерами этого являются регрессия дерева решений , когда g должна быть простой функцией , линейная регрессия , когда g должна быть аффинной и т. д.

Эти обобщения условного ожидания достигаются ценой того, что многие его свойства больше не выполняются. Например, пусть M будет пространством всех линейных функций Y и пусть обозначает это обобщенное условное ожидание/ проекцию. Если не содержит константных функций , свойство башни не будет выполняться. ${\displaystyle {\mathcal {E}}_{M}}$ ${\displaystyle L^{2}}$ ${\displaystyle M}$ ${\displaystyle \operatorname {E} ({\mathcal {E}}_{M}(X))=\operatorname {E} (X)}$

Важный частный случай — когда X и Y распределены совместно нормально. В этом случае можно показать, что условное ожидание эквивалентно линейной регрессии:

${\displaystyle e_{X}(Y)=\alpha _{0}+\sum _{i}\alpha _{i}Y_{i}}$

для коэффициентов, описанных в разделе Многомерное нормальное распределение#Условные распределения . ${\displaystyle \{\alpha _{i}\}_{i=0..n}}$

Условное ожидание относительно под-σ-алгебры

Условное ожидание относительно σ-алгебры: в этом примере вероятностное пространство — это интервал [0,1] с мерой Лебега . Определим следующие σ-алгебры: ; — σ-алгебра, порожденная интервалами с конечными точками 0, 1 ⁄ 4 , 1 ⁄ 2 , 3 ⁄ 4 , 1; и — σ-алгебра, порожденная интервалами с конечными точками 0, 1 ⁄ 2 , 1. Здесь условное ожидание фактически является средним по минимальным множествам σ-алгебры. ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle {\mathcal {A}}={\mathcal {F}}}$ ${\displaystyle {\mathcal {B}}}$ ${\displaystyle {\mathcal {C}}}$

Примите во внимание следующее:

• ${\displaystyle (\Omega ,{\mathcal {F}},P)}$является вероятностным пространством .
• ${\displaystyle X\colon \Omega \to \mathbb {R} ^{n}}$является случайной величиной в этом вероятностном пространстве с конечным математическим ожиданием.
• ${\displaystyle {\mathcal {H}}\subseteq {\mathcal {F}}}$является под -σ- алгеброй . ${\displaystyle {\mathcal {F}}}$

Так как является подалгеброй , то функция обычно не является измеримой, поэтому существование интегралов вида , где и является ограничением на , не может быть установлено в общем случае. Однако локальные средние могут быть восстановлены в с помощью условного ожидания. ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle X\colon \Omega \to \mathbb {R} ^{n}}$ ${\displaystyle {\mathcal {H}}}$ ${\textstyle \int _{H}X\,dP|_{\mathcal {H}}}$ ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle P|_{\mathcal {H}}}$ ${\displaystyle P}$ ${\displaystyle {\mathcal {H}}}$ ${\textstyle \int _{H}X\,dP}$ ${\displaystyle (\Omega ,{\mathcal {H}},P|_{\mathcal {H}})}$

Условное ожидание X при заданном значении , обозначаемое как , представляет собой любую измеримую функцию , которая удовлетворяет: ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \Omega \to \mathbb {R} ^{n}}$

${\displaystyle \int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P=\int _{H}X\,\mathrm {d} P}$

для каждого . ^[8] ${\displaystyle H\in {\mathcal {H}}}$

Как отмечено в обсуждении, это условие эквивалентно утверждению, что остаток ортогонален индикаторным функциям : ${\displaystyle L^{2}}$ ${\displaystyle X-\operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle 1_{H}}$

${\displaystyle \langle X-\operatorname {E} (X\mid {\mathcal {H}}),1_{H}\rangle =0}$

Существование

Существование можно установить, заметив, что для — конечная мера на , которая абсолютно непрерывна относительно . Если — естественная инъекция из в , то — ограничение на и — ограничение на . Кроме того, — абсолютно непрерывна относительно , ​​поскольку условие ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$ ${\textstyle \mu ^{X}\colon F\mapsto \int _{F}X\,\mathrm {d} P}$ ${\displaystyle F\in {\mathcal {F}}}$ ${\displaystyle (\Omega ,{\mathcal {F}})}$ ${\displaystyle P}$ ${\displaystyle h}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle \mu ^{X}\circ h=\mu ^{X}|_{\mathcal {H}}}$ ${\displaystyle \mu ^{X}}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle P\circ h=P|_{\mathcal {H}}}$ ${\displaystyle P}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \mu ^{X}\circ h}$ ${\displaystyle P\circ h}$

${\displaystyle P\circ h(H)=0\iff P(h(H))=0}$

подразумевает

${\displaystyle \mu ^{X}(h(H))=0\iff \mu ^{X}\circ h(H)=0.}$

Таким образом, мы имеем

${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})={\frac {\mathrm {d} \mu ^{X}|_{\mathcal {H}}}{\mathrm {d} P|_{\mathcal {H}}}}={\frac {\mathrm {d} (\mu ^{X}\circ h)}{\mathrm {d} (P\circ h)}},}$

где производные являются производными мер Радона–Никодима .

Условное математическое ожидание относительно случайной величины

Рассмотрим, в дополнение к вышесказанному,

• Измеримое пространство , и ${\displaystyle (U,\Sigma )}$
• Случайная величина . ${\displaystyle Y\colon \Omega \to U}$

Условное ожидание X при условии Y определяется путем применения приведенной выше конструкции к σ-алгебре, порожденной Y :

${\displaystyle \operatorname {E} [X\mid Y]:=\operatorname {E} [X\mid \sigma (Y)]}$.

По лемме Дуба-Дынкина существует функция такая, что ${\displaystyle e_{X}\colon U\to \mathbb {R} ^{n}}$

${\displaystyle \operatorname {E} [X\mid Y]=e_{X}(Y)}$.

Обсуждение

• Это не конструктивное определение; нам просто дано требуемое свойство, которому должно удовлетворять условное ожидание.
  • Определение может напоминать определение для события, но это очень разные объекты. Первое — это измеримая функция , а второе — элемент и для . ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle \operatorname {E} (X\mid H)}$ ${\displaystyle H}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \Omega \to \mathbb {R} ^{n}}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle \operatorname {E} (X\mid H)\ P(H)=\int _{H}X\,\mathrm {d} P=\int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P}$ ${\displaystyle H\in {\mathcal {H}}}$
  • Можно показать, что уникальность почти наверняка : то есть версии одного и того же условного ожидания будут отличаться только на наборе с нулевой вероятностью .
• σ-алгебра контролирует «зернистость» кондиционирования. Условное ожидание по более тонкой (большей) σ-алгебре сохраняет информацию о вероятностях большего класса событий. Условное ожидание по более грубой (меньшей) σ-алгебре усредняет по большему количеству событий. ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}}$

Условная вероятность

Для борелевского подмножества B в можно рассмотреть совокупность случайных величин ${\displaystyle {\mathcal {B}}(\mathbb {R} ^{n})}$

${\displaystyle \kappa _{\mathcal {H}}(\omega ,B):=\operatorname {E} (1_{X\in B}|{\mathcal {H}})(\omega )}$.

Можно показать, что они образуют марковское ядро , то есть, для почти всех , является вероятностной мерой. ^[9] ${\displaystyle \omega }$ ${\displaystyle \kappa _{\mathcal {H}}(\omega ,-)}$

Закон бессознательного статистика тогда таков:

${\displaystyle \operatorname {E} [f(X)|{\mathcal {H}}]=\int f(x)\kappa _{\mathcal {H}}(-,\mathrm {d} x)}$.

Это показывает, что условные ожидания, как и их безусловные аналоги, являются интеграциями по отношению к условной мере.

Общее определение

В общем, рассмотрим:

• Вероятностное пространство . ${\displaystyle (\Omega ,{\mathcal {A}},P)}$
• Банахово пространство . ${\displaystyle (E,\|\cdot \|_{E})}$
• Случайная величина, интегрируемая по Бохнеру . ${\displaystyle X:\Omega \to E}$
• Под-σ-алгебра . ${\displaystyle {\mathcal {H}}\subseteq {\mathcal {A}}}$

Условное ожидание заданного является с точностью до -nullset уникальной и интегрируемой -значной -измеримой случайной величиной , удовлетворяющей ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle P}$ ${\displaystyle E}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$

${\displaystyle \int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P=\int _{H}X\,\mathrm {d} P}$

для всех . ^{[10] [11]} ${\displaystyle H\in {\mathcal {H}}}$

В этом случае условное ожидание иногда также обозначается в операторной нотации как . ${\displaystyle \operatorname {E} ^{\mathcal {H}}X}$

Основные свойства

Все следующие формулы следует понимать в почти верном смысле. σ-алгебру можно заменить случайной величиной , т.е. . ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Z}$ ${\displaystyle {\mathcal {H}}=\sigma (Z)}$

• Выделим независимые факторы:
  • Если не зависит от , то . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(X\mid {\mathcal {H}})=E(X)}$

Доказательство

Пусть . Тогда не зависит от , поэтому получаем, что ${\displaystyle B\in {\mathcal {H}}}$ ${\displaystyle X}$ ${\displaystyle 1_{B}}$

${\displaystyle \int _{B}X\,dP=E(X1_{B})=E(X)E(1_{B})=E(X)P(B)=\int _{B}E(X)\,dP.}$

Таким образом, определение условного ожидания удовлетворяется постоянной случайной величиной , как и требовалось. ${\displaystyle E(X)}$ ${\displaystyle \square }$

• • Если не зависит от , то . Обратите внимание, что это не обязательно так, если не зависит только от и от . ${\displaystyle X}$ ${\displaystyle \sigma (Y,{\mathcal {H}})}$ ${\displaystyle E(XY\mid {\mathcal {H}})=E(X)\,E(Y\mid {\mathcal {H}})}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Y}$
  • Если независимы, независимы, независимы от и независимы от , то . ${\displaystyle X,Y}$ ${\displaystyle {\mathcal {G}},{\mathcal {H}}}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle E(E(XY\mid {\mathcal {G}})\mid {\mathcal {H}})=E(X)E(Y)=E(E(XY\mid {\mathcal {H}})\mid {\mathcal {G}})}$
• Стабильность:
  • Если -измеримо , то . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(X\mid {\mathcal {H}})=X}$

Доказательство

Для каждого имеем , или эквивалентно ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle \int _{H}E(X|{\mathcal {H}})dP=\int _{H}XdP}$

${\displaystyle \int _{H}{\big (}E(X|{\mathcal {H}})-X{\big )}dP=0}$

Поскольку это верно для каждого , а оба и являются -измеримыми (первое свойство выполняется по определению; последнее свойство здесь является ключевым), отсюда можно показать ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle E(X|{\mathcal {H}})}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle \int _{H}{\big |}E(X|{\mathcal {H}})-X{\big |}dP=0}$

И это касается почти всего. ${\displaystyle E(X|{\mathcal {H}})=X}$ ${\displaystyle \square }$

• • В частности, для под-σ-алгебр мы имеем . (Обратите внимание, что это отличается от свойства башни ниже.) ${\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset {\mathcal {F}}}$ ${\displaystyle E(E(X\mid {\mathcal {H}}_{1})\mid {\mathcal {H}}_{2})=E(X\mid {\mathcal {H}}_{1})}$
  • Если Z — случайная величина, то . В простейшей форме это звучит так : . ${\displaystyle \operatorname {E} (f(Z)\mid Z)=f(Z)}$ ${\displaystyle \operatorname {E} (Z\mid Z)=Z}$
• Выделим известные факторы:
  • Если -измеримо , то . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(XY\mid {\mathcal {H}})=X\,E(Y\mid {\mathcal {H}})}$

Доказательство

Все случайные величины здесь предполагаются без потери общности неотрицательными. Общий случай можно рассматривать с помощью . ${\displaystyle X=X^{+}-X^{-}}$

Исправьте и пусть . Тогда для любого ${\displaystyle A\in {\mathcal {H}}}$ ${\displaystyle X=1_{A}}$ ${\displaystyle H\in {\mathcal {H}}}$

${\displaystyle \int _{H}E(1_{A}Y|{\mathcal {H}})dP=\int _{H}1_{A}YdP=\int _{A\cap H}YdP=\int _{A\cap H}E(Y|{\mathcal {H}})dP=\int _{H}1_{A}E(Y|{\mathcal {H}})dP}$

И так почти везде. ${\displaystyle E(1_{A}Y|{\mathcal {H}})=1_{A}E(Y|{\mathcal {H}})}$

Любая простая функция является конечной линейной комбинацией индикаторных функций. В силу линейности указанное выше свойство справедливо для простых функций: если является простой функцией, то . ${\displaystyle X_{n}}$ ${\displaystyle E(X_{n}Y|{\mathcal {H}})=X_{n}\,E(Y|{\mathcal {H}})}$

Теперь пусть будет -измеримой. Тогда существует последовательность простых функций, сходящаяся монотонно (здесь имеется в виду ) и поточечно к . Следовательно, для последовательность монотонно и поточечно сходится к . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \{X_{n}\}_{n\geq 1}}$ ${\displaystyle X_{n}\leq X_{n+1}}$ ${\displaystyle X}$ ${\displaystyle Y\geq 0}$ ${\displaystyle \{X_{n}Y\}_{n\geq 1}}$ ${\displaystyle XY}$

Кроме того, поскольку , последовательность сходится монотонно и поточечно к ${\displaystyle E(Y|{\mathcal {H}})\geq 0}$ ${\displaystyle \{X_{n}E(Y|{\mathcal {H}})\}_{n\geq 1}}$ ${\displaystyle X\,E(Y|{\mathcal {H}})}$

Объединяя частный случай, доказанный для простых функций, определение условного ожидания и применяя теорему о монотонной сходимости:

${\displaystyle \int _{H}X\,E(Y|{\mathcal {H}})dP=\int _{H}\lim _{n\to \infty }X_{n}\,E(Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}X_{n}E(Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}E(X_{n}Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}X_{n}YdP=\int _{H}\lim _{n\to \infty }X_{n}YdP=\int _{H}XYdP=\int _{H}E(XY|{\mathcal {H}})dP}$

Это справедливо для всех , откуда почти всюду. ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle X\,E(Y|{\mathcal {H}})=E(XY|{\mathcal {H}})}$ ${\displaystyle \square }$

• • Если Z — случайная величина, то . ${\displaystyle \operatorname {E} (f(Z)Y\mid Z)=f(Z)\operatorname {E} (Y\mid Z)}$
• Закон полного ожидания : . ^[12] ${\displaystyle E(E(X\mid {\mathcal {H}}))=E(X)}$
• Собственность башни:
  • Для под-σ-алгебр имеем . ${\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset {\mathcal {F}}}$ ${\displaystyle E(E(X\mid {\mathcal {H}}_{2})\mid {\mathcal {H}}_{1})=E(X\mid {\mathcal {H}}_{1})}$
    • Частный случай восстанавливает закон полного ожидания: . ${\displaystyle {\mathcal {H}}_{1}=\{\emptyset ,\Omega \}}$ ${\displaystyle E(E(X\mid {\mathcal {H}}_{2}))=E(X)}$
    • Особый случай — когда Z — измеримая случайная величина. Тогда и, таким образом , . ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \sigma (Z)\subset {\mathcal {H}}}$ ${\displaystyle E(E(X\mid {\mathcal {H}})\mid Z)=E(X\mid Z)}$
    • Свойство мартингала Дуба : вышеприведенное с (которое является -измеримым), а также с использованием , дает . ${\displaystyle Z=E(X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \operatorname {E} (Z\mid Z)=Z}$ ${\displaystyle E(X\mid E(X\mid {\mathcal {H}}))=E(X\mid {\mathcal {H}})}$
  • Для случайных величин имеем . ${\displaystyle X,Y}$ ${\displaystyle E(E(X\mid Y)\mid f(Y))=E(X\mid f(Y))}$
  • Для случайных величин имеем . ${\displaystyle X,Y,Z}$ ${\displaystyle E(E(X\mid Y,Z)\mid Y)=E(X\mid Y)}$
• Линейность: имеем и для . ${\displaystyle E(X_{1}+X_{2}\mid {\mathcal {H}})=E(X_{1}\mid {\mathcal {H}})+E(X_{2}\mid {\mathcal {H}})}$ ${\displaystyle E(aX\mid {\mathcal {H}})=a\,E(X\mid {\mathcal {H}})}$ ${\displaystyle a\in \mathbb {R} }$
• Положительность: Если, то . ${\displaystyle X\geq 0}$ ${\displaystyle E(X\mid {\mathcal {H}})\geq 0}$
• Монотонность: Если то . ${\displaystyle X_{1}\leq X_{2}}$ ${\displaystyle E(X_{1}\mid {\mathcal {H}})\leq E(X_{2}\mid {\mathcal {H}})}$
• Монотонная сходимость : Если , то . ${\displaystyle 0\leq X_{n}\uparrow X}$ ${\displaystyle E(X_{n}\mid {\mathcal {H}})\uparrow E(X\mid {\mathcal {H}})}$
• Доминируемая сходимость : Если и при , то . ${\displaystyle X_{n}\to X}$ ${\displaystyle |X_{n}|\leq Y}$ ${\displaystyle Y\in L^{1}}$ ${\displaystyle E(X_{n}\mid {\mathcal {H}})\to E(X\mid {\mathcal {H}})}$
• Лемма Фату : Если то . ${\displaystyle \textstyle E(\inf _{n}X_{n}\mid {\mathcal {H}})>-\infty }$ ${\displaystyle \textstyle E(\liminf _{n\to \infty }X_{n}\mid {\mathcal {H}})\leq \liminf _{n\to \infty }E(X_{n}\mid {\mathcal {H}})}$
• Неравенство Йенсена : Если — выпуклая функция , то . ${\displaystyle f\colon \mathbb {R} \rightarrow \mathbb {R} }$ ${\displaystyle f(E(X\mid {\mathcal {H}}))\leq E(f(X)\mid {\mathcal {H}})}$
• Условная дисперсия : Используя условное математическое ожидание, мы можем определить, по аналогии с определением дисперсии как среднего квадратичного отклонения от среднего, условную дисперсию
  • Определение: ${\displaystyle \operatorname {Var} (X\mid {\mathcal {H}})=\operatorname {E} {\bigl (}(X-\operatorname {E} (X\mid {\mathcal {H}}))^{2}\mid {\mathcal {H}}{\bigr )}}$
  • Алгебраическая формула для дисперсии: ${\displaystyle \operatorname {Var} (X\mid {\mathcal {H}})=\operatorname {E} (X^{2}\mid {\mathcal {H}})-{\bigl (}\operatorname {E} (X\mid {\mathcal {H}}){\bigr )}^{2}}$
  • Закон полной дисперсии : . ${\displaystyle \operatorname {Var} (X)=\operatorname {E} (\operatorname {Var} (X\mid {\mathcal {H}}))+\operatorname {Var} (\operatorname {E} (X\mid {\mathcal {H}}))}$
• Сходимость по мартингалу : Для случайной величины , имеющей конечное математическое ожидание, имеем , если либо является возрастающим рядом под-σ-алгебр и , либо является убывающим рядом под-σ-алгебр и . ${\displaystyle X}$ ${\displaystyle E(X\mid {\mathcal {H}}_{n})\to E(X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset \dotsb }$ ${\displaystyle \textstyle {\mathcal {H}}=\sigma (\bigcup _{n=1}^{\infty }{\mathcal {H}}_{n})}$ ${\displaystyle {\mathcal {H}}_{1}\supset {\mathcal {H}}_{2}\supset \dotsb }$ ${\displaystyle \textstyle {\mathcal {H}}=\bigcap _{n=1}^{\infty }{\mathcal {H}}_{n}}$
• Условное ожидание как -проекция: Если находятся в гильбертовом пространстве квадратично интегрируемых действительных случайных величин (действительных случайных величин с конечным вторым моментом), то ${\displaystyle L^{2}}$ ${\displaystyle X,Y}$
  • для -измеримых имеем , т.е. условное математическое ожидание есть в смысле скалярного произведения L 2 ( P ) ортогональная проекция из на линейное подпространство -измеримых функций. (Это позволяет определить и доказать существование условного математического ожидания на основе проекционной теоремы Гильберта .) ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Y}$ ${\displaystyle E(Y(X-E(X\mid {\mathcal {H}})))=0}$ ${\displaystyle E(X\mid {\mathcal {H}})}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$
  • отображение является самосопряженным : ${\displaystyle X\mapsto \operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle \operatorname {E} (X\operatorname {E} (Y\mid {\mathcal {H}}))=\operatorname {E} \left(\operatorname {E} (X\mid {\mathcal {H}})\operatorname {E} (Y\mid {\mathcal {H}})\right)=\operatorname {E} (\operatorname {E} (X\mid {\mathcal {H}})Y)}$
• Обусловливание — это сжимающая проекция пространств L p . То есть, для любого p  ≥ 1. ${\displaystyle L^{p}(\Omega ,{\mathcal {F}},P)\rightarrow L^{p}(\Omega ,{\mathcal {H}},P)}$ ${\displaystyle \operatorname {E} {\big (}|\operatorname {E} (X\mid {\mathcal {H}})|^{p}{\big )}\leq \operatorname {E} {\big (}|X|^{p}{\big )}}$
• Свойство условной независимости Дуба: ^[13] Если условно независимы данные , то (эквивалентно, ). ${\displaystyle X,Y}$ ${\displaystyle Z}$ ${\displaystyle P(X\in B\mid Y,Z)=P(X\in B\mid Z)}$ ${\displaystyle E(1_{\{X\in B\}}\mid Y,Z)=E(1_{\{X\in B\}}\mid Z)}$

Смотрите также

• Обусловливание (вероятность)
• Теорема распада
• Лемма Дуба–Дынкина
• Лемма факторизации
• Скрытая марковская модель
• Совместное распределение вероятностей
• Некоммутативное условное ожидание

Законы вероятности

• Закон полной кумуляции (обобщает остальные три)
• Закон полного ожидания
• Закон полной вероятности
• Закон полной дисперсии

Примечания

1. Колмогоров, Андрей (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (на немецком языке). Берлин: Юлиус Шпрингер. п. 46.
   • Перевод: Колмогоров, Андрей (1956). Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. С. 53. ISBN 0-8284-0023-7. Архивировано из оригинала 2018-09-14 . Получено 2009-03-14 .
2. Окстоби, Дж. К. (1953). «Обзор: теория меры, П. Р. Халмос» (PDF) . Bull. Amer. Math. Soc . 59 (1): 89–91. doi : 10.1090/s0002-9904-1953-09662-8 .
3. JL Doob (1953). Стохастические процессы . John Wiley & Sons . ISBN 0-471-52369-0.
4. Олав Калленберг: Основы современной теории вероятностей. 2-е издание. Springer, Нью-Йорк 2002, ISBN 0-387-95313-2 , стр. 573. 
5. "вероятность - интуиция за условным ожиданием". Mathematics Stack Exchange .
6. Броквелл, Питер Дж. (1991). Временные ряды: теория и методы (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 978-1-4419-0320-4.
7. Хасти, Тревор. Элементы статистического обучения: добыча данных, вывод и прогнозирование (PDF) (Второе, исправленное 7-е печатное изд.). Нью-Йорк. ISBN 978-0-387-84858-7.
8. Биллингсли, Патрик (1995). "Раздел 34. Условное ожидание". Вероятность и мера (3-е изд.). John Wiley & Sons. стр. 445. ISBN 0-471-00710-2.
9. Кленке, Ахим. Теория вероятностей: всеобъемлющий курс (Второе изд.). Лондон. ISBN 978-1-4471-5361-0.
10. Da Prato, Giuseppe; Zabczyk, Jerzy (2014). Стохастические уравнения в бесконечных измерениях . Cambridge University Press. стр. 26. doi :10.1017/CBO9781107295513.(Определение в сепарабельных банаховых пространствах)
11. Хитонен, Туомас; ван Нервен, Ян; Вераар, Марк; Вайс, Лутц (2016). Анализ в банаховых пространствах, Том I: Мартингалы и теория Литтлвуда-Пэли . Спрингер Чам. дои : 10.1007/978-3-319-48520-1.(Определение в общих банаховых пространствах)
12. "Условное ожидание". www.statlect.com . Получено 2020-09-11 .
13. Калленберг, Олав (2001). Основы современной вероятности (2-е изд.). Йорк, Пенсильвания, США: Спрингер. п. 110. ИСБН 0-387-95313-2.

Ссылки

• Уильям Феллер , Введение в теорию вероятностей и ее приложения , том 1, 1950, стр. 223
• Пол А. Мейер, Вероятность и потенциалы , Blaisdell Publishing Co., 1966, стр. 28
• Гримметт, Джеффри ; Стирзакер, Дэвид (2001). Вероятность и случайные процессы (3-е изд.). Oxford University Press. ISBN 0-19-857222-0., страницы 67–69

Внешние ссылки

• Ушаков, Н.Г. (2001) [1994], "Условное математическое ожидание", Энциклопедия математики , Издательство ЭМС