Условное ожидание

Ожидаемое значение случайной величины при условии, что известно, что происходят определенные условия.

В теории вероятностей условное ожидание , условное ожидаемое значение или условное среднее случайной величины — это ее ожидаемое значение, оцененное относительно условного распределения вероятностей . Если случайная величина может принимать только конечное число значений, «условия» заключаются в том, что переменная может принимать только подмножество этих значений. Более формально, в случае, когда случайная величина определена в дискретном вероятностном пространстве , «условия» представляют собой разбиение этого вероятностного пространства.

В зависимости от контекста условное ожидание может быть либо случайной величиной, либо функцией. Случайная величина обозначается аналогично условной вероятности . Функциональная форма либо обозначается, либо отдельный функциональный символ, например, вводится со значением . ${\displaystyle E(X\mid Y)}$ ${\displaystyle E(X\mid Y=y)}$ ${\displaystyle f(y)}$ ${\displaystyle E(X\mid Y)=f(Y)}$

Примеры

Пример 1: Бросок кубиков

Рассмотрим бросок игральной кости и пусть A = 1, если число четное (т. е. 2, 4 или 6), и A = 0 в противном случае. Кроме того, пусть B = 1, если число простое (т. е. 2, 3 или 5), и B = 0 в противном случае.

Безоговорочное ожидание A равно , но ожидание A при условии B = 1 (т. е. при условии, что при броске кубика выпадет 2, 3 или 5) равно , а ожидание A при условии B = 0 (т. е. при условии, что при броске кубика выпадет 2, 3 или 5) если при броске кубика выпадет 1, 4 или 6), то это . Аналогично, ожидание B при условии A = 1 равно , а ожидание B при условии A = 0 равно . ${\displaystyle E[A]=(0+1+0+1+0+1)/6=1/2}$ ${\displaystyle E[A\mid B=1]=(1+0+0)/3=1/3}$ ${\displaystyle E[A\mid B=0]=(0+1+1)/3=2/3}$ ${\displaystyle E[B\mid A=1]=(1+0+0)/3=1/3}$ ${\displaystyle E[B\mid A=0]=(0+1+1)/3=2/3}$

Пример 2: Данные об осадках

Предположим, у нас есть данные о суточном количестве осадков (мм дождя в день), собранные метеостанцией каждый день десятилетнего (3652-дневного) периода с 1 января 1990 г. по 31 декабря 1999 г. неуказанный день — это среднее количество осадков за эти 3652 дня. Условное ожидание осадков в течение неуказанного в противном случае дня , который, как известно, приходится на март (при условии его наступления), представляет собой среднее количество ежедневных осадков за все 310 дней десятилетнего периода, выпадающего на март. А условное ожидание осадков в дни, датированные 2 марта, представляет собой среднее количество осадков, выпавших за десять дней с этой конкретной датой.

История

Соответствующая концепция условной вероятности восходит, по крайней мере, к Лапласу , который рассчитал условные распределения. Именно Андрей Колмогоров в 1933 году формализовал его с помощью теоремы Радона–Никодима . ^[1] В работах Пола Халмоша ^[2] и Джозефа Л. Дуба ^[3] 1953 года условное ожидание было обобщено до его современного определения с использованием суб-σ-алгебр . ^[4]

Определения

Кондиционирование по событию

Если A — событие с ненулевой вероятностью, а X — дискретная случайная величина , то условное ожидание X при условии A равно ${\displaystyle {\mathcal {F}}}$

${\displaystyle {\begin{aligned}\operatorname {E} (X\mid A)&=\sum _{x}xP(X=x\mid A)\\&=\sum _{x}x{\frac {P(\{X=x\}\cap A)}{P(A)}}\end{aligned}}}$

где сумма берется по всем возможным результатам X .

Если , условное математическое ожидание не определено из-за деления на ноль. ${\displaystyle P(A)=0}$

Дискретные случайные величины

Если X и Y — дискретные случайные величины , условное ожидание X при условии Y равно

${\displaystyle {\begin{aligned}\operatorname {E} (X\mid Y=y)&=\sum _{x}xP(X=x\mid Y=y)\\&=\sum _{x}x{\frac {P(X=x,Y=y)}{P(Y=y)}}\end{aligned}}}$

где - совместная массовая функция вероятности X и Y . Сумма берется по всем возможным результатам X . ${\displaystyle P(X=x,Y=y)}$

Обратите внимание, что, как указано выше, выражение не определено, если . ${\displaystyle P(Y=y)=0}$

Обусловливание дискретной случайной величины аналогично обуславливанию соответствующего события:

${\displaystyle \operatorname {E} (X\mid Y=y)=\operatorname {E} (X\mid A)}$

где А — множество . ${\displaystyle \{Y=y\}}$

Непрерывные случайные величины

Пусть и - непрерывные случайные величины с плотностью совместной плотности и условной плотностью данного события. Условное ожидание данного события равно ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f_{X,Y}(x,y),}$ ${\displaystyle Y}$ ${\displaystyle f_{Y}(y),}$ ${\displaystyle \textstyle f_{X|Y}(x|y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$ ${\displaystyle X}$ ${\displaystyle Y=y.}$ ${\displaystyle X}$ ${\displaystyle Y=y}$

${\displaystyle {\begin{aligned}\operatorname {E} (X\mid Y=y)&=\int _{-\infty }^{\infty }xf_{X|Y}(x\mid y)\,\mathrm {d} x\\&={\frac {1}{f_{Y}(y)}}\int _{-\infty }^{\infty }xf_{X,Y}(x,y)\,\mathrm {d} x.\end{aligned}}}$

Когда знаменатель равен нулю, выражение не определено.

Обусловливание непрерывной случайной величины — это не то же самое, что обусловливание события, как это было в дискретном случае. Для обсуждения см. Обусловливание события с нулевой вероятностью . Несоблюдение этого различия может привести к противоречивым выводам, как это иллюстрирует парадокс Бореля-Колмогорова . ${\displaystyle \{Y=y\}}$

L 2 случайные величины

Предполагается, что все случайные величины в этом разделе находятся в , то есть интегрируемы с квадратом . В своей полной общности условное ожидание развивается без этого предположения, см. ниже раздел «Условное ожидание в отношении под-σ-алгебры». Однако теория считается более интуитивной ^[5] и допускает важные обобщения. В контексте случайных величин условное ожидание также называют регрессией . ${\displaystyle L^{2}}$ ${\displaystyle L^{2}}$ ${\displaystyle L^{2}}$

В дальнейшем пусть будет вероятностным пространством со средним значением и дисперсией . Ожидание минимизирует среднеквадратическую ошибку : ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle X:\Omega \to \mathbb {R} }$ ${\displaystyle L^{2}}$ ${\displaystyle \mu _{X}}$ ${\displaystyle \sigma _{X}^{2}}$ ${\displaystyle \mu _{X}}$

${\displaystyle \min _{x\in \mathbb {R} }\operatorname {E} \left((X-x)^{2}\right)=\operatorname {E} \left((X-\mu _{X})^{2}\right)=\sigma _{X}^{2}}$.

Условное ожидание X определяется аналогично, за исключением того, что вместо одного числа результатом будет функция . Пусть — случайный вектор . Условное математическое ожидание — это измеримая функция такая, что ${\displaystyle \mu _{X}}$ ${\displaystyle e_{X}(y)}$ ${\displaystyle Y:\Omega \to \mathbb {R} ^{n}}$ ${\displaystyle e_{X}:\mathbb {R} ^{n}\to \mathbb {R} }$

${\displaystyle \min _{g{\text{ measurable }}}\operatorname {E} \left((X-g(Y))^{2}\right)=\operatorname {E} \left((X-e_{X}(Y))^{2}\right)}$.

Обратите внимание, что в отличие от , условное ожидание, как правило, не уникально: может быть несколько минимизаторов среднеквадратической ошибки. ${\displaystyle \mu _{X}}$ ${\displaystyle e_{X}}$

Уникальность

Пример 1. Рассмотрим случай, когда Y — постоянная случайная величина, которая всегда равна 1. Тогда среднеквадратическая ошибка минимизируется с помощью любой функции вида

${\displaystyle e_{X}(y)={\begin{cases}\mu _{X}&{\text{ if }}y=1\\{\text{any number}}&{\text{ otherwise}}\end{cases}}}$

Пример 2. Рассмотрим случай, когда Y — двумерный случайный вектор . Тогда ясно ${\displaystyle (X,2X)}$

${\displaystyle \operatorname {E} (X\mid Y)=X}$

но в терминах функций оно может быть выражено как или бесконечно многими другими способами. В контексте линейной регрессии это отсутствие уникальности называется мультиколлинеарностью . ${\displaystyle e_{X}(y_{1},y_{2})=3y_{1}-y_{2}}$ ${\displaystyle e'_{X}(y_{1},y_{2})=y_{2}-y_{1}}$

Условное ожидание уникально с точностью до множества нулевой меры в . Используемая мера — это мера продвижения вперед, индуцированная Y . ${\displaystyle \mathbb {R} ^{n}}$

В первом примере мера прямого действия представляет собой распределение Дирака в точке 1. Во втором оно сосредоточено на «диагонали» , так что любое множество, не пересекающее его, имеет меру 0. ${\displaystyle \{y:y_{2}=2y_{1}\}}$

Существование

Существование минимизатора для нетривиально. Можно показать, что ${\displaystyle \min _{g}\operatorname {E} \left((X-g(Y))^{2}\right)}$

${\displaystyle M:=\{g(Y):g{\text{ is measurable and }}\operatorname {E} (g(Y)^{2})<\infty \}=L^{2}(\Omega ,\sigma (Y))}$

является замкнутым подпространством гильбертова пространства . ^[6] По теореме о проекции Гильберта необходимым и достаточным условием для того, чтобы быть минимизатором, является то, что для всех в M мы имеем ${\displaystyle L^{2}(\Omega )}$ ${\displaystyle e_{X}}$ ${\displaystyle f(Y)}$

${\displaystyle \langle X-e_{X}(Y),f(Y)\rangle =0}$.

Другими словами, это уравнение говорит, что невязка ортогональна пространству M всех функций из Y . Это условие ортогональности, примененное к индикаторным функциям , используется ниже для распространения условного ожидания на случай, когда X и Y не обязательно находятся в . ${\displaystyle X-e_{X}(Y)}$ ${\displaystyle f(Y)=1_{Y\in H}}$ ${\displaystyle L^{2}}$

Связь с регрессией

Условное математическое ожидание часто аппроксимируют в прикладной математике и статистике из-за трудностей его аналитического расчета и интерполяции. ^[7]

Гильбертово подпространство

${\displaystyle M=\{g(Y):\operatorname {E} (g(Y)^{2})<\infty \}}$

определенное выше, заменяется его подмножествами путем ограничения функциональной формы g вместо разрешения какой-либо измеримой функции. Примерами этого являются регрессия дерева решений , когда g должна быть простой функцией , линейная регрессия , когда g должна быть аффинной , и т. д.

Эти обобщения условного ожидания происходят за счет потери многих его свойств. Например, пусть M — пространство всех линейных функций от Y и обозначает это обобщенное условное ожидание/ проекцию. Если не содержит константных функций , свойство башни не будет сохраняться. ${\displaystyle {\mathcal {E}}_{M}}$ ${\displaystyle L^{2}}$ ${\displaystyle M}$ ${\displaystyle \operatorname {E} ({\mathcal {E}}_{M}(X))=\operatorname {E} (X)}$

Важным особым случаем является случай, когда X и Y совместно нормально распределены. В этом случае можно показать, что условное ожидание эквивалентно линейной регрессии:

${\displaystyle e_{X}(Y)=\alpha _{0}+\sum _{i}\alpha _{i}Y_{i}}$

для коэффициентов , описанных в разделе Многомерное нормальное распределение#Условные распределения . ${\displaystyle \{\alpha _{i}\}_{i=0..n}}$

Условное ожидание относительно под-σ-алгебры

Условное ожидание относительно σ-алгебры: в этом примере вероятностное пространство представляет собой интервал [0,1] с мерой Лебега . Определим следующие σ-алгебры: ; — σ-алгебра, порожденная интервалами с концами 0, 1 ⁄ 4 , 1 ⁄ 2 , 3 ⁄ 4 , 1; и является σ-алгеброй, порожденной интервалами с концами 0, 1 ⁄ 2 , 1. Здесь условное математическое ожидание фактически является средним по минимальным наборам σ-алгебры. ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle {\mathcal {A}}={\mathcal {F}}}$ ${\displaystyle {\mathcal {B}}}$ ${\displaystyle {\mathcal {C}}}$

Учтите следующее:

• ${\displaystyle (\Omega ,{\mathcal {F}},P)}$это вероятностное пространство .
• ${\displaystyle X\colon \Omega \to \mathbb {R} ^{n}}$является случайной величиной в этом вероятностном пространстве с конечным математическим ожиданием.
• ${\displaystyle {\mathcal {H}}\subseteq {\mathcal {F}}}$является под- σ- алгеброй . ${\displaystyle {\mathcal {F}}}$

Поскольку является подалгеброй , функция обычно не -измерима, поэтому существование интегралов вида , где и является ограничением на , не может быть установлено вообще. Однако локальные средние значения можно восстановить с помощью условного ожидания. ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle X\colon \Omega \to \mathbb {R} ^{n}}$ ${\displaystyle {\mathcal {H}}}$ ${\textstyle \int _{H}X\,dP|_{\mathcal {H}}}$ ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle P|_{\mathcal {H}}}$ ${\displaystyle P}$ ${\displaystyle {\mathcal {H}}}$ ${\textstyle \int _{H}X\,dP}$ ${\displaystyle (\Omega ,{\mathcal {H}},P|_{\mathcal {H}})}$

Условное ожидание X при заданном , обозначаемое как , представляет собой любую измеримую функцию , которая удовлетворяет: ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \Omega \to \mathbb {R} ^{n}}$

${\displaystyle \int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P=\int _{H}X\,\mathrm {d} P}$

для каждого . ^[8] ${\displaystyle H\in {\mathcal {H}}}$

Как отмечалось в обсуждении, это условие эквивалентно утверждению, что невязка ортогональна индикаторным функциям : ${\displaystyle L^{2}}$ ${\displaystyle X-\operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle 1_{H}}$

${\displaystyle \langle X-\operatorname {E} (X\mid {\mathcal {H}}),1_{H}\rangle =0}$

Существование

Существование можно установить, заметив, что для является конечной мерой , абсолютно непрерывной по отношению к . Если – естественная инъекция от до , то – ограничение до и – ограничение до . При этом абсолютно непрерывен по , поскольку условие ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$ ${\textstyle \mu ^{X}\colon F\mapsto \int _{F}X\,\mathrm {d} P}$ ${\displaystyle F\in {\mathcal {F}}}$ ${\displaystyle (\Omega ,{\mathcal {F}})}$ ${\displaystyle P}$ ${\displaystyle h}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle \mu ^{X}\circ h=\mu ^{X}|_{\mathcal {H}}}$ ${\displaystyle \mu ^{X}}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle P\circ h=P|_{\mathcal {H}}}$ ${\displaystyle P}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \mu ^{X}\circ h}$ ${\displaystyle P\circ h}$

${\displaystyle P\circ h(H)=0\iff P(h(H))=0}$

подразумевает

${\displaystyle \mu ^{X}(h(H))=0\iff \mu ^{X}\circ h(H)=0.}$

Таким образом, мы имеем

${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})={\frac {\mathrm {d} \mu ^{X}|_{\mathcal {H}}}{\mathrm {d} P|_{\mathcal {H}}}}={\frac {\mathrm {d} (\mu ^{X}\circ h)}{\mathrm {d} (P\circ h)}},}$

где производные представляют собой производные меры Радона–Никодима .

Условное ожидание относительно случайной величины

Рассмотрим, помимо вышесказанного,

• Измеримое пространство и ${\displaystyle (U,\Sigma )}$
• Случайная величина . ${\displaystyle Y\colon \Omega \to U}$

Условное ожидание X при условии Y определяется применением приведенной выше конструкции к σ-алгебре, порожденной Y :

${\displaystyle \operatorname {E} [X\mid Y]:=\operatorname {E} [X\mid \sigma (Y)]}$.

По лемме Дуба-Дынкина существует функция такая, что ${\displaystyle e_{X}\colon U\to \mathbb {R} ^{n}}$

${\displaystyle \operatorname {E} [X\mid Y]=e_{X}(Y)}$.

Обсуждение

• Это неконструктивное определение; нам просто дано требуемое свойство, которому должно удовлетворять условное ожидание.
  • Определение может напоминать определение события , но это очень разные объекты. Первая является -измеримой функцией , а вторая является элементом и для . ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle \operatorname {E} (X\mid H)}$ ${\displaystyle H}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \Omega \to \mathbb {R} ^{n}}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle \operatorname {E} (X\mid H)\ P(H)=\int _{H}X\,\mathrm {d} P=\int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P}$ ${\displaystyle H\in {\mathcal {H}}}$
  • Можно показать, что уникальность почти гарантирована : то есть версии одного и того же условного ожидания будут различаться только на множестве с нулевой вероятностью .
• σ-алгебра контролирует «детальность» обусловленности. Условное математическое ожидание по более тонкой (большой) σ-алгебре сохраняет информацию о вероятностях более широкого класса событий. Условное ожидание по более грубой (меньшей) σ-алгебре усредняется по большему количеству событий. ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}}$

Условная возможность

Для борелевского подмножества B в можно рассмотреть набор случайных величин ${\displaystyle {\mathcal {B}}(\mathbb {R} ^{n})}$

${\displaystyle \kappa _{\mathcal {H}}(\omega ,B):=\operatorname {E} (1_{X\in B}|{\mathcal {H}})(\omega )}$.

Можно показать, что они образуют ядро ​​Маркова , то есть почти для всех является вероятностной мерой . ^[9] ${\displaystyle \omega }$ ${\displaystyle \kappa _{\mathcal {H}}(\omega ,-)}$

Тогда закон бессознательного статистика

${\displaystyle \operatorname {E} [f(X)|{\mathcal {H}}]=\int f(x)\kappa _{\mathcal {H}}(-,\mathrm {d} x)}$.

Это показывает, что условные ожидания, как и их безусловные аналоги, представляют собой интеграцию против условной меры.

Общее определение

В целом рассмотрим:

• Вероятностное пространство . ${\displaystyle (\Omega ,{\mathcal {A}},P)}$
• Банахово пространство . ${\displaystyle (E,\|\cdot \|_{E})}$
• Интегрируемая по Бохнеру случайная величина . ${\displaystyle X:\Omega \to E}$
• Суб-σ-алгебра . ${\displaystyle {\mathcal {H}}\subseteq {\mathcal {A}}}$

Условное математическое ожидание данного - это уникальная и интегрируемая -значная -измеримая случайная величина с точностью до нулевого множества , удовлетворяющая ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle P}$ ${\displaystyle E}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}$

${\displaystyle \int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P=\int _{H}X\,\mathrm {d} P}$

для всех . ^{[10] [11]} ${\displaystyle H\in {\mathcal {H}}}$

В этом случае условное ожидание иногда также обозначается в операторной записи как . ${\displaystyle \operatorname {E} ^{\mathcal {H}}X}$

Основные свойства

Все следующие формулы следует понимать почти наверняка. σ-алгебру можно было бы заменить случайной величиной , т.е. ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Z}$ ${\displaystyle {\mathcal {H}}=\sigma (Z)}$

• Выделение независимых факторов:
  • Если не зависит от , то . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(X\mid {\mathcal {H}})=E(X)}$

Доказательство

Позволять . Тогда не зависит от , поэтому мы получаем, что ${\displaystyle B\in {\mathcal {H}}}$ ${\displaystyle X}$ ${\displaystyle 1_{B}}$

${\displaystyle \int _{B}X\,dP=E(X1_{B})=E(X)E(1_{B})=E(X)P(B)=\int _{B}E(X)\,dP.}$

Таким образом, определение условного ожидания удовлетворяется постоянной случайной величиной , как и хотелось. ${\displaystyle E(X)}$ ${\displaystyle \square }$

• • Если не зависит от , то . Обратите внимание, что это не обязательно так, если не зависит только от и . ${\displaystyle X}$ ${\displaystyle \sigma (Y,{\mathcal {H}})}$ ${\displaystyle E(XY\mid {\mathcal {H}})=E(X)\,E(Y\mid {\mathcal {H}})}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Y}$
  • Если независимы, независимы, не зависят и не зависят от , то . ${\displaystyle X,Y}$ ${\displaystyle {\mathcal {G}},{\mathcal {H}}}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {G}}}$ ${\displaystyle E(E(XY\mid {\mathcal {G}})\mid {\mathcal {H}})=E(X)E(Y)=E(E(XY\mid {\mathcal {H}})\mid {\mathcal {G}})}$
• Стабильность:
  • Если -измеримо , то . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(X\mid {\mathcal {H}})=X}$

Доказательство

Для каждого из нас есть или, что то же самое, ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle \int _{H}E(X|{\mathcal {H}})dP=\int _{H}XdP}$

${\displaystyle \int _{H}{\big (}E(X|{\mathcal {H}})-X{\big )}dP=0}$

Поскольку это верно для каждого и оба -измеримы ( первое свойство справедливо по определению; последнее свойство здесь является ключевым), отсюда можно показать ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle E(X|{\mathcal {H}})}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle \int _{H}{\big |}E(X|{\mathcal {H}})-X{\big |}dP=0}$

И это подразумевается почти везде. ${\displaystyle E(X|{\mathcal {H}})=X}$ ${\displaystyle \square }$

• • В частности, для под-σ-алгебр имеем . ${\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset {\mathcal {F}}}$ ${\displaystyle E(E(X\mid {\mathcal {H}}_{1})\mid {\mathcal {H}}_{2})=E(X\mid {\mathcal {H}}_{1})}$
  • Если Z — случайная величина, то . В самой простой форме это говорит . ${\displaystyle \operatorname {E} (f(Z)\mid Z)=f(Z)}$ ${\displaystyle \operatorname {E} (Z\mid Z)=Z}$
• Вытягиваем известные факторы:
  • Если -измеримо , то . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle E(XY\mid {\mathcal {H}})=X\,E(Y\mid {\mathcal {H}})}$

Доказательство

Все случайные величины здесь без ограничения общности предполагаются неотрицательными. Общий случай можно рассматривать с помощью . ${\displaystyle X=X^{+}-X^{-}}$

Исправь и дай . Тогда для любого ${\displaystyle A\in {\mathcal {H}}}$ ${\displaystyle X=1_{A}}$ ${\displaystyle H\in {\mathcal {H}}}$

${\displaystyle \int _{H}E(1_{A}Y|{\mathcal {H}})dP=\int _{H}1_{A}YdP=\int _{A\cap H}YdP=\int _{A\cap H}E(Y|{\mathcal {H}})dP=\int _{H}1_{A}E(Y|{\mathcal {H}})dP}$

Отсюда почти везде. ${\displaystyle E(1_{A}Y|{\mathcal {H}})=1_{A}E(Y|{\mathcal {H}})}$

Любая простая функция представляет собой конечную линейную комбинацию индикаторных функций. По линейности указанное выше свойство справедливо для простых функций: если — простая функция, то . ${\displaystyle X_{n}}$ ${\displaystyle E(X_{n}Y|{\mathcal {H}})=X_{n}\,E(Y|{\mathcal {H}})}$

Теперь пусть - измеримо. Тогда существует последовательность простых функций, монотонно (здесь имеется в виду ) и поточечно сходящаяся к . Следовательно, при последовательность монотонно и поточечно сходится к . ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \{X_{n}\}_{n\geq 1}}$ ${\displaystyle X_{n}\leq X_{n+1}}$ ${\displaystyle X}$ ${\displaystyle Y\geq 0}$ ${\displaystyle \{X_{n}Y\}_{n\geq 1}}$ ${\displaystyle XY}$

Кроме того, поскольку , последовательность сходится монотонно и поточечно к ${\displaystyle E(Y|{\mathcal {H}})\geq 0}$ ${\displaystyle \{X_{n}E(Y|{\mathcal {H}})\}_{n\geq 1}}$ ${\displaystyle X\,E(Y|{\mathcal {H}})}$

Объединение частного случая, доказанного для простых функций, определения условного ожидания и применения теоремы о монотонной сходимости:

${\displaystyle \int _{H}X\,E(Y|{\mathcal {H}})dP=\int _{H}\lim _{n\to \infty }X_{n}\,E(Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}X_{n}E(Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}E(X_{n}Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}X_{n}YdP=\int _{H}\lim _{n\to \infty }X_{n}YdP=\int _{H}XYdP=\int _{H}E(XY|{\mathcal {H}})dP}$

Это справедливо для всех , следовательно, почти везде. ${\displaystyle H\in {\mathcal {H}}}$ ${\displaystyle X\,E(Y|{\mathcal {H}})=E(XY|{\mathcal {H}})}$ ${\displaystyle \square }$

• • Если Z — случайная величина, то . ${\displaystyle \operatorname {E} (f(Z)Y\mid Z)=f(Z)\operatorname {E} (Y\mid Z)}$
• Закон полного ожидания : . ^[12] ${\displaystyle E(E(X\mid {\mathcal {H}}))=E(X)}$
• Свойство башни:
  • Для суб-σ-алгебр имеем . ${\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset {\mathcal {F}}}$ ${\displaystyle E(E(X\mid {\mathcal {H}}_{2})\mid {\mathcal {H}}_{1})=E(X\mid {\mathcal {H}}_{1})}$
    • Особый случай восстанавливает Закон полного ожидания: . ${\displaystyle {\mathcal {H}}_{1}=\{\emptyset ,\Omega \}}$ ${\displaystyle E(E(X\mid {\mathcal {H}}_{2}))=E(X)}$
    • Особым случаем является случай, когда Z является -измеримой случайной величиной. Тогда и так . ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \sigma (Z)\subset {\mathcal {H}}}$ ${\displaystyle E(E(X\mid {\mathcal {H}})\mid Z)=E(X\mid Z)}$
    • Свойство Doob мартингейла : приведенное выше с (которое -измеримо) и использование также дает . ${\displaystyle Z=E(X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \operatorname {E} (Z\mid Z)=Z}$ ${\displaystyle E(X\mid E(X\mid {\mathcal {H}}))=E(X\mid {\mathcal {H}})}$
  • Для случайных величин имеем . ${\displaystyle X,Y}$ ${\displaystyle E(E(X\mid Y)\mid f(Y))=E(X\mid f(Y))}$
  • Для случайных величин имеем . ${\displaystyle X,Y,Z}$ ${\displaystyle E(E(X\mid Y,Z)\mid Y)=E(X\mid Y)}$
• Линейность: имеем и для . ${\displaystyle E(X_{1}+X_{2}\mid {\mathcal {H}})=E(X_{1}\mid {\mathcal {H}})+E(X_{2}\mid {\mathcal {H}})}$ ${\displaystyle E(aX\mid {\mathcal {H}})=a\,E(X\mid {\mathcal {H}})}$ ${\displaystyle a\in \mathbb {R} }$
• Позитивность: Если тогда . ${\displaystyle X\geq 0}$ ${\displaystyle E(X\mid {\mathcal {H}})\geq 0}$
• Монотонность: Если то . ${\displaystyle X_{1}\leq X_{2}}$ ${\displaystyle E(X_{1}\mid {\mathcal {H}})\leq E(X_{2}\mid {\mathcal {H}})}$
• Монотонная сходимость : Если, то . ${\displaystyle 0\leq X_{n}\uparrow X}$ ${\displaystyle E(X_{n}\mid {\mathcal {H}})\uparrow E(X\mid {\mathcal {H}})}$
• Доминирующая конвергенция : Если и с , то . ${\displaystyle X_{n}\to X}$ ${\displaystyle |X_{n}|\leq Y}$ ${\displaystyle Y\in L^{1}}$ ${\displaystyle E(X_{n}\mid {\mathcal {H}})\to E(X\mid {\mathcal {H}})}$
• Лемма Фату : Если то . ${\displaystyle \textstyle E(\inf _{n}X_{n}\mid {\mathcal {H}})>-\infty }$ ${\displaystyle \textstyle E(\liminf _{n\to \infty }X_{n}\mid {\mathcal {H}})\leq \liminf _{n\to \infty }E(X_{n}\mid {\mathcal {H}})}$
• Неравенство Йенсена : Если – выпуклая функция , то . ${\displaystyle f\colon \mathbb {R} \rightarrow \mathbb {R} }$ ${\displaystyle f(E(X\mid {\mathcal {H}}))\leq E(f(X)\mid {\mathcal {H}})}$
• Условная дисперсия : Используя условное ожидание, мы можем определить, по аналогии с определением дисперсии как среднеквадратического отклонения от среднего, условную дисперсию.
  • Определение: ${\displaystyle \operatorname {Var} (X\mid {\mathcal {H}})=\operatorname {E} {\bigl (}(X-\operatorname {E} (X\mid {\mathcal {H}}))^{2}\mid {\mathcal {H}}{\bigr )}}$
  • Алгебраическая формула дисперсии: ${\displaystyle \operatorname {Var} (X\mid {\mathcal {H}})=\operatorname {E} (X^{2}\mid {\mathcal {H}})-{\bigl (}\operatorname {E} (X\mid {\mathcal {H}}){\bigr )}^{2}}$
  • Закон полной дисперсии : . ${\displaystyle \operatorname {Var} (X)=\operatorname {E} (\operatorname {Var} (X\mid {\mathcal {H}}))+\operatorname {Var} (\operatorname {E} (X\mid {\mathcal {H}}))}$
• Сходимость по мартингалу : Для случайной величины с конечным математическим ожиданием мы имеем , если либо является возрастающей серией суб-σ-алгебр, либо если является убывающей серией суб-σ-алгебр и . ${\displaystyle X}$ ${\displaystyle E(X\mid {\mathcal {H}}_{n})\to E(X\mid {\mathcal {H}})}$ ${\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset \dotsb }$ ${\displaystyle \textstyle {\mathcal {H}}=\sigma (\bigcup _{n=1}^{\infty }{\mathcal {H}}_{n})}$ ${\displaystyle {\mathcal {H}}_{1}\supset {\mathcal {H}}_{2}\supset \dotsb }$ ${\displaystyle \textstyle {\mathcal {H}}=\bigcap _{n=1}^{\infty }{\mathcal {H}}_{n}}$
• Условное ожидание как -проекция: если находятся в гильбертовом пространстве интегрируемых с квадратом действительных случайных величин (действительных случайных величин с конечным вторым моментом), то ${\displaystyle L^{2}}$ ${\displaystyle X,Y}$
  • для -измеримых мы имеем , т.е. условное математическое ожидание является в смысле скалярного произведения L2 ( P ) ортогональным проектором из на линейное подпространство -измеримых функций. (Это позволяет определить и доказать существование условного математического ожидания на основе теоремы о проекции Гильберта .) ${\displaystyle {\mathcal {H}}}$ ${\displaystyle Y}$ ${\displaystyle E(Y(X-E(X\mid {\mathcal {H}})))=0}$ ${\displaystyle E(X\mid {\mathcal {H}})}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$
  • отображение самосопряженное :​ ${\displaystyle X\mapsto \operatorname {E} (X\mid {\mathcal {H}})}$ ${\displaystyle \operatorname {E} (X\operatorname {E} (Y\mid {\mathcal {H}}))=\operatorname {E} \left(\operatorname {E} (X\mid {\mathcal {H}})\operatorname {E} (Y\mid {\mathcal {H}})\right)=\operatorname {E} (\operatorname {E} (X\mid {\mathcal {H}})Y)}$
• Обусловливание — это сжимающая проекция ^{пространств} Lp . Т.е. для любого p  ≥ 1. ${\displaystyle L^{p}(\Omega ,{\mathcal {F}},P)\rightarrow L^{p}(\Omega ,{\mathcal {H}},P)}$ ${\displaystyle \operatorname {E} {\big (}|\operatorname {E} (X\mid {\mathcal {H}})|^{p}{\big )}\leq \operatorname {E} {\big (}|X|^{p}{\big )}}$
• Свойство условной независимости Дуба: ^[13] Если условно независимы при заданных , то (эквивалентно ). ${\displaystyle X,Y}$ ${\displaystyle Z}$ ${\displaystyle P(X\in B\mid Y,Z)=P(X\in B\mid Z)}$ ${\displaystyle E(1_{\{X\in B\}}\mid Y,Z)=E(1_{\{X\in B\}}\mid Z)}$

Смотрите также

• Обусловливание (вероятность)
• Теорема о дезинтеграции
• Лемма Дуба – Дынкина
• Лемма о факторизации
• Скрытая модель Маркова
• Совместное распределение вероятностей
• Некоммутативное условное ожидание

Законы вероятности

• Закон полной кумулятивности (обобщает остальные три)
• Закон общего ожидания
• Закон полной вероятности
• Закон полной дисперсии

Примечания

1. Колмогоров, Андрей (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (на немецком языке). Берлин: Юлиус Шпрингер. п. 46.
   • Перевод: Колмогоров, Андрей (1956). Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. п. 53. ИСБН 0-8284-0023-7. Архивировано из оригинала 14 сентября 2018 г. Проверено 14 марта 2009 г.
2. Окстоби, JC (1953). «Обзор: Теория меры П.Р. Халмоша» (PDF) . Бык. амер. Математика. Соц . 59 (1): 89–91. дои : 10.1090/s0002-9904-1953-09662-8 .
3. Дж. Л. Дуб (1953). Случайные процессы . Джон Уайли и сыновья . ISBN 0-471-52369-0.
4. Олав Калленберг: Основы современной вероятности. 2. издание. Спрингер, Нью-Йорк, 2002 г., ISBN 0-387-95313-2 , с. 573. 
5. «Вероятность - интуиция, лежащая в основе условного ожидания». Математический обмен стеками .
6. Брокуэлл, Питер Дж. (1991). Временные ряды: теория и методы (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 978-1-4419-0320-4.
7. Хасти, Тревор. Элементы статистического обучения: интеллектуальный анализ данных, логические выводы и прогнозирование (PDF) (второе, исправленное 7-е печатное издание). Нью-Йорк. ISBN 978-0-387-84858-7.
8. Биллингсли, Патрик (1995). «Раздел 34. Условное ожидание». Вероятность и мера (3-е изд.). Джон Уайли и сыновья. п. 445. ИСБН 0-471-00710-2.
9. Кленке, Ахим. Теория вероятностей: комплексный курс (Второе изд.). Лондон. ISBN 978-1-4471-5361-0.
10. Да Прато, Джузеппе; Забчик, Ежи (2014). Стохастические уравнения в бесконечных измерениях . Издательство Кембриджского университета. п. 26. дои : 10.1017/CBO9781107295513.(Определение в сепарабельных банаховых пространствах)
11. Хитонен, Туомас; ван Нервен, Ян; Вераар, Марк; Вайс, Лутц (2016). Анализ в банаховых пространствах, Том I: Мартингалы и теория Литтлвуда-Пэли . Спрингер Чам. дои : 10.1007/978-3-319-48520-1.(Определение в общих банаховых пространствах)
12. «Условное ожидание». www.statlect.com . Проверено 11 сентября 2020 г.
13. Калленберг, Олав (2001). Основы современной вероятности (2-е изд.). Йорк, Пенсильвания, США: Спрингер. п. 110. ИСБН 0-387-95313-2.

Рекомендации

• Уильям Феллер , Введение в теорию вероятностей и ее приложения , том 1, 1950, стр. 223.
• Пол А. Мейер, Вероятность и потенциалы , Blaisdell Publishing Co., 1966, стр. 28.
• Гриметт, Джеффри ; Стирзакер, Дэвид (2001). Вероятность и случайные процессы (3-е изд.). Издательство Оксфордского университета. ISBN 0-19-857222-0., стр. 67–69

Внешние ссылки

• Ушаков, Н.Г. (2001) [1994], «Условное математическое ожидание», Энциклопедия математики , EMS Press