Ожидаемое значение

Среднее значение случайной величины

В теории вероятностей ожидаемое значение (также называемое ожиданием , ожиданием , оператором ожидания , математическим ожиданием , средним , ожидаемым значением или первым моментом ) является обобщением средневзвешенного значения . Неформально, ожидаемое значение — это среднее из возможных значений, которые может принимать случайная величина , взвешенное по вероятности этих результатов. Поскольку оно получается с помощью арифметики, ожидаемое значение иногда может даже не быть включено в набор данных выборки; это не то значение, которое вы «ожидаете» получить в реальности.

Ожидаемое значение случайной величины с конечным числом исходов является взвешенным средним всех возможных исходов. В случае континуума возможных исходов ожидание определяется интеграцией . В аксиоматической основе вероятности, предоставляемой теорией меры , ожидание задается интеграцией Лебега .

Ожидаемое значение случайной величины X часто обозначается как E( X ) , E[ X ] или E X , при этом E также часто стилизуется как или E . ^{[1] [2] [3]} ${\displaystyle \mathbb {E} }$

История

Идея ожидаемого значения возникла в середине 17 века из изучения так называемой проблемы очков , которая стремится справедливо разделить ставки между двумя игроками, которые должны закончить свою игру до того, как она будет должным образом закончена. ^[4] Эта проблема обсуждалась на протяжении столетий. За эти годы было предложено много противоречивых предложений и решений, когда французский писатель и математик-любитель Шевалье де Мере предложил ее Блезу Паскалю в 1654 году. Мере утверждал, что эта проблема не может быть решена и что она показывает, насколько несовершенна математика, когда дело доходит до ее применения в реальном мире. Паскаль, будучи математиком, был спровоцирован и полон решимости решить эту проблему раз и навсегда.

Он начал обсуждать эту проблему в знаменитой серии писем Пьеру де Ферма . Вскоре они оба независимо друг от друга пришли к решению. Они решили проблему разными вычислительными способами, но их результаты были идентичны, поскольку их вычисления основывались на одном и том же фундаментальном принципе. Принцип заключается в том, что ценность будущего выигрыша должна быть прямо пропорциональна шансу его получить. Этот принцип, казалось, пришел к ним обоим естественным образом. Они были очень довольны тем фактом, что нашли по сути одно и то же решение, и это, в свою очередь, сделало их абсолютно убежденными в том, что они окончательно решили проблему; однако они не опубликовали свои выводы. Они только сообщили об этом небольшому кругу общих научных друзей в Париже. ^[5]

В книге голландского математика Христиана Гюйгенса он рассмотрел проблему точек и представил решение, основанное на том же принципе, что и решения Паскаля и Ферма. Гюйгенс опубликовал свой трактат в 1657 году (см. Гюйгенс (1657)) " De ratiociniis in ludo aleæ " по теории вероятностей сразу после посещения Парижа. Книга расширила концепцию ожидания, добавив правила для расчета ожиданий в более сложных ситуациях, чем исходная задача (например, для трех и более игроков), и может рассматриваться как первая успешная попытка заложить основы теории вероятностей .

В предисловии к своему трактату Гюйгенс писал:

Следует также сказать, что в течение некоторого времени некоторые из лучших математиков Франции занимались этим видом исчисления, так что никто не должен приписывать мне честь первого изобретения. Это не принадлежит мне. Но эти ученые, хотя и подвергали друг друга испытанию, предлагая друг другу много трудноразрешимых вопросов, скрыли свои методы. Поэтому мне пришлось самому исследовать и глубоко вникать в этот вопрос, начиная с элементов, и по этой причине я не могу утверждать, что я даже начал с того же принципа. Но в конце концов я обнаружил, что мои ответы во многих случаях не отличаются от их ответов.

—  Эдвардс (2002)

В середине девятнадцатого века Пафнутий Чебышев стал первым человеком, который мыслил систематически в терминах ожиданий случайных величин . ^[6]

Этимология

Ни Паскаль, ни Гюйгенс не использовали термин «ожидание» в его современном смысле. В частности, Гюйгенс пишет: ^[7]

Что любой шанс или ожидание выиграть что-либо стоит ровно такую ​​сумму, какую можно было бы получить при том же шансе и ожидании в честной игре. ... Если я ожидаю a или b и имею равные шансы их выиграть, то мое ожидание стоит (a+b)/2.

Более ста лет спустя, в 1814 году, Пьер-Симон Лаплас опубликовал свой трактат « Аналитическая теория вероятностей », где понятие ожидаемого значения было определено явно: ^[8]

... это преимущество в теории случая есть произведение ожидаемой суммы на вероятность ее получения; это частичная сумма, которая должна получиться, когда мы не хотим подвергаться риску события, предполагая, что деление производится пропорционально вероятностям. Это деление является единственно справедливым, когда все странные обстоятельства устранены; потому что равная степень вероятности дает равное право на ожидаемую сумму. Мы назовем это преимущество математической надеждой.

Обозначения

Использование буквы E для обозначения «ожидаемого значения» восходит к WA Whitworth в 1901 году. ^[9] С тех пор этот символ стал популярным среди английских писателей. В немецком языке E означает Erwartungswert , в испанском — esperanza matemática , а во французском — espérance mathématique. ^[10]

Когда «E» используется для обозначения «ожидаемого значения», авторы прибегают к различным стилистикам: оператор ожидания может быть стилизован как E (прямой), E (курсив) или ( жирный шрифт ), в то время как используются различные обозначения в квадратных скобках (например, E( X ) , E[ X ] и E X ). ${\displaystyle \mathbb {E} }$

Другое популярное обозначение — μ _X . ⟨ X ⟩ , ⟨ X ⟩ _av , и они широко используются в физике. ^[11] M( X ) используется в русскоязычной литературе. ${\displaystyle {\overline {X}}}$

Определение

Как обсуждалось выше, существует несколько контекстно-зависимых способов определения ожидаемого значения. Самое простое и оригинальное определение касается случая конечного числа возможных результатов, например, подбрасывания монеты. С помощью теории бесконечных рядов это можно распространить на случай счетного числа возможных результатов. Также очень часто рассматривают особый случай случайных величин, продиктованных (кусочно)непрерывными функциями плотности вероятности , поскольку они возникают во многих естественных контекстах. Все эти конкретные определения можно рассматривать как частные случаи общего определения, основанного на математических инструментах теории меры и интегрирования Лебега , которые обеспечивают эти различные контексты аксиоматическим фундаментом и общим языком.

Любое определение ожидаемого значения может быть расширено для определения ожидаемого значения многомерной случайной величины, т. е. случайного вектора X. Он определяется покомпонентно, как E[ X ] _i = E[ X _i ] . Аналогично можно определить ожидаемое значение случайной матрицы X с компонентами X _ij как E[ X ] _ij = E[ X _ij ] .

Случайные величины с конечным числом результатов

Рассмотрим случайную величину X с конечным списком x ₁ , ..., x _k возможных результатов, каждый из которых (соответственно) имеет вероятность p ₁ , ..., p _k появления. Ожидание X определяется как ^[12] $${\displaystyle \operatorname {E} [X]=x_{1}p_{1}+x_{2}p_{2}+\cdots +x_{k}p_{k}.}$$

Поскольку вероятности должны удовлетворять условию p ₁ + ⋅⋅⋅ + p _k = 1 , естественно интерпретировать E[ X ] как взвешенное среднее значений x _i , причем веса задаются их вероятностями p _i .

В частном случае, когда все возможные результаты равновероятны (то есть p ₁ = ⋅⋅⋅ = p _k ), средневзвешенное значение определяется стандартным средним значением . В общем случае ожидаемое значение учитывает тот факт, что некоторые результаты более вероятны, чем другие.

Примеры

Иллюстрация сходимости последовательности средних значений бросков игральной кости к ожидаемому значению 3,5 по мере увеличения числа бросков (попыток)

• Пусть представляет собой результат броска честной шестигранной кости . Точнее, будет числом очков, выпавших на верхней грани кости после броска. Возможные значения для — 1, 2, 3, 4, 5 и 6, все из которых равновероятны с вероятностью ⁠ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle X}$1/6⁠ . Ожидание равно Если бросить кубик несколько раз и вычислить среднее ( среднее арифметическое ) результатов, то по мере роста среднее почти наверняка будет сходиться к ожидаемому значению, факт, известный как усиленный закон больших чисел . ${\displaystyle X}$ $${\displaystyle \operatorname {E} [X]=1\cdot {\frac {1}{6}}+2\cdot {\frac {1}{6}}+3\cdot {\frac {1}{6}}+4\cdot {\frac {1}{6}}+5\cdot {\frac {1}{6}}+6\cdot {\frac {1}{6}}=3.5.}$$ ${\displaystyle n}$ ${\displaystyle n}$
• Игра в рулетку состоит из маленького шарика и колеса с 38 пронумерованными ячейками по краю. Когда колесо вращается, шарик отскакивает случайным образом, пока не остановится в одной из ячеек. Предположим, что случайная величина представляет собой (денежный) результат ставки в 1 доллар на один номер («прямая» ставка). Если ставка выигрывает (что происходит с вероятностью ⁠ ${\displaystyle X}$1/38⁠ в американской рулетке) выигрыш составляет $35; в противном случае игрок проигрывает ставку. Ожидаемая прибыль от такой ставки составит То есть ожидаемое значение выигрыша от ставки в $1 составляет −$ ⁠ $${\displaystyle \operatorname {E} [\,{\text{gain from }}\$1{\text{ bet}}\,]=-\$1\cdot {\frac {37}{38}}+\$35\cdot {\frac {1}{38}}=-\${\frac {1}{19}}.}$$1/19⁠ . Таким образом, при 190 ставках чистый убыток, вероятно, составит около 10 долларов.

Случайные величины с бесконечным счетным множеством результатов

Неформально, ожидание случайной величины со счетно бесконечным множеством возможных результатов определяется аналогично как взвешенное среднее всех возможных результатов, где веса задаются вероятностями реализации каждого данного значения. Это означает, что где x ₁ , x ₂ , ... являются возможными результатами случайной величины X , а p ₁ , p ₂ , ... являются их соответствующими вероятностями. Во многих нематематических учебниках это представлено как полное определение ожидаемых значений в этом контексте. ^[13] $${\displaystyle \operatorname {E} [X]=\sum _{i=1}^{\infty }x_{i}\,p_{i},}$$

Однако существуют некоторые тонкости с бесконечным суммированием, поэтому приведенная выше формула не подходит в качестве математического определения. В частности, теорема Римана о рядах математического анализа иллюстрирует, что значение некоторых бесконечных сумм, включающих положительные и отрицательные слагаемые, зависит от порядка, в котором даны слагаемые. Поскольку результаты случайной величины не имеют естественно заданного порядка, это создает трудности в точном определении ожидаемого значения.

По этой причине многие математические учебники рассматривают только случай, когда бесконечная сумма, указанная выше, сходится абсолютно , что подразумевает, что бесконечная сумма является конечным числом, независимым от порядка слагаемых. ^[14] В альтернативном случае, когда бесконечная сумма не сходится абсолютно, говорят, что случайная величина не имеет конечного математического ожидания. ^[14]

Примеры

• Предположим, что и для , где — коэффициент масштабирования, который делает сумму вероятностей равной 1. Тогда мы имеем ${\displaystyle x_{i}=i}$ ${\displaystyle p_{i}={\tfrac {c}{i\cdot 2^{i}}}}$ ${\displaystyle i=1,2,3,\ldots ,}$ ${\displaystyle c={\tfrac {1}{\ln 2}}}$ $${\displaystyle \operatorname {E} [X]\,=\sum _{i}x_{i}p_{i}=1({\tfrac {c}{2}})+2({\tfrac {c}{8}})+3({\tfrac {c}{24}})+\cdots \,=\,{\tfrac {c}{2}}+{\tfrac {c}{4}}+{\tfrac {c}{8}}+\cdots \,=\,c\,=\,{\tfrac {1}{\ln 2}}.}$$

Случайные величины с плотностью

Теперь рассмотрим случайную величину X , которая имеет функцию плотности вероятности, заданную функцией f на действительной числовой прямой . Это означает, что вероятность того, что X примет значение в любом заданном открытом интервале, задается интегралом f по этому интервалу. Тогда ожидание X задается интегралом ^[15] Общая и математически точная формулировка этого определения использует теорию меры и интегрирование Лебега , а соответствующая теория абсолютно непрерывных случайных величин описана в следующем разделе. Функции плотности многих общих распределений являются кусочно-непрерывными , и как таковая теория часто разрабатывается в этой ограниченной обстановке. ^[16] Для таких функций достаточно рассмотреть только стандартное интегрирование Римана . Иногда непрерывные случайные величины определяются как соответствующие этому специальному классу плотностей, хотя этот термин используется по-разному разными авторами. $${\displaystyle \operatorname {E} [X]=\int _{-\infty }^{\infty }xf(x)\,dx.}$$

Аналогично счетно-бесконечному случаю выше, есть тонкости с этим выражением из-за бесконечной области интегрирования. Такие тонкости можно увидеть конкретно, если распределение X задано распределением Коши Коши (0, π) , так что f ( x ) = ( x ² + π ² ) ⁻¹ . В этом случае легко вычислить, что Предела этого выражения при a → −∞ и b → ∞ не существует: если пределы взяты так, что a = − b , то предел равен нулю, в то время как если взято ограничение 2 a = − b , то предел равен ln(2) . $${\displaystyle \int _{a}^{b}xf(x)\,dx=\int _{a}^{b}{\frac {x}{x^{2}+\pi ^{2}}}\,dx={\frac {1}{2}}\ln {\frac {b^{2}+\pi ^{2}}{a^{2}+\pi ^{2}}}.}$$

Чтобы избежать подобных двусмысленностей, в математических учебниках принято требовать, чтобы заданный интеграл сходился абсолютно , в противном случае E[ X ] остается неопределенным. ^[17] Однако теоретико-мерные понятия, приведенные ниже, можно использовать для того, чтобы дать систематическое определение E[ X ] для более общих случайных величин X .

Произвольные действительные случайные величины

Все определения ожидаемого значения могут быть выражены на языке теории меры . В общем случае, если X — это действительно значимая случайная величина, определенная на вероятностном пространстве (Ω, Σ, P) , то ожидаемое значение X , обозначаемое как E[ X ] , определяется как интеграл Лебега ^[18]. Несмотря на новую абстрактную ситуацию, это определение чрезвычайно похоже по своей природе на простейшее определение ожидаемых значений, данное выше, как некоторые взвешенные средние. Это связано с тем, что в теории меры значение интеграла Лебега X определяется через взвешенные средние приближений X , которые принимают конечное число значений. ^[19] Более того, если дана случайная величина с конечным или счетным числом возможных значений, теория ожидания Лебега идентична формулам суммирования, приведенным выше. Однако теория Лебега проясняет область действия теории функций плотности вероятности. Случайная величина X называется абсолютно непрерывной, если выполняется любое из следующих условий: $${\displaystyle \operatorname {E} [X]=\int _{\Omega }X\,d\operatorname {P} .}$$

• существует неотрицательная измеримая функция f на действительной прямой такая, что для любого борелевского множества A , в котором интеграл является лебеговским. $${\displaystyle \operatorname {P} (X\in A)=\int _{A}f(x)\,dx,}$$
• кумулятивная функция распределения X абсолютно непрерывна .
• для любого борелевского множества A действительных чисел с мерой Лебега , равной нулю, вероятность того, что X имеет значение в A, также равна нулю
• Для любого положительного числа ε существует положительное число δ такое, что: если A — борелевское множество с мерой Лебега, меньшей δ , то вероятность того, что X имеет значение в A, меньше ε .

Все эти условия эквивалентны, хотя это нетривиально установить. ^[20] В этом определении f называется функцией плотности вероятности X (относительно меры Лебега). Согласно формуле замены переменных для интегрирования Лебега ^[21] в сочетании с законом бессознательного статистика [ 22 ^] следует, что для любой абсолютно непрерывной случайной величины X . Таким образом, приведенное выше обсуждение непрерывных случайных величин является частным случаем общей теории Лебега из-за того, что каждая кусочно-непрерывная функция измерима. $${\displaystyle \operatorname {E} [X]\equiv \int _{\Omega }X\,d\operatorname {P} =\int _{\mathbb {R} }xf(x)\,dx}$$

Ожидаемое значение μ и медиана 𝑚

Ожидаемое значение любой действительной случайной величины также может быть определено на графике ее кумулятивной функции распределения близким равенством площадей. Фактически, с действительным числом тогда и только тогда, когда две поверхности в - -плоскости, описываемые соответственно, имеют одинаковую конечную площадь, т.е. если и оба несобственных интеграла Римана сходятся. Наконец, это эквивалентно представлению ${\displaystyle X}$ ${\displaystyle F}$ ${\displaystyle \operatorname {E} [X]=\mu }$ ${\displaystyle \mu }$ ${\displaystyle x}$ ${\displaystyle y}$ $${\displaystyle x\leq \mu ,\;\,0\leq y\leq F(x)\quad {\text{or}}\quad x\geq \mu ,\;\,F(x)\leq y\leq 1}$$ $${\displaystyle \int _{-\infty }^{\mu }F(x)\,dx=\int _{\mu }^{\infty }{\big (}1-F(x){\big )}\,dx}$$ $${\displaystyle \operatorname {E} [X]=\int _{0}^{\infty }{\bigl (}1-F(x){\bigr )}\,dx-\int _{-\infty }^{0}F(x)\,dx,}$$также со сходящимися интегралами. ^[23]

Бесконечные ожидаемые значения

Ожидаемые значения, как определено выше, автоматически являются конечными числами. Однако во многих случаях принципиально важно иметь возможность рассматривать ожидаемые значения ±∞ . Это интуитивно понятно, например, в случае парадокса Санкт-Петербурга , в котором рассматривается случайная величина с возможными результатами x _i = 2 ⁱ , с соответствующими вероятностями p _i = 2 ^{− i} , для i , пробегающего все положительные целые числа. Согласно формуле суммирования в случае случайных величин со счетным числом результатов, естественно сказать, что ожидаемое значение равно +∞ . $${\displaystyle \operatorname {E} [X]=\sum _{i=1}^{\infty }x_{i}\,p_{i}=2\cdot {\frac {1}{2}}+4\cdot {\frac {1}{4}}+8\cdot {\frac {1}{8}}+16\cdot {\frac {1}{16}}+\cdots =1+1+1+1+\cdots .}$$

В основе таких идей лежит строгая математическая теория, которая часто рассматривается как часть определения интеграла Лебега. ^[19] Первое фундаментальное наблюдение заключается в том, что, какое бы из приведенных выше определений ни использовалось, любой неотрицательной случайной величине может быть присвоено однозначное ожидаемое значение; всякий раз, когда абсолютная сходимость не выполняется, ожидаемое значение можно определить как +∞ . Второе фундаментальное наблюдение заключается в том, что любую случайную величину можно записать как разность двух неотрицательных случайных величин. Для случайной величины X определяются положительные и отрицательные части как X ⁺ = max( X , 0) и X ⁻ = −min( X , 0) . Это неотрицательные случайные величины, и можно напрямую проверить, что X = X ⁺ − X ⁻ . Поскольку E[ X ⁺ ] и E[ X ⁻ ] оба определяются либо как неотрицательные числа, либо как +∞ , то естественно определить: $${\displaystyle \operatorname {E} [X]={\begin{cases}\operatorname {E} [X^{+}]-\operatorname {E} [X^{-}]&{\text{if }}\operatorname {E} [X^{+}]<\infty {\text{ and }}\operatorname {E} [X^{-}]<\infty ;\\+\infty &{\text{if }}\operatorname {E} [X^{+}]=\infty {\text{ and }}\operatorname {E} [X^{-}]<\infty ;\\-\infty &{\text{if }}\operatorname {E} [X^{+}]<\infty {\text{ and }}\operatorname {E} [X^{-}]=\infty ;\\{\text{undefined}}&{\text{if }}\operatorname {E} [X^{+}]=\infty {\text{ and }}\operatorname {E} [X^{-}]=\infty .\end{cases}}}$$

Согласно этому определению, E[ X ] существует и является конечным тогда и только тогда, когда E[ X ⁺ ] и E[ X ⁻ ] оба конечны. В силу формулы | X | = X ⁺ + X ⁻ , это имеет место тогда и только тогда, когда E| X | является конечным, и это эквивалентно условиям абсолютной сходимости в определениях выше. Таким образом, настоящие соображения не определяют конечные ожидаемые значения в каких-либо случаях, не рассмотренных ранее; они полезны только для бесконечных ожиданий.

• В случае петербургского парадокса X ⁻ = 0 и, следовательно, E[ X ] = +∞ , что и требовалось.
• Предположим, что случайная величина X принимает значения 1, −2,3, −4, ... с соответствующими вероятностями 6π ⁻² , 6(2π) ⁻² , 6(3π) ⁻² , 6(4π) ⁻² , ... . Тогда следует, что X ⁺ принимает значение 2 k −1 с вероятностью 6((2 k −1)π) ⁻² для каждого положительного целого числа k и принимает значение 0 с оставшейся вероятностью. Аналогично, X ⁻ принимает значение 2 k с вероятностью 6(2 k π) ⁻² для каждого положительного целого числа k и принимает значение 0 с оставшейся вероятностью. Используя определение для неотрицательных случайных величин, можно показать, что как E[ X ⁺ ] = ∞ , так и E[ X ⁻ ] = ∞ (см. Гармонический ряд ). Следовательно, в этом случае ожидание X не определено.
• Аналогично, распределение Коши, как обсуждалось выше, имеет неопределенное математическое ожидание.

Ожидаемые значения общих распределений

В следующей таблице приведены ожидаемые значения некоторых часто встречающихся распределений вероятностей . В третьем столбце приведены ожидаемые значения как в форме, непосредственно заданной определением, так и в упрощенной форме, полученной путем вычисления из него. Подробности этих вычислений, которые не всегда просты, можно найти в указанных ссылках.

Характеристики

Основные свойства ниже (и их названия выделены жирным шрифтом) копируют или непосредственно следуют из свойств интеграла Лебега . Обратите внимание, что буквы "as" обозначают " почти наверняка " — центральное свойство интеграла Лебега. По сути, говорят, что неравенство типа верно почти наверняка, когда мера вероятности приписывает нулевую массу дополнительному событию ${\displaystyle X\geq 0}$ ${\displaystyle \left\{X<0\right\}.}$

• Неотрицательность: Если (как), то ${\displaystyle X\geq 0}$ ${\displaystyle \operatorname {E} [X]\geq 0.}$
• Линейность ожидания: ^[34] Оператор ожидаемого значения (или оператор ожидания )является линейным в том смысле, что для любых случайных величинии константывсякий раз, когда правая часть хорошо определена. По индукции это означает, что ожидаемое значение суммы любого конечного числа случайных величин является суммой ожидаемых значений отдельных случайных величин, и ожидаемое значение масштабируется линейно с мультипликативной константой. Символически дляслучайных величини константмы имеемЕсли мы думаем о множестве случайных величин с конечным ожидаемым значением как о формировании векторного пространства, то линейность ожидания подразумевает, что ожидаемое значение является линейной формой на этом векторном пространстве. ${\displaystyle \operatorname {E} [\cdot ]}$ ${\displaystyle X}$ ${\displaystyle Y,}$ ${\displaystyle a,}$ $${\displaystyle {\begin{aligned}\operatorname {E} [X+Y]&=\operatorname {E} [X]+\operatorname {E} [Y],\\\operatorname {E} [aX]&=a\operatorname {E} [X],\end{aligned}}}$$ ${\displaystyle N}$ ${\displaystyle X_{i}}$ ${\displaystyle a_{i}(1\leq i\leq N),}$ ${\textstyle \operatorname {E} \left[\sum _{i=1}^{N}a_{i}X_{i}\right]=\sum _{i=1}^{N}a_{i}\operatorname {E} [X_{i}].}$
• Монотонность: Если (как) , и оба и существуют, то ${\displaystyle X\leq Y}$ ${\displaystyle \operatorname {E} [X]}$ ${\displaystyle \operatorname {E} [Y]}$ ${\displaystyle \operatorname {E} [X]\leq \operatorname {E} [Y].}$
  Доказательство следует из линейности и свойства неотрицательности для так как (as). ${\displaystyle Z=Y-X,}$ ${\displaystyle Z\geq 0}$
• Невырожденность: Если , то (как). ${\displaystyle \operatorname {E} [|X|]=0,}$ ${\displaystyle X=0}$
• Если (as) , то Другими словами, если X и Y — случайные величины, которые принимают разные значения с вероятностью ноль, то ожидание X будет равно ожиданию Y. ${\displaystyle X=Y}$ ${\displaystyle \operatorname {E} [X]=\operatorname {E} [Y].}$
• Если (as) для некоторого действительного числа c , то В частности, для случайной величины с хорошо определенным ожиданием, Хорошо определенное ожидание подразумевает, что существует одно число, или, скорее, одна константа, которая определяет ожидаемое значение. Отсюда следует, что ожидание этой константы — это просто исходное ожидаемое значение. ${\displaystyle X=c}$ ${\displaystyle \operatorname {E} [X]=c.}$ ${\displaystyle X}$ ${\displaystyle \operatorname {E} [\operatorname {E} [X]]=\operatorname {E} [X].}$
• Как следствие формулы | X | = X ⁺ + X ^{− ,} обсуждавшейся выше, вместе с неравенством треугольника следует, что для любой случайной величины с четко определенным математическим ожиданием, имеем ${\displaystyle X}$ ${\displaystyle |\operatorname {E} [X]|\leq \operatorname {E} |X|.}$
• Пусть 1 _A обозначает индикаторную функцию события A , тогда E[ 1 _A ] задается вероятностью A. Это не что иное, как другой способ выражения ожидания случайной величины Бернулли , рассчитанной в таблице выше.
• Формулы в терминах CDF: Если — кумулятивная функция распределения случайной величины X , то где значения с обеих сторон хорошо определены или нехорошо определены одновременно, и интеграл берется в смысле Лебега-Стилтьеса . Как следствие интегрирования по частям , примененного к этому представлению E[ X ] , можно доказать, что с интегралами, взятыми в смысле Лебега. ^[35] В качестве особого случая для любой случайной величины X, имеющей неотрицательные целые числа {0, 1, 2, 3, ...} , имеем где P обозначает базовую меру вероятности. ${\displaystyle F(x)}$ $${\displaystyle \operatorname {E} [X]=\int _{-\infty }^{\infty }x\,dF(x),}$$ $${\displaystyle \operatorname {E} [X]=\int _{0}^{\infty }(1-F(x))\,dx-\int _{-\infty }^{0}F(x)\,dx,}$$ $${\displaystyle \operatorname {E} [X]=\sum _{n=0}^{\infty }\Pr(X>n),}$$
• Немультипликативность: В общем случае ожидаемое значение не является мультипликативным, т.е. не обязательно равно Если и независимы , то можно показать, что Если случайные величины зависимы , то, как правило, хотя в особых случаях зависимости равенство может иметь место. ${\displaystyle \operatorname {E} [XY]}$ ${\displaystyle \operatorname {E} [X]\cdot \operatorname {E} [Y].}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y].}$ ${\displaystyle \operatorname {E} [XY]\neq \operatorname {E} [X]\operatorname {E} [Y],}$
• Закон бессознательного статистика : Ожидаемое значение измеримой функции заданной, которая имеет функцию плотности вероятности, определяется внутренним произведением и : [ ^34] Эта формула справедлива также в многомерном случае, когда является функцией нескольких случайных величин, а является их совместной плотностью . ^{[34] [36]} ${\displaystyle X,}$ ${\displaystyle g(X),}$ ${\displaystyle X}$ ${\displaystyle f(x),}$ ${\displaystyle f}$ ${\displaystyle g}$ $${\displaystyle \operatorname {E} [g(X)]=\int _{\mathbb {R} }g(x)f(x)\,dx.}$$ ${\displaystyle g}$ ${\displaystyle f}$

Неравенства

Неравенства концентрации контролируют вероятность того, что случайная величина принимает большие значения. Неравенство Маркова является одним из самых известных и простых для доказательства: для неотрицательной случайной величины X и любого положительного числа a оно утверждает, что ^[37] $${\displaystyle \operatorname {P} (X\geq a)\leq {\frac {\operatorname {E} [X]}{a}}.}$$

Если X — любая случайная величина с конечным ожиданием, то неравенство Маркова можно применить к случайной величине | X − E[ X ]| ^2, чтобы получить неравенство Чебышева , где Var — дисперсия . ^[37] Эти неравенства важны из-за почти полного отсутствия условных предположений. Например, для любой случайной величины с конечным ожиданием неравенство Чебышева подразумевает, что существует по крайней мере 75% вероятность того, что результат будет находиться в пределах двух стандартных отклонений от ожидаемого значения. Однако в особых случаях неравенства Маркова и Чебышева часто дают гораздо более слабую информацию, чем та, которая доступна в противном случае. Например, в случае невзвешенной игральной кости неравенство Чебышева гласит, что вероятность выпадения числа от 1 до 6 составляет по крайней мере 53%; в действительности эта вероятность, конечно, составляет 100%. ^[38] Неравенство Колмогорова расширяет неравенство Чебышева на контекст сумм случайных величин. ^[39] $${\displaystyle \operatorname {P} (|X-{\text{E}}[X]|\geq a)\leq {\frac {\operatorname {Var} [X]}{a^{2}}},}$$

Следующие три неравенства имеют фундаментальное значение в области математического анализа и его приложений к теории вероятностей.

• Неравенство Йенсена : Пусть f : R → R — выпуклая функция , а X — случайная величина с конечным математическим ожиданием. Тогда ^[40] Часть утверждения заключается в том, что отрицательная часть f ( X ) имеет конечное математическое ожидание, так что правая часть хорошо определена (возможно, бесконечна). Выпуклость f можно сформулировать так, что выход взвешенного среднего двух входов недооценивает то же взвешенное среднее двух выходов; неравенство Йенсена распространяет это на установку совершенно общих взвешенных средних, представленных математическим ожиданием. В частном случае, когда f ( x ) = | x | ^{t / s} для положительных чисел s < t , получается неравенство Ляпунова ^[41] Это также можно доказать с помощью неравенства Гёльдера. ^[40] В теории меры это особенно примечательно для доказательства включения L ^s ⊂ L ^t пространств L p в частном случае вероятностных пространств . $${\displaystyle f(\operatorname {E} (X))\leq \operatorname {E} (f(X)).}$$ $${\displaystyle \left(\operatorname {E} |X|^{s}\right)^{1/s}\leq \left(\operatorname {E} |X|^{t}\right)^{1/t}.}$$
• Неравенство Гёльдера : если p > 1 и q > 1 — числа, удовлетворяющие p ⁻¹ + q ⁻¹ = 1 , то для любых случайных величин X и Y . ^[40] Частный случай p = q = 2 называется неравенством Коши–Шварца и особенно хорошо известен. ^[40] $${\displaystyle \operatorname {E} |XY|\leq (\operatorname {E} |X|^{p})^{1/p}(\operatorname {E} |Y|^{q})^{1/q}.}$$
• Неравенство Минковского : если задано любое число p ≥ 1 , для любых случайных величин X и Y , где E| X | ^p и E| Y | ^p оба конечны, следует, что E| X + Y | ^p также конечна и ^[42] $${\displaystyle {\Bigl (}\operatorname {E} |X+Y|^{p}{\Bigr )}^{1/p}\leq {\Bigl (}\operatorname {E} |X|^{p}{\Bigr )}^{1/p}+{\Bigl (}\operatorname {E} |Y|^{p}{\Bigr )}^{1/p}.}$$

Неравенства Гёльдера и Минковского могут быть расширены на общие мерные пространства и часто приводятся в этом контексте. Напротив, неравенство Йенсена является специальным для случая вероятностных пространств.

Ожидания при сходимости случайных величин

В общем случае это не так, даже если поточечно. Таким образом, нельзя поменять местами пределы и ожидание без дополнительных условий на случайные величины. Чтобы увидеть это, пусть будет случайной величиной, равномерно распределенной на Для определим последовательность случайных величин с являющейся индикаторной функцией события Тогда следует, что поточечно. Но для каждого Следовательно, ${\displaystyle \operatorname {E} [X_{n}]\to \operatorname {E} [X]}$ ${\displaystyle X_{n}\to X}$ ${\displaystyle U}$ ${\displaystyle [0,1].}$ ${\displaystyle n\geq 1,}$ $${\displaystyle X_{n}=n\cdot \mathbf {1} \left\{U\in \left(0,{\tfrac {1}{n}}\right)\right\},}$$ ${\displaystyle \mathbf {1} \{A\}}$ ${\displaystyle A.}$ ${\displaystyle X_{n}\to 0}$ ${\displaystyle \operatorname {E} [X_{n}]=n\cdot \Pr \left(U\in \left[0,{\tfrac {1}{n}}\right]\right)=n\cdot {\tfrac {1}{n}}=1}$ ${\displaystyle n.}$ ${\displaystyle \lim _{n\to \infty }\operatorname {E} [X_{n}]=1\neq 0=\operatorname {E} \left[\lim _{n\to \infty }X_{n}\right].}$

Аналогично, для общей последовательности случайных величин оператор ожидаемого значения не является -аддитивным, т.е. ${\displaystyle \{Y_{n}:n\geq 0\},}$ ${\displaystyle \sigma }$ $${\displaystyle \operatorname {E} \left[\sum _{n=0}^{\infty }Y_{n}\right]\neq \sum _{n=0}^{\infty }\operatorname {E} [Y_{n}].}$$

Пример легко получить, установив и для , где , как в предыдущем примере. ${\displaystyle Y_{0}=X_{1}}$ ${\displaystyle Y_{n}=X_{n+1}-X_{n}}$ ${\displaystyle n\geq 1,}$ ${\displaystyle X_{n}}$

Ряд результатов конвергенции определяют точные условия, которые позволяют менять пределы и ожидания, как указано ниже.

• Теорема о монотонной сходимости : Пусть будет последовательностью случайных величин, с (as) для каждого Кроме того, пусть поточечно. Тогда теорема о монотонной сходимости утверждает, что ${\displaystyle \{X_{n}:n\geq 0\}}$ ${\displaystyle 0\leq X_{n}\leq X_{n+1}}$ ${\displaystyle n\geq 0.}$ ${\displaystyle X_{n}\to X}$ ${\displaystyle \lim _{n}\operatorname {E} [X_{n}]=\operatorname {E} [X].}$
  Используя теорему о монотонной сходимости, можно показать, что ожидание действительно удовлетворяет счетной аддитивности для неотрицательных случайных величин. В частности, пусть будут неотрицательными случайными величинами. Из теоремы о монотонной сходимости следует , что ${\displaystyle \{X_{i}\}_{i=0}^{\infty }}$ $${\displaystyle \operatorname {E} \left[\sum _{i=0}^{\infty }X_{i}\right]=\sum _{i=0}^{\infty }\operatorname {E} [X_{i}].}$$
• Лемма Фату : Пусть — последовательность неотрицательных случайных величин. Лемма Фату утверждает, что ${\displaystyle \{X_{n}\geq 0:n\geq 0\}}$ $${\displaystyle \operatorname {E} [\liminf _{n}X_{n}]\leq \liminf _{n}\operatorname {E} [X_{n}].}$$
  Следствие. Пусть при для всех Если (как), то ${\displaystyle X_{n}\geq 0}$ ${\displaystyle \operatorname {E} [X_{n}]\leq C}$ ${\displaystyle n\geq 0.}$ ${\displaystyle X_{n}\to X}$ ${\displaystyle \operatorname {E} [X]\leq C.}$
  Доказательство заключается в наблюдении того, что (as) и применении леммы Фату. ${\textstyle X=\liminf _{n}X_{n}}$
• Теорема о доминируемой сходимости : Пусть — последовательность случайных величин. Если поточечно (as), (as), и Тогда, согласно теореме о доминируемой сходимости, ${\displaystyle \{X_{n}:n\geq 0\}}$ ${\displaystyle X_{n}\to X}$ ${\displaystyle |X_{n}|\leq Y\leq +\infty }$ ${\displaystyle \operatorname {E} [Y]<\infty .}$
  • ${\displaystyle \operatorname {E} |X|\leq \operatorname {E} [Y]<\infty }$;
  • ${\displaystyle \lim _{n}\operatorname {E} [X_{n}]=\operatorname {E} [X]}$
  • ${\displaystyle \lim _{n}\operatorname {E} |X_{n}-X|=0.}$
• Равномерная интегрируемость : в некоторых случаях равенство имеет место, когда последовательность равномерно интегрируема . ${\displaystyle \lim _{n}\operatorname {E} [X_{n}]=\operatorname {E} [\lim _{n}X_{n}]}$ ${\displaystyle \{X_{n}\}}$

Связь с характеристической функцией

Функция плотности вероятности скалярной случайной величины связана с ее характеристической функцией формулой обращения: ${\displaystyle f_{X}}$ ${\displaystyle X}$ ${\displaystyle \varphi _{X}}$ $${\displaystyle f_{X}(x)={\frac {1}{2\pi }}\int _{\mathbb {R} }e^{-itx}\varphi _{X}(t)\,dt.}$$

Для ожидаемого значения (где — функция Бореля ) мы можем использовать эту формулу обращения, чтобы получить ${\displaystyle g(X)}$ ${\displaystyle g:{\mathbb {R} }\to {\mathbb {R} }}$ $${\displaystyle \operatorname {E} [g(X)]={\frac {1}{2\pi }}\int _{\mathbb {R} }g(x)\left[\int _{\mathbb {R} }e^{-itx}\varphi _{X}(t)\,dt\right]dx.}$$

Если конечно, то, меняя порядок интегрирования, получаем в соответствии с теоремой Фубини–Тонелли , где — преобразование Фурье от Выражение для также следует непосредственно из теоремы Планшереля . ${\displaystyle \operatorname {E} [g(X)]}$ $${\displaystyle \operatorname {E} [g(X)]={\frac {1}{2\pi }}\int _{\mathbb {R} }G(t)\varphi _{X}(t)\,dt,}$$ $${\displaystyle G(t)=\int _{\mathbb {R} }g(x)e^{-itx}\,dx}$$ ${\displaystyle g(x).}$ ${\displaystyle \operatorname {E} [g(X)]}$

Использование и применение

Ожидание случайной величины играет важную роль в различных контекстах.

В статистике , где ищутся оценки неизвестных параметров на основе имеющихся данных, полученных из выборок , выборочное среднее служит оценкой для ожидания и само по себе является случайной величиной. В таких условиях выборочное среднее считается соответствующим желаемому критерию для «хорошей» оценки, будучи несмещенным ; то есть ожидаемое значение оценки равно истинному значению базового параметра.

Другой пример: в теории принятия решений часто предполагается, что агент, делающий оптимальный выбор в условиях неполной информации, максимизирует ожидаемое значение своей функции полезности .

Можно построить ожидаемое значение, равное вероятности события, взяв ожидание индикаторной функции , которая равна единице, если событие произошло, и нулю в противном случае. Это соотношение можно использовать для перевода свойств ожидаемых значений в свойства вероятностей, например, используя закон больших чисел для обоснования оценки вероятностей по частотам .

Ожидаемые значения степеней X называются моментами X ; моменты относительно среднего значения X являются ожидаемыми значениями степеней X − E[ X ] . Моменты некоторых случайных величин можно использовать для задания их распределений с помощью их функций генерации моментов .

Чтобы эмпирически оценить ожидаемое значение случайной величины, нужно многократно измерять наблюдения переменной и вычислять среднее арифметическое результатов. Если ожидаемое значение существует, эта процедура оценивает истинное ожидаемое значение беспристрастным образом и обладает свойством минимизации суммы квадратов остатков ( суммы квадратов разностей между наблюдениями и оценкой). Закон больших чисел показывает (при довольно мягких условиях), что по мере увеличения размера выборки дисперсия этой оценки уменьшается.

Это свойство часто используется в самых разных приложениях, включая общие проблемы статистической оценки и машинного обучения , для оценки (вероятностных) интересующих величин с помощью методов Монте-Карло , поскольку большинство интересующих величин можно записать в терминах ожидания, например, где - индикаторная функция множества ${\displaystyle \operatorname {P} ({X\in {\mathcal {A}}})=\operatorname {E} [{\mathbf {1} }_{\mathcal {A}}],}$ ${\displaystyle {\mathbf {1} }_{\mathcal {A}}}$ ${\displaystyle {\mathcal {A}}.}$

Масса распределения вероятностей сбалансирована по ожидаемому значению, в данном случае это распределение Бета(α,β) с ожидаемым значением α/(α+β).

В классической механике центр масс — это аналогичное ожиданию понятие. Например, предположим, что X — это дискретная случайная величина со значениями x _i и соответствующими вероятностями p _i . Теперь рассмотрим невесомый стержень, на котором размещены грузы в точках x _i вдоль стержня, имеющие массы p _i (сумма которых равна единице). Точка, в которой стержень уравновешивается, — это E[ X ].

Ожидаемые значения также можно использовать для вычисления дисперсии с помощью формулы расчета дисперсии $${\displaystyle \operatorname {Var} (X)=\operatorname {E} [X^{2}]-(\operatorname {E} [X])^{2}.}$$

Очень важное применение математического ожидания имеет область квантовой механики . Математическое ожидание квантово-механического оператора, действующего на вектор квантового состояния , записывается как Неопределенность в может быть вычислена по формуле . ${\displaystyle {\hat {A}}}$ ${\displaystyle |\psi \rangle }$ ${\displaystyle \langle {\hat {A}}\rangle =\langle \psi |{\hat {A}}|\psi \rangle .}$ ${\displaystyle {\hat {A}}}$ ${\displaystyle (\Delta A)^{2}=\langle {\hat {A}}^{2}\rangle -\langle {\hat {A}}\rangle ^{2}}$

Смотрите также

• Центральная тенденция
• Условное ожидание
• Ожидание (эпистемическое)
• Ожидаемый – связан с ожиданиями аналогично тому, как квантили связаны с медианами.
• Закон полного ожидания – ожидаемое значение условного ожидаемого значения X при условии Y равно ожидаемому значению X.
• Медиана – обозначена на рисунке выше ${\displaystyle m}$
• Нелинейное ожидание – обобщение ожидаемого значения
• Среднее значение населения
• Прогнозируемое значение
• Уравнение Вальда – уравнение для расчета ожидаемого значения случайного числа случайных величин.

Ссылки

1. "Ожидание | Среднее | Среднее". www.probabilitycourse.com . Получено 11.09.2020 .
2. Хансен, Брюс. "ВЕРОЯТНОСТЬ И СТАТИСТИКА ДЛЯ ЭКОНОМИСТОВ" (PDF) . Архивировано из оригинала (PDF) 2022-01-19 . Получено 2021-07-20 .
3. Вассерман, Ларри (декабрь 2010 г.). Вся статистика: краткий курс статистического вывода . Тексты Springer по статистике. стр. 47. ISBN 9781441923226.
4. История теории вероятностей и статистики и их применения до 1750 года . Wiley Series in Probability and Statistics. 1990. doi :10.1002/0471725161. ISBN 9780471725169.
5. Оре, Ойстейн (1960). «Оре, Паскаль и изобретение теории вероятностей». The American Mathematical Monthly . 67 (5): 409–419. doi :10.2307/2309286. JSTOR  2309286.
6. Джордж Макки (июль 1980 г.). «ГАРМОНИЧЕСКИЙ АНАЛИЗ КАК ЭКСПЛУАТАЦИЯ СИММЕТРИИ — ИСТОРИЧЕСКИЙ ОБЗОР». Бюллетень Американского математического общества . Новая серия. 3 (1): 549.
7. Гюйгенс, Кристиан. «Значение шансов в азартных играх. Английский перевод» (PDF) .
8. Лаплас, Пьер Симон, маркиз де, 1749-1827. (1952) [1951]. Философское эссе о вероятностях . Dover Publications. OCLC  475539.{{cite book}}: CS1 maint: multiple names: authors list (link) CS1 maint: numeric names: authors list (link)
9. Уитворт, WA (1901) Выбор и случай с тысячей упражнений. Пятое издание. Дейтон Белл, Кембридж. [Перепечатано Hafner Publishing Co., Нью-Йорк, 1959.]
10. «Ранние примеры использования символов в теории вероятностей и статистике».
11. Феллер 1968, стр. 221.
12. Биллингсли 1995, стр. 76.
13. Росс 2019, Раздел 2.4.1.
14. Feller 1968, Раздел IX.2.
15. Папулис и Пиллаи 2002, раздел 5-3; Росс 2019, раздел 2.4.2.
16. Феллер 1971, Раздел I.2.
17. Феллер 1971, стр. 5.
18. Биллингсли 1995, стр. 273.
19. Billingsley 1995, Раздел 15.
20. Биллингсли 1995, Теоремы 31.7 и 31.8 и стр. 422.
21. Биллинсли 1995, Теорема 16.13.
22. Биллинсли 1995, Теорема 16.11.
23. Уль, Роланд (2023). Charakterisierung des Erwartungswertes am Graphen der Verteilungsfunktion [ Характеристика ожидаемого значения на графике кумулятивной функции распределения ] (PDF) . Высшая техническая школа Бранденбурга. дои : 10.25933/opus4-2986 .стр. 2–4.
24. Casella & Berger 2001, стр. 89; Ross 2019, Пример 2.16.
25. Каселла и Бергер 2001, Пример 2.2.3; Росс 2019, Пример 2.17.
26. Биллингсли 1995, Пример 21.4; Каселла и Бергер 2001, стр. 92; Росс 2019, Пример 2.19.
27. Casella & Berger 2001, стр. 97; Ross 2019, пример 2.18.
28. Casella & Berger 2001, стр. 99; Ross 2019, пример 2.20.
29. Биллингсли 1995, Пример 21.3; Каселла и Бергер 2001, Пример 2.2.2; Росс 2019, Пример 2.21.
30. Casella & Berger 2001, стр. 103; Ross 2019, пример 2.22.
31. Биллингсли 1995, Пример 21.1; Каселла и Бергер 2001, стр. 103.
32. Джонсон, Коц и Балакришнан 1994, Глава 20.
33. Феллер 1971, Раздел II.4.
34. Weisstein, Eric W. "Expectation Value". mathworld.wolfram.com . Получено 11 сентября 2020 г. .
35. Феллер 1971, Раздел V.6.
36. Папулис и Пиллаи 2002, раздел 6-4.
37. Feller 1968, Раздел IX.6; Feller 1971, Раздел V.7; Papoulis & Pillai 2002, Раздел 5-4; Ross 2019, Раздел 2.8.
38. Феллер 1968, Раздел IX.6.
39. Феллер 1968, Раздел IX.7.
40. Феллер 1971, Раздел V.8.
41. Биллингсли 1995, стр. 81, 277.
42. Биллингсли 1995, Раздел 19.

Библиография

• Эдвардс, AWF (2002). Арифметический треугольник Паскаля: история математической идеи (2-е изд.). JHU Press. ISBN 0-8018-6946-3.
• Гюйгенс, Христиан (1657). Deatiociniis in ludo aleæ (английский перевод, опубликован в 1714 году) .
• Биллингсли, Патрик (1995). Вероятность и мера . Wiley Series in Probability and Mathematical Statistics (Третье издание 1979 оригинального издания). Нью-Йорк: John Wiley & Sons, Inc. ISBN 0-471-00710-2. МР  1324786.
• Casella, George ; Berger, Roger L. (2001). Статистический вывод . Duxbury Advanced Series (Второе издание оригинального издания 1990 года). Pacific Grove, CA: Duxbury. ISBN 0-534-11958-1.
• Феллер, Уильям (1968). Введение в теорию вероятностей и ее приложения. Том I (Третье издание оригинальной редакции 1950 г.). Нью-Йорк–Лондон–Сидней: John Wiley & Sons, Inc. MR  0228020.
• Феллер, Уильям (1971). Введение в теорию вероятностей и ее приложения. Том II (Второе издание оригинального издания 1966 года). Нью-Йорк–Лондон–Сидней: John Wiley & Sons, Inc. MR  0270403.
• Джонсон, Норман Л.; Коц , Сэмюэл ; Балакришнан, Н. (1994). Непрерывные одномерные распределения. Том 1. Wiley Series in Probability and Mathematical Statistics (Второе издание оригинального издания 1970 г.). Нью-Йорк: John Wiley & Sons, Inc. ISBN 0-471-58495-9. МР  1299979.
• Papoulis, Athanasios ; Pillai, S. Unnikrishna (2002). Вероятность, случайные величины и стохастические процессы (Четвертое издание оригинального издания 1965 года). Нью-Йорк: McGraw-Hill. ISBN 0-07-366011-6. (Опечатка: [1])
• Росс, Шелдон М. (2019). Введение в вероятностные модели (двенадцатое издание оригинальной редакции 1972 г.). Лондон: Academic Press. doi :10.1016/C2017-0-01324-1. ISBN 978-0-12-814346-9. МР  3931305.