Неравенство Дженсена

Теорема о выпуклых функциях

Неравенство Йенсена обобщает утверждение о том, что секущая выпуклой функции лежит над ее графиком.

Визуализация выпуклости и неравенства Йенсена

В математике неравенство Йенсена , названное в честь датского математика Йохана Йенсена , связывает значение выпуклой функции интеграла с интегралом выпуклой функции. Оно было доказано Йенсеном в 1906 году, ^[1] на основе более раннего доказательства того же неравенства для дважды дифференцируемых функций, сделанного Отто Гёльдером в 1889 году . ^[2] Учитывая его общность, неравенство появляется во многих формах в зависимости от контекста, некоторые из которых представлены ниже. В своей простейшей форме неравенство гласит, что выпуклое преобразование среднего меньше или равно среднему, примененному после выпуклого преобразования; Из простого следствия следует , что для вогнутых преобразований верно обратное. ^[3]

Неравенство Йенсена обобщает утверждение о том, что секущая линия выпуклой функции лежит над графиком функции , что является неравенством Йенсена для двух точек: секущая линия состоит из взвешенных средних значений выпуклой функции (при t  ∈ [0,1]) ,

${\displaystyle tf(x_{1})+(1-t)f(x_{2}),}$

а график функции представляет собой выпуклую функцию взвешенных средних,

${\displaystyle f(tx_{1}+(1-t)x_{2}).}$

Таким образом, неравенство Йенсена имеет вид

${\displaystyle f(tx_{1}+(1-t)x_{2})\leq tf(x_{1})+(1-t)f(x_{2}).}$

В контексте теории вероятностей это обычно формулируется в следующем виде: если X — случайная величина , а φ — выпуклая функция, то

φ ( E ⁡ [ Икс ] ) ≤ E ⁡ [ φ ( Икс ) ] . {\displaystyle \varphi (\operatorname {E} [X])\leq \operatorname {E} \left[\varphi (X)\right].}

Разница между двумя частями неравенства называется разрывом Йенсена. ^[4] ${\displaystyle \operatorname {E} \left[\varphi (X)\right]-\varphi \left(\operatorname {E} [X]\right)}$

Заявления

Классическая форма неравенства Йенсена включает несколько чисел и весов. Неравенство можно сформулировать в весьма общем виде, используя либо язык теории меры , либо (что эквивалентно) язык вероятности. В вероятностной ситуации неравенство можно далее обобщить до полной силы .

Конечная форма

Для вещественной выпуклой функции , чисел в ее области определения и положительных весов неравенство Йенсена можно сформулировать как: ${\displaystyle \varphi }$ ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$ ${\displaystyle a_{i}}$

и неравенство меняется на противоположное, если является вогнутым , что ${\displaystyle \varphi }$

Равенство выполняется тогда и только тогда, когда или линейно в области, содержащей . ${\displaystyle x_{1}=x_{2}=\cdots =x_{n}}$ ${\displaystyle \varphi }$ ${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$

В частном случае, если все веса равны, тогда ( 1 ) и ( 2 ) становятся ${\displaystyle a_{i}}$

Например, функция log( x ) является вогнутой , поэтому подстановка в предыдущую формулу ( 4 ) устанавливает (логарифм) знакомое среднее арифметическое/среднее геометрическое неравенство : ${\displaystyle \varphi (x)=\log(x)}$

${\displaystyle \log \!\left({\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\geq {\frac {\sum _{i=1}^{n}\log \!\left(x_{i}\right)}{n}}\quad {\text{or}}\quad {\frac {x_{1}+x_{2}+\cdots +x_{n}}{n}}\geq {\sqrt[{n}]{x_{1}\cdot x_{2}\cdots x_{n}}}}$

Обычное приложение имеет x как функцию другой переменной (или набора переменных) t , то есть . Все это переносится непосредственно на общий непрерывный случай: веса a _i заменяются неотрицательной интегрируемой функцией f  ( x ) , такой как распределение вероятностей, а суммы заменяются интегралами. ${\displaystyle x_{i}=g(t_{i})}$ 

Теоретико-мерная форма

Пусть — вероятностное пространство . Пусть – -измеримая функция и выпуклая. Тогда: ^[5] ${\displaystyle (\Omega ,A,\mu )}$ ${\displaystyle f:\Omega \to \mathbb {R} }$ ${\displaystyle \mu }$ ${\displaystyle \varphi :\mathbb {R} \to \mathbb {R} }$

$${\displaystyle \varphi \left(\int _{\Omega }f\,\mathrm {d} \mu \right)\leq \int _{\Omega }\varphi \circ f\,\mathrm {d} \mu }$$

В реальном анализе нам может потребоваться оценка

${\displaystyle \varphi \left(\int _{a}^{b}f(x)\,dx\right)}$

где , и – неотрицательная интегрируемая по Лебегу функция. В этом случае мера Лебега не обязательно равна единице. Однако путем интегрирования заменой интервал можно масштабировать так, чтобы он имел единицу меры. Тогда неравенство Йенсена можно применить, чтобы получить ^[6] ${\displaystyle a,b\in \mathbb {R} }$ ${\displaystyle f\colon [a,b]\to \mathbb {R} }$ ${\displaystyle [a,b]}$

${\displaystyle \varphi \left({\frac {1}{b-a}}\int _{a}^{b}f(x)\,dx\right)\leq {\frac {1}{b-a}}\int _{a}^{b}\varphi (f(x))\,dx.}$

Вероятностная форма

Тот же результат можно эквивалентным образом сформулировать в рамках теории вероятностей , просто изменив обозначения. Пусть — вероятностное пространство , X — интегрируемая вещественная случайная величина , а φ — выпуклая функция . Затем: ${\displaystyle (\Omega ,{\mathfrak {F}},\operatorname {P} )}$

${\displaystyle \varphi \left(\operatorname {E} [X]\right)\leq \operatorname {E} \left[\varphi (X)\right].}$^[7]

В этой вероятностной ситуации мера µ понимается как вероятность , интеграл по µ – как ожидаемое значение , а функция – как случайная величина X. ${\displaystyle \operatorname {P} }$ ${\displaystyle \operatorname {E} }$ ${\displaystyle f}$

Обратите внимание, что равенство выполняется тогда и только тогда, когда φ — линейная функция на некотором выпуклом множестве такая, что (что следует из проверки теоретико-мерного доказательства ниже). ${\displaystyle A}$ ${\displaystyle \mathrm {P} (X\in A)=1}$

Общее неравенство в вероятностной ситуации

В более общем смысле, пусть T — вещественное топологическое векторное пространство , а X — интегрируемая случайная величина со значением T. В этой общей ситуации интегрируемость означает, что существует элемент в T такой, что для любого элемента z в двойственном пространстве к T : и . Тогда для любой измеримой выпуклой функции φ и любой под- σ-алгебры в : ${\displaystyle \operatorname {E} [X]}$ ${\displaystyle \operatorname {E} |\langle z,X\rangle |<\infty }$ ${\displaystyle \langle z,\operatorname {E} [X]\rangle =\operatorname {E} [\langle z,X\rangle ]}$ ${\displaystyle {\mathfrak {G}}}$ ${\displaystyle {\mathfrak {F}}}$

${\displaystyle \varphi \left(\operatorname {E} \left[X\mid {\mathfrak {G}}\right]\right)\leq \operatorname {E} \left[\varphi (X)\mid {\mathfrak {G}}\right].}$

Здесь обозначается математическое ожидание, обусловленное σ-алгеброй . Это общее утверждение сводится к предыдущим, когда топологическое векторное пространство T является вещественной осью и является тривиальной σ -алгеброй {∅, Ω} (где ∅ — пустое множество , а Ω — выборочное пространство ). ^[8] ${\displaystyle \operatorname {E} [\cdot \mid {\mathfrak {G}}]}$ ${\displaystyle {\mathfrak {G}}}$ ${\displaystyle {\mathfrak {G}}}$

Заостренная и обобщенная форма

Пусть X — одномерная случайная величина со средним значением и дисперсией . Пусть – дважды дифференцируемая функция, и определим функцию ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}\geq 0}$ ${\displaystyle \varphi (x)}$

${\displaystyle h(x)\triangleq {\frac {\varphi \left(x\right)-\varphi \left(\mu \right)}{\left(x-\mu \right)^{2}}}-{\frac {\varphi '\left(\mu \right)}{x-\mu }}.}$

Тогда ^[9]

${\displaystyle \sigma ^{2}\inf {\frac {\varphi ''(x)}{2}}\leq \sigma ^{2}\inf h(x)\leq E\left[\varphi \left(X\right)\right]-\varphi \left(E[X]\right)\leq \sigma ^{2}\sup h(x)\leq \sigma ^{2}\sup {\frac {\varphi ''(x)}{2}}.}$

В частности, когда является выпуклым, то , и сразу следует стандартная форма неравенства Йенсена для случая, когда дополнительно предполагается дважды дифференцируемым. ${\displaystyle \varphi (x)}$ ${\displaystyle \varphi ''(x)\geq 0}$ ${\displaystyle \varphi (x)}$

Доказательства

Интуитивное графическое доказательство

Графическое «доказательство» неравенства Йенсена для вероятностного случая. Пунктирная кривая по оси X представляет собой гипотетическое распределение X , а пунктирная кривая по оси Y — соответствующее распределение значений Y. Обратите внимание , что выпуклое отображение Y ( X ) всё больше « растягивает » распределение при увеличении значения X.

Это доказательство без слов неравенства Йенсена для n переменных. Без ограничения общности сумма положительных весов равна 1 . Отсюда следует, что взвешенная точка лежит в выпуклой оболочке исходных точек, которая по определению выпуклости лежит выше самой функции. Вывод следующий. ^[10]

Неравенство Йенсена можно доказать несколькими способами, и будут предложены три разных доказательства, соответствующие различным утверждениям, приведенным выше. Однако прежде чем приступить к этим математическим выводам, стоит проанализировать интуитивно понятный графический аргумент, основанный на вероятностном случае, когда X — действительное число (см. Рисунок). Предполагая гипотетическое распределение значений X , можно сразу определить положение и его изображение на графике. Заметив, что для выпуклых отображений Y = φ ( x ) некоторых значений x соответствующее распределение значений Y все больше «растягивается» при увеличении значений X , легко увидеть, что распределение Y шире в интервале, соответствующем X > X ₀ и уже в X < X ₀ для любого X ₀ ; в частности, это справедливо и для . Следовательно, в этой картине ожидание Y всегда будет смещаться вверх относительно позиции . Аналогичные рассуждения справедливы, если распределение X охватывает убывающую часть выпуклой функции или как убывающую, так и возрастающую ее часть. Это «доказывает» неравенство, т.е. ${\displaystyle \operatorname {E} [X]}$ ${\displaystyle \varphi (\operatorname {E} [X])}$ ${\displaystyle X_{0}=\operatorname {E} [X]}$ ${\displaystyle \varphi (\operatorname {E} [X])}$

${\displaystyle \varphi (\operatorname {E} [X])\leq \operatorname {E} [\varphi (X)]=\operatorname {E} [Y],}$

с равенством, когда φ ( X ) не является строго выпуклым, например, когда это прямая линия, или когда X следует вырожденному распределению (т. е. является константой).

Доказательства, приведенные ниже, формализуют это интуитивное представление.

Доказательство 1 (конечная форма)

Если λ ₁ и λ ₂ — два произвольных неотрицательных действительных числа такие, что λ ₁ + λ ₂ = 1 , то из выпуклости φ следует

${\displaystyle \forall x_{1},x_{2}:\qquad \varphi \left(\lambda _{1}x_{1}+\lambda _{2}x_{2}\right)\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2}).}$

Это можно обобщить: если λ ₁ , ..., λ _n — неотрицательные действительные числа такие, что λ ₁ + ... + λ _n = 1 , то

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2})+\cdots +\lambda _{n}\,\varphi (x_{n}),}$

для любого x ₁ , ..., x _n .

Конечная форма неравенства Йенсена может быть доказана по индукции : по гипотезе выпуклости утверждение верно для n  = 2. Предположим, что утверждение верно для некоторого n , поэтому

${\displaystyle \varphi \left(\sum _{i=1}^{n}\lambda _{i}x_{i}\right)\leq \sum _{i=1}^{n}\lambda _{i}\varphi \left(x_{i}\right)}$

для любых λ ₁ , ..., λ _n таких, что λ ₁ + ... + λ _n = 1 .

Это нужно доказать для n + 1 . По крайней мере одно из λi строго меньше, чем _, скажем, _λn + ₁ ; следовательно, по неравенству выпуклости: ${\displaystyle 1}$

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&=\varphi \left((1-\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}+\lambda _{n+1}x_{n+1}\right)\\&\leq (1-\lambda _{n+1})\varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)+\lambda _{n+1}\,\varphi (x_{n+1}).\end{aligned}}}$

Поскольку λ ₁ + ... + λ _n + λ _{n +1} = 1 ,

${\displaystyle \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}=1}$,

применение индуктивной гипотезы дает

${\displaystyle \varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)\leq \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})}$

поэтому

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&\leq (1-\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})+\lambda _{n+1}\,\varphi (x_{n+1})=\sum _{i=1}^{n+1}\lambda _{i}\varphi (x_{i})\end{aligned}}}$

Мы приходим к выводу, что равенство верно для n + 1 , по индукции отсюда следует, что результат верен также для всех целых чисел n, больших 2.

Чтобы получить общее неравенство из этой конечной формы, нужно использовать аргумент плотности. Конечная форма может быть переписана как:

${\displaystyle \varphi \left(\int x\,d\mu _{n}(x)\right)\leq \int \varphi (x)\,d\mu _{n}(x),}$

где µ _n — мера, заданная произвольной выпуклой комбинацией дельт Дирака :

${\displaystyle \mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.}$

Поскольку выпуклые функции непрерывны и выпуклые комбинации дельт Дирака слабо плотны во множестве вероятностных мер (в чем легко убедиться), общее утверждение получается просто предельной процедурой.

Доказательство 2 (теоретико-мерная форма)

Пусть - вещественнозначная -интегрируемая функция в вероятностном пространстве и пусть - выпуклая функция действительных чисел. Поскольку является выпуклым, в каждом действительном числе у нас есть непустой набор субпроизводных , которые можно рассматривать как линии, касающиеся графика at , но которые находятся ниже графика во всех точках (опорные линии графика). ${\displaystyle g}$ ${\displaystyle \mu }$ ${\displaystyle \Omega }$ ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle x}$ ${\displaystyle \varphi }$ ${\displaystyle x}$ ${\displaystyle \varphi }$

Теперь, если мы определим

${\displaystyle x_{0}:=\int _{\Omega }g\,d\mu ,}$

ввиду существования субпроизводных выпуклых функций мы можем выбрать и такие, что ${\displaystyle a}$ ${\displaystyle b}$

${\displaystyle ax+b\leq \varphi (x),}$

для всего настоящего и ${\displaystyle x}$

${\displaystyle ax_{0}+b=\varphi (x_{0}).}$

Но тогда у нас есть это

${\displaystyle \varphi \circ g(\omega )\geq ag(\omega )+b}$

почти для всех . Поскольку у нас есть вероятностная мера, интеграл монотонен с, так что ${\displaystyle \omega \in \Omega }$ ${\displaystyle \mu (\Omega )=1}$

${\displaystyle \int _{\Omega }\varphi \circ g\,d\mu \geq \int _{\Omega }(ag+b)\,d\mu =a\int _{\Omega }g\,d\mu +b\int _{\Omega }d\mu =ax_{0}+b=\varphi (x_{0})=\varphi \left(\int _{\Omega }g\,d\mu \right),}$

по желанию.

Доказательство 3 (общее неравенство в вероятностной ситуации)

Пусть X — интегрируемая случайная величина, принимающая значения в реальном топологическом векторном пространстве T. Поскольку выпукло, то для любого величина ${\displaystyle \varphi :T\to \mathbb {R} }$ ${\displaystyle x,y\in T}$

${\displaystyle {\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }},}$

уменьшается по мере приближения θ к 0 ⁺ . В частности, субдифференциал , оцененный в точке x в направлении y , четко определяется формулой ${\displaystyle \varphi }$

${\displaystyle (D\varphi )(x)\cdot y:=\lim _{\theta \downarrow 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}=\inf _{\theta \neq 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}.}$

Легко видеть, что субдифференциал линеен по ^y ( это ^{неверно и утверждение} требует доказательства теоремы Хана-Банаха) и, поскольку нижняя грань, взятая в правой части предыдущей формулы, меньше, чем значение того же члена для θ = 1 , получаем

${\displaystyle \varphi (x)\leq \varphi (x+y)-(D\varphi )(x)\cdot y.}$

В частности, для произвольной под- σ -алгебры мы можем вычислить последнее неравенство, когда получим ${\displaystyle {\mathfrak {G}}}$ ${\displaystyle x=\operatorname {E} [X\mid {\mathfrak {G}}],\,y=X-\operatorname {E} [X\mid {\mathfrak {G}}]}$

${\displaystyle \varphi (\operatorname {E} [X\mid {\mathfrak {G}}])\leq \varphi (X)-(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}]).}$

Теперь, если мы возьмем математическое ожидание, обусловленное обеими частями предыдущего выражения, мы получим результат, поскольку: ${\displaystyle {\mathfrak {G}}}$

${\displaystyle \operatorname {E} \left[\left[(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}])\right]\mid {\mathfrak {G}}\right]=(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot \operatorname {E} [\left(X-\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}]=0,}$

линейностью субдифференциала по переменной y и следующим известным свойством условного математического ожидания :

${\displaystyle \operatorname {E} \left[\left(\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}\right]=\operatorname {E} [X\mid {\mathfrak {G}}].}$

Приложения и особые случаи

Форма, включающая функцию плотности вероятности

Предположим, что Ω — измеримое подмножество действительной прямой, а f ( x ) — неотрицательная функция такая, что

${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=1.}$

На вероятностном языке f — это функция плотности вероятности .

Тогда неравенство Йенсена превращается в следующее утверждение о выпуклых интегралах:

Если g — любая измеримая функция с действительным знаком, выпуклая в диапазоне g , то ${\textstyle \varphi }$

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }g(x)f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (g(x))f(x)\,dx.}$

Если g ( x ) = x , то эта форма неравенства сводится к часто используемому частному случаю:

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }x\,f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\varphi (x)\,f(x)\,dx.}$

Это применяется в вариационных байесовских методах .

Пример: четные моменты случайной величины

Если g ( x ) = x ²ⁿ и X — случайная величина, то g выпукла как

${\displaystyle {\frac {d^{2}g}{dx^{2}}}(x)=2n(2n-1)x^{2n-2}\geq 0\quad \forall \ x\in \mathbb {R} }$

и так

${\displaystyle g(\operatorname {E} [X])=(\operatorname {E} [X])^{2n}\leq \operatorname {E} [X^{2n}].}$

В частности, если какой-то четный момент 2n X конечен , X имеет конечное среднее. Расширение этого аргумента показывает, что X имеет конечные моменты любого порядка, делящего n . ${\displaystyle l\in \mathbb {N} }$

Альтернативная конечная форма

Пусть Ω = { x ₁ , ... x _n } и возьмем µ в качестве считающей меры на Ω , тогда общий вид сводится к утверждению о суммах:

${\displaystyle \varphi \left(\sum _{i=1}^{n}g(x_{i})\lambda _{i}\right)\leq \sum _{i=1}^{n}\varphi (g(x_{i}))\lambda _{i},}$

при условии, что λ _i ≥ 0 и

${\displaystyle \lambda _{1}+\cdots +\lambda _{n}=1.}$

Существует также бесконечная дискретная форма.

Статистическая физика

Неравенство Йенсена имеет особое значение в статистической физике, когда выпуклая функция является экспоненциальной, что дает:

${\displaystyle e^{\operatorname {E} [X]}\leq \operatorname {E} \left[e^{X}\right],}$

где ожидаемые значения относятся к некоторому распределению вероятностей случайной величины X .

Доказательство: Впустить ${\displaystyle \varphi (x)=e^{x}}$ ${\displaystyle \varphi \left(\operatorname {E} [X]\right)\leq \operatorname {E} \left[\varphi (X)\right].}$

Теория информации

Если p ( x ) — истинная плотность вероятности для X , а q ( x ) — другая плотность, то применяя неравенство Йенсена для случайной величины Y ( X ) = q ( X )/ p ( X ) и выпуклую функцию φ ( y ) = −log( y ) дает

${\displaystyle \operatorname {E} [\varphi (Y)]\geq \varphi (\operatorname {E} [Y])}$

Поэтому:

${\displaystyle -D(p(x)\|q(x))=\int p(x)\log \left({\frac {q(x)}{p(x)}}\right)\,dx\leq \log \left(\int p(x){\frac {q(x)}{p(x)}}\,dx\right)=\log \left(\int q(x)\,dx\right)=0}$

результат, называемый неравенством Гиббса .

Он показывает, что средняя длина сообщения минимизируется, когда коды назначаются на основе истинных вероятностей p , а не любого другого распределения q . Величина, которая не является отрицательной, называется расходимостью Кульбака – Лейблера q от p .

Поскольку −log( x ) является строго выпуклой функцией для x > 0 , отсюда следует, что равенство выполняется, когда p ( x ) равно q ( x ) почти везде.

Теорема Рао – Блэквелла

Если L — выпуклая функция и субсигма-алгебра, то из условного варианта неравенства Йенсена получаем ${\displaystyle {\mathfrak {G}}}$

${\displaystyle L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])\leq \operatorname {E} [L(\delta (X))\mid {\mathfrak {G}}]\quad \Longrightarrow \quad \operatorname {E} [L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])]\leq \operatorname {E} [L(\delta (X))].}$

Итак, если δ( X ) является некоторой оценкой ненаблюдаемого параметра θ с учетом вектора наблюдаемых X ; и если T ( X ) является достаточной статистикой для θ; тогда улучшенную оценку в смысле уменьшения ожидаемых потерь L можно получить путем вычисления

${\displaystyle \delta _{1}(X)=\operatorname {E} _{\theta }[\delta (X')\mid T(X')=T(X)],}$

ожидаемое значение δ по отношению к θ, взятое по всем возможным векторам наблюдений X , совместимым с тем же значением T ( X ), что и наблюдаемое. Далее, поскольку T является достаточной статистикой, она не зависит от θ и, следовательно, становится статистикой. ${\displaystyle \delta _{1}(X)}$

Этот результат известен как теорема Рао–Блэквелла .

Смотрите также

• Неравенство Караматы для более общего неравенства
• Неравенство Поповичу
• Закон средних чисел
• Доказательство без слов неравенства Йенсена.

Примечания

1. Дженсен, JLWV (1906). «Выпуклые функции и неравенства между моими ценностями». Акта Математика . 30 (1): 175–193. дои : 10.1007/BF02418571 .
2. Гессаб, А.; Шмайссер, Г. (2013). «Необходимые и достаточные условия справедливости неравенства Йенсена». Архив математики . 100 (6): 561–570. дои : 10.1007/s00013-013-0522-3. МР  3069109. S2CID  56372266.
3. Деккинг, FM; Краайкамп, К.; Лопухаа, HP; Мистер, Л.Е. (2005). Современное введение в вероятность и статистику: понимание почему и как. Тексты Спрингера в статистике. Лондон: Спрингер. дои : 10.1007/1-84628-168-7. ISBN 978-1-85233-896-1.
4. Гао, Сян; Ситхарам, Мира; Ройтберг, Адриан (2019). «Границы разрыва Дженсена и последствия для распределений, концентрированных по среднему» (PDF) . Австралийский журнал математического анализа и приложений . 16 (2). arXiv : 1712.05267 .
5. с. 25 Рика Дарретта (2019). Вероятность: теория и примеры (5-е изд.). Издательство Кембриджского университета. ISBN 978-1108473682.
6. Никулеску, Константин П. «Интегральные неравенства», стр. 12.
7. с. 29 Рика Дарретта (2019). Вероятность: теория и примеры (5-е изд.). Издательство Кембриджского университета. ISBN 978-1108473682.
8. Внимание: в этой общности необходимы дополнительные предположения о выпуклой функции и/или топологическом векторном пространстве, см. пример (1.3) на с. 53 в Перлмане, Майкл Д. (1974). «Неравенство Дженсена для выпуклой векторной функции в бесконечномерном пространстве». Журнал многомерного анализа . 4 (1): 52–65. дои : 10.1016/0047-259X(74)90005-0 . hdl : 11299/199167 .
9. Ляо, Дж.; Берг, А (2018). «Уточнение неравенства Дженсена». Американский статистик . 73 (3): 278–281. arXiv : 1707.08644 . дои : 10.1080/00031305.2017.1419145. S2CID  88515366.
10. Брэдли, CJ (2006). Введение в неравенства. Лидс, Великобритания: Математический фонд Соединенного Королевства. п. 97. ИСБН 978-1-906001-11-7.

Рекомендации

• Дэвид Чендлер (1987). Введение в современную статистическую механику . Оксфорд. ISBN 0-19-504277-8.
• Тристан Нидхэм (1993) «Наглядное объяснение неравенства Дженсена», American Mathematical Monthly 100 (8): 768–71.
• Никола Фуско ; Паоло Марчеллини ; Карло Сбордоне (1996). Анализ Математики Дуэ . Лигуори. ISBN 978-88-207-2675-1.
• Вальтер Рудин (1987). Реальный и комплексный анализ . МакГроу-Хилл. ISBN 0-07-054234-1.
• Рик Дарретт (2019). Вероятность: теория и примеры (5-е изд.). Издательство Кембриджского университета. п. 430. ИСБН 978-1108473682. Проверено 21 декабря 2020 г.
• Сэм Сэвидж (2012) Недостаток средних значений: почему мы недооцениваем риск перед лицом неопределенности (1-е изд.) Wiley. ISBN 978-0471381976

Внешние ссылки

• Операторное неравенство Йенсена Хансена и Педерсена.
• «Неравенство Дженсена», Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Неравенство Дженсена». Математический мир .
• Артур Лоуотер (1982). «Введение в неравенства». Электронная онлайн-книга в формате PDF.