Лемма Штейна

Теорема теории вероятностей

Лемма Стейна , названная в честь Чарльза Стейна , представляет собой теорему теории вероятностей , которая представляет интерес прежде всего из-за ее приложений к статистическому выводу — в частности, к оценке Джеймса-Стейна и эмпирическим методам Байеса — и ее приложений к теории выбора портфеля . ^[1] Теорема дает формулу для ковариации одной случайной величины со значением функции другой, когда две случайные величины совместно нормально распределены .

Обратите внимание, что название «лемма Штейна» также широко используется ^[2] для обозначения другого результата в области статистической проверки гипотез , который связывает показатели ошибок при проверке гипотез с расхождением Кульбака – Лейблера . Этот результат также известен как лемма Чернова–Стейна ^[3] и не имеет отношения к лемме, обсуждаемой в этой статье.

Утверждение леммы

Предположим, что X — нормально распределенная случайная величина с математическим ожиданием µ и дисперсией σ ² . Далее предположим, что g — дифференцируемая функция, для которой существуют два ожидания E( g ( X )( X − µ)) и E( g ′( X )) оба. (Существование математического ожидания любой случайной величины эквивалентно конечности математического ожидания ее абсолютного значения .) Тогда

${\displaystyle E{\bigl (}g(X)(X-\mu ){\bigr )}=\sigma ^{2}E{\bigl (}g'(X){\bigr )}.}$

В общем, предположим, что X и Y совместно нормально распределены. Затем

${\displaystyle \operatorname {Cov} (g(X),Y)=\operatorname {Cov} (X,Y)E(g'(X)).}$

Для общего многомерного гауссовского случайного вектора отсюда следует, что ${\displaystyle (X_{1},...,X_{n})\sim N(\mu ,\Sigma )}$

${\displaystyle E{\bigl (}g(X)(X-\mu ){\bigr )}=\Sigma \cdot E{\bigl (}\nabla g(X){\bigr )}.}$

Доказательство

Одномерная функция плотности вероятности для одномерного нормального распределения с ожиданием 0 и дисперсией 1:

${\displaystyle \varphi (x)={1 \over {\sqrt {2\pi }}}e^{-x^{2}/2}}$

Так как в результате интегрирования по частям мы получаем : ${\displaystyle \int x\exp(-x^{2}/2)\,dx=-\exp(-x^{2}/2)}$

${\displaystyle E[g(X)X]={\frac {1}{\sqrt {2\pi }}}\int g(x)x\exp(-x^{2}/2)\,dx={\frac {1}{\sqrt {2\pi }}}\int g'(x)\exp(-x^{2}/2)\,dx=E[g'(X)]}$.

Случай общей дисперсии следует за заменой . ${\displaystyle \sigma ^{2}}$

Более общее заявление

Теорема Иссерлиса эквивалентно формулируется как

$${\displaystyle \operatorname {E} (X_{1}f(X_{1},\ldots ,X_{n}))=\sum _{i=1}^{n}\operatorname {Cov} (X_{1}X_{i})\operatorname {E} (\partial _{X_{i}}f(X_{1},\ldots ,X_{n})).}$$

многомерный нормальный ${\displaystyle (X_{1},\dots X_{n})}$

Предположим , X принадлежит экспоненциальному семейству , то есть X имеет плотность

${\displaystyle f_{\eta }(x)=\exp(\eta 'T(x)-\Psi (\eta ))h(x).}$

Предположим, что эта плотность имеет поддержку где может быть и как , где любая дифференцируемая функция такая, что или если конечна. Затем ${\displaystyle (a,b)}$ ${\displaystyle a,b}$ ${\displaystyle -\infty ,\infty }$ ${\displaystyle x\rightarrow a{\text{ or }}b}$ ${\displaystyle \exp(\eta 'T(x))h(x)g(x)\rightarrow 0}$ ${\displaystyle g}$ ${\displaystyle E|g'(X)|<\infty }$ ${\displaystyle \exp(\eta 'T(x))h(x)\rightarrow 0}$ ${\displaystyle a,b}$

${\displaystyle E\left[\left({\frac {h'(X)}{h(X)}}+\sum \eta _{i}T_{i}'(X)\right)\cdot g(X)\right]=-E[g'(X)].}$

Вывод такой же, как и в частном случае, а именно интегрирование по частям.

Если бы мы только знали, что у него есть поддержка , то это могло бы быть так, но . Чтобы увидеть это, проще говоря, с бесконечно стремящимися к бесконечности пиками, но все же интегрируемыми. Один из таких примеров можно было бы адаптировать, чтобы он был гладким. ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle E|g(X)|<\infty {\text{ and }}E|g'(X)|<\infty }$ ${\displaystyle \lim _{x\rightarrow \infty }f_{\eta }(x)g(x)\not =0}$ ${\displaystyle g(x)=1}$ ${\displaystyle f_{\eta }(x)}$ ${\displaystyle f(x)={\begin{cases}1&x\in [n,n+2^{-n})\\0&{\text{otherwise}}\end{cases}}}$ ${\displaystyle f}$

Также существуют расширения эллиптических распределений. ^{[4] [5] [6]}

Смотрите также

• метод Штейна
• Разложения Тейлора для моментов функций случайных величин
• Расхождение Штейна

Рекомендации

1. Ингерсолл, Дж., Теория принятия финансовых решений , Роуман и Литтлфилд, 1987: 13-14.
2. Чисар, Имре; Кернер, Янош (2011). Теория информации: теоремы кодирования для дискретных систем без памяти. Издательство Кембриджского университета. п. 14. ISBN 9781139499989.
3. Томас М. Кавер, Джой А. Томас (2006). Элементы теории информации. Джон Уайли и сыновья, Нью-Йорк. ISBN 9781118585771.
4. Селье, Доминик; Фурдринье, Доминик; Роберт, Кристиан (1989). «Надежные оценки усадки параметра местоположения для эллиптически симметричных распределений». Журнал многомерного анализа . 29 (1): 39–52. дои : 10.1016/0047-259X(89)90075-4.
5. Хамада, Махмуд; Вальдес, Эмилиано А. (2008). «CAPM и ценообразование опционов с эллиптическим распределением». Журнал риска и страхования . 75 (2): 387–409. CiteSeerX 10.1.1.573.4715 . дои : 10.1111/j.1539-6975.2008.00265.x. 
6. Ландсман, Зиновий; Нешлехова, Йоханна (2008). «Лемма Штейна для эллиптических случайных векторов». Журнал многомерного анализа . 99 (5): 912–927. дои : 10.1016/j.jmva.2007.05.006 .