Функция генерации момента

Понятие в теории вероятностей и статистике

В теории вероятностей и статистике производящая момент функция вещественной случайной величины является альтернативной спецификацией ее распределения вероятностей . Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с прямой работой с функциями плотности вероятности или кумулятивными функциями распределения . Особенно простые результаты получены для моментных функций распределений, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие момент.

Как следует из названия, функция, генерирующая момент, может использоваться для вычисления моментов распределения : n -й момент около 0 является n- й производной функции, генерирующей момент, оцененной как 0.

В дополнение к действительным распределениям (одномерным распределениям) функции, генерирующие момент, могут быть определены для случайных величин с векторными или матричными значениями и даже могут быть распространены на более общие случаи.

Момент-производящая функция вещественного распределения не всегда существует, в отличие от характеристической функции . Существуют связи между поведением производящей момент функции распределения и свойствами распределения, такими как существование моментов.

Определение

Пусть — случайная величина с CDF . Производящая функция момента (mgf) (или ), обозначаемая , равна ${\displaystyle X}$ ${\displaystyle F_{X}}$ ${\displaystyle X}$ ${\displaystyle F_{X}}$ ${\displaystyle M_{X}(t)}$

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]}$

при условии, что это ожидание существует для в некоторой открытой окрестности 0. То есть существует такое , что для всех в существует . Если математическое ожидание не существует в открытой окрестности 0, мы говорим, что производящая функция момента не существует. ^[1] ${\displaystyle t}$ ${\displaystyle h>0}$ ${\displaystyle t}$ ${\displaystyle -h<t<h}$ ${\displaystyle \operatorname {E} \left[e^{tX}\right]}$

Другими словами, производящая момент функция X — это математическое ожидание случайной величины . В более общем смысле, когда , -мерный случайный вектор и является фиксированным вектором, вместо  : ${\displaystyle e^{tX}}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$ ${\displaystyle n}$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X} }$ ${\displaystyle tX}$

${\displaystyle M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right).}$

${\displaystyle M_{X}(0)}$всегда существует и равен 1. Однако ключевая проблема с производящими момент функциями заключается в том, что моменты и производящая момент функция могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (поскольку она является интегралом ограниченной функции в пространстве конечной меры ) и для некоторых целей может использоваться вместо нее.

Функция, производящая момент, названа так потому, что ее можно использовать для нахождения моментов распределения. ^[2] Разложение в ряд ${\displaystyle e^{tX}}$

${\displaystyle e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3}\,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .}$

Следовательно

${\displaystyle {\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где этот момент . _ Дифференцируя времена по и положению , получим й момент относительно начала координат, ; см. расчет моментов ниже. ${\displaystyle m_{n}}$ ${\displaystyle n}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle i}$ ${\displaystyle t}$ ${\displaystyle t=0}$ ${\displaystyle i}$ ${\displaystyle m_{i}}$

Если - непрерывная случайная величина, то между ее производящей момент функцией и двусторонним преобразованием Лапласа ее функции плотности вероятности выполняется следующее соотношение: ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle f_{X}(x)}$

${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$

поскольку двустороннее преобразование Лапласа PDF задается как

${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$

и определение функции, порождающей момент, расширяется (по закону бессознательного статистика ) до

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$

Это согласуется с характеристической функцией вращения Вика , когда существует производящая функция момента, поскольку характеристическая функция непрерывной случайной величины является преобразованием Фурье ее функции плотности вероятности и, вообще, когда функция имеет экспоненциальный порядок, преобразование Фурье представляет собой поворот Вика его двустороннего преобразования Лапласа в области сходимости. Для получения дополнительной информации см. Связь преобразований Фурье и Лапласа . ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle X}$ ${\displaystyle f_{X}(x)}$ ${\displaystyle f(x)}$ ${\displaystyle f}$

Примеры

Вот несколько примеров моментообразующей функции и характеристической функции для сравнения. Видно, что характеристическая функция представляет собой виковское вращение производящей момент функции, когда последняя существует. ${\displaystyle M_{X}(t)}$

Расчет

Производящая момент функция – это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной функции массы вероятности ${\displaystyle M_{X}(t)=\sum _{i=0}^{\infty }e^{tx_{i}}\,p_{i}}$
• Для непрерывной функции плотности вероятности ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• В общем случае: , используя интеграл Римана–Стилтьеса , и где – кумулятивная функция распределения . Это просто преобразование Лапласа-Стилтьеса для , но с обратным знаком аргумента. ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$ ${\displaystyle F}$ ${\displaystyle F}$

Обратите внимание, что для случая, когда имеет непрерывную функцию плотности вероятности , является двусторонним преобразованием Лапласа . ${\displaystyle X}$ ${\displaystyle f(x)}$ ${\displaystyle M_{X}(-t)}$ ${\displaystyle f(x)}$

${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где этот момент . _ ${\displaystyle m_{n}}$ ${\displaystyle n}$

Линейные преобразования случайных величин

Если случайная величина имеет функцию, производящую момент , то она имеет функцию, производящую момент. ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle \alpha X+\beta }$ ${\displaystyle M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)}$

${\displaystyle M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)}$

Линейная комбинация независимых случайных величин

Если , где X _i являются независимыми случайными величинами, а a i _{являются} константами, то функция плотности вероятности для S _n представляет собой свертку функций плотности вероятности каждого из X _i , а порождающая функция момента для Sn _равна данный ${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i}}$

${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.}$

Векторные случайные величины

Для векторных случайных величин с действительными компонентами производящая функция момента имеет вид ${\displaystyle \mathbf {X} }$

${\displaystyle M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)}$

где вектор и скалярное произведение . ${\displaystyle \mathbf {t} }$ ${\displaystyle \langle \cdot ,\cdot \rangle }$

Важные свойства

Производящие функции момента положительны и логарифмически выпуклы , ^{[ нужна ссылка ]} с M (0) = 1.

Важным свойством производящей функции является то, что она однозначно определяет распределение. Другими словами, если и являются двумя случайными величинами и для всех значений  t , ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle M_{X}(t)=M_{Y}(t),\,}$

затем

${\displaystyle F_{X}(x)=F_{Y}(x)\,}$

для всех значений x (или, что то же самое, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они одинаковы во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а производящая момент функция отсутствует, поскольку предел

${\displaystyle \lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$

может не существовать. Логнормальное распределение является примером того, когда это происходит.

Расчеты моментов

Производящая момент функция называется так потому, что если она существует на открытом интервале около t =  0, то это экспоненциальная производящая функция моментов распределения вероятностей :

${\displaystyle m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.}$

То есть, когда n является неотрицательным целым числом, n -й момент около 0 является n -й производной производящей функции момента, оцененной при t = 0.

Другие объекты недвижимости

Неравенство Йенсена дает простую нижнюю оценку производящей момент функции:

${\displaystyle M_{X}(t)\geq e^{\mu t},}$

где среднее значение X. ${\displaystyle \mu }$

Генерирующая момент функция может использоваться в сочетании с неравенством Маркова для ограничения верхнего хвоста действительной случайной величины X . Это утверждение также называют границей Чернова . Поскольку монотонно возрастает при , имеем ${\displaystyle x\mapsto e^{xt}}$ ${\displaystyle t>0}$

${\displaystyle P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_{X}(t)}$

для любого и любого a , если оно существует. Например, когда X является стандартным нормальным распределением и мы можем выбрать и вспомнить это . Это дает , которое находится в пределах 1+ a от точного значения. ${\displaystyle t>0}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle a>0}$ ${\displaystyle t=a}$ ${\displaystyle M_{X}(t)=e^{t^{2}/2}}$ ${\displaystyle P(X\geq a)\leq e^{-a^{2}/2}}$

Различные леммы, такие как лемма Хеффдинга или неравенство Беннета, дают границы производящей момент функции в случае ограниченной случайной величины с нулевым средним.

Когда значение неотрицательно, функция, производящая момент, дает простую и полезную оценку моментов: ${\displaystyle X}$

${\displaystyle E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$

Для любого и . ${\displaystyle X,m\geq 0}$ ${\displaystyle t>0}$

Это следует из неравенства , в которое мы можем подставить имплиц для любого . Теперь, если и , это можно переставить на . Принятие ожиданий с обеих сторон дает оценку в терминах . ${\displaystyle 1+x\leq e^{x}}$ ${\displaystyle x'=tx/m-1}$ ${\displaystyle tx/m\leq e^{tx/m-1}}$ ${\displaystyle x,t,m\in \mathbb {R} }$ ${\displaystyle t>0}$ ${\displaystyle x,m\geq 0}$ ${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$ ${\displaystyle E[X^{m}]}$ ${\displaystyle E[e^{tX}]}$

В качестве примера рассмотрим степени свободы. Дальше из примеров . Выбор и замена в границу: ${\displaystyle X\sim {\text{Chi-Squared}}}$ ${\displaystyle k}$ ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$ ${\displaystyle t=m/(2m+k)}$

${\displaystyle E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.}$

Мы знаем, что в этом случае правильная оценка равна . Для сравнения границ можно рассмотреть асимптотику для больших . Здесь граница порождающей момент функции равна , где реальная граница равна . Таким образом, в этом случае граница производящей момент функции очень сильна. ${\displaystyle E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$ ${\displaystyle k}$ ${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$ ${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$

Связь с другими функциями

С функцией, производящей момент, связан ряд других преобразований , которые распространены в теории вероятностей:

Характеристическая функция

Характеристическая функция связана с производящей момент функцией посредством характеристической функции, которая представляет собой производящую момент функцию iX или производящую момент функцию X , оцененную на мнимой оси. Эту функцию также можно рассматривать как преобразование Фурье функции плотности вероятности , которую, следовательно, можно вывести из нее с помощью обратного преобразования Фурье. ${\displaystyle \varphi _{X}(t)}$ ${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$

Кумулянт-генерирующая функция

Кумулянт -генерирующая функция определяется как логарифм производящей момент функции; некоторые вместо этого определяют производящую кумулянт функцию как логарифм характеристической функции , в то время как другие называют эту последнюю второй производящей кумулянт функцией.

Функция, генерирующая вероятность

Функция , порождающая вероятность , определяется как Из этого сразу следует, что ${\displaystyle G(z)=E\left[z^{X}\right].\,}$ ${\displaystyle G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,}$

Смотрите также

• Характеристическая функция (теория вероятностей)
• Производящая функция факториального момента
• Функция скорости
• Проблема момента гамбургера

Рекомендации

Цитаты

1. Казелла, Джордж; Бергер, Роджер Л. (1990). Статистические выводы . Уодсворт и Брукс/Коул. п. 61. ИСБН 0-534-11958-1.
2. Балмер, М.Г. (1979). Принципы статистики . Дувр. стр. 75–79. ISBN 0-486-63760-3.
3. Коц и др. ^{[ нужна полная цитата ]} с. 37, используя 1 как число степеней свободы для восстановления распределения Коши.

Источники

• Казелла, Джордж; Бергер, Роджер (2002). Статистический вывод (2-е изд.). стр. 59–68. ISBN 978-0-534-24312-8.