Функция, генерирующая момент

Понятие в теории вероятностей и статистике

В теории вероятностей и статистике функция , генерирующая момент, действительной случайной величины является альтернативной спецификацией ее распределения вероятностей . Таким образом, она обеспечивает основу альтернативного пути к аналитическим результатам по сравнению с работой напрямую с функциями плотности вероятности или кумулятивными функциями распределения . Существуют особенно простые результаты для функций, генерирующих момент, распределений, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие момент.

Как следует из названия, функция, генерирующая моменты, может использоваться для вычисления моментов распределения : n- й момент относительно 0 является n -й производной функции, генерирующей моменты, оцененной при 0.

Помимо распределений с действительными значениями (одномерных распределений), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Функция, производящая моменты действительного распределения, не всегда существует, в отличие от характеристической функции . Существуют связи между поведением функции, производящей моменты распределения, и свойствами распределения, такими как существование моментов.

Определение

Пусть будет случайной величиной с CDF . Функция производства моментов (mgf) (или ), обозначенная как , есть ${\displaystyle X}$ ${\displaystyle F_{X}}$ ${\displaystyle X}$ ${\displaystyle F_{X}}$ ${\displaystyle M_{X}(t)}$

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]}$

при условии, что это ожидание существует для в некоторой открытой окрестности 0. То есть, существует такое , что для всех в , существует. Если ожидание не существует в открытой окрестности 0, мы говорим, что функция генерации моментов не существует. ^[1] ${\displaystyle t}$ ${\displaystyle h>0}$ ${\displaystyle t}$ ${\displaystyle -h<t<h}$ ${\displaystyle \operatorname {E} \left[e^{tX}\right]}$

Другими словами, функция генерации моментов X является ожиданием случайной величины . В более общем случае, когда , -мерный случайный вектор , а является фиксированным вектором, вместо  используется : ${\displaystyle e^{tX}}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$ ${\displaystyle n}$ ${\displaystyle \mathbf {t} }$ ${\displaystyle \mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X} }$ ${\displaystyle tX}$

${\displaystyle M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right).}$

${\displaystyle M_{X}(0)}$всегда существует и равен 1. Однако ключевая проблема с функциями, генерирующими моменты, заключается в том, что моменты и функция, генерирующая моменты, могут не существовать, поскольку интегралы не обязательно должны сходиться абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл ограниченной функции на пространстве конечной меры ), и для некоторых целей может использоваться вместо нее.

Функция, генерирующая моменты, так названа, потому что ее можно использовать для нахождения моментов распределения. ^[2] Разложение ряда имеет вид ${\displaystyle e^{tX}}$

${\displaystyle e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3}\,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .}$

Следовательно

${\displaystyle {\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где - й момент . Дифференцируя времена по и полагая , получаем й момент относительно начала координат, ; см. Расчеты моментов ниже. ${\displaystyle m_{n}}$ ${\displaystyle n}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle i}$ ${\displaystyle t}$ ${\displaystyle t=0}$ ${\displaystyle i}$ ${\displaystyle m_{i}}$

Если — непрерывная случайная величина, то между ее функцией, производящей моменты , и двусторонним преобразованием Лапласа ее функции плотности вероятности выполняется следующее соотношение: ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle f_{X}(x)}$

${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$

поскольку двустороннее преобразование Лапласа PDF задается как

${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$

и определение функции, генерирующей момент, расширяется (по закону бессознательного статистика ) до

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$

Это согласуется с характеристической функцией, являющейся вращением Вика , когда существует функция генерации моментов, поскольку характеристической функцией непрерывной случайной величины является преобразование Фурье ее функции плотности вероятности , и в общем случае, когда функция имеет экспоненциальный порядок, преобразование Фурье является вращением Вика ее двустороннего преобразования Лапласа в области сходимости. Для получения дополнительной информации см. соотношение преобразований Фурье и Лапласа . ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle X}$ ${\displaystyle f_{X}(x)}$ ${\displaystyle f(x)}$ ${\displaystyle f}$

Примеры

Вот несколько примеров функции, производящей момент, и характеристической функции для сравнения. Видно, что характеристическая функция является витковским вращением функции, производящей момент , когда последняя существует. ${\displaystyle M_{X}(t)}$

Расчет

Функция, генерирующая момент, представляет собой математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной функции массы вероятности , ${\displaystyle M_{X}(t)=\sum _{i=0}^{\infty }e^{tx_{i}}\,p_{i}}$
• Для непрерывной функции плотности вероятности , ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• В общем случае: , используя интеграл Римана–Стилтьеса , и где — кумулятивная функция распределения . Это просто преобразование Лапласа–Стилтьеса от , но с обратным знаком аргумента. ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$ ${\displaystyle F}$ ${\displaystyle F}$

Обратите внимание, что для случая, когда имеет непрерывную функцию плотности вероятности , есть двустороннее преобразование Лапласа . ${\displaystyle X}$ ${\displaystyle f(x)}$ ${\displaystyle M_{X}(-t)}$ ${\displaystyle f(x)}$

${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где находится момент . ​ ${\displaystyle m_{n}}$ ${\displaystyle n}$

Линейные преобразования случайных величин

Если случайная величина имеет функцию, производящую момент , то имеет функцию, производящую момент ${\displaystyle X}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle \alpha X+\beta }$ ${\displaystyle M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)}$

${\displaystyle M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)}$

Линейная комбинация независимых случайных величин

Если , где X _i — независимые случайные величины, а a _i — константы, то функция плотности вероятности для S _n представляет собой свертку функций плотности вероятности каждого из X _i , а функция генерации моментов для S _n определяется выражением ${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i}}$

${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.}$

Векторно-значные случайные величины

Для векторных случайных величин с действительными компонентами функция, генерирующая моменты, определяется выражением ${\displaystyle \mathbf {X} }$

${\displaystyle M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)}$

где — вектор, а — скалярное произведение . ${\displaystyle \mathbf {t} }$ ${\displaystyle \langle \cdot ,\cdot \rangle }$

Важные свойства

Функции, производящие моменты, положительны и логарифмически выпуклы , ^{[ необходима ссылка ]} с M (0) = 1.

Важным свойством функции, генерирующей моменты, является то, что она однозначно определяет распределение. Другими словами, если и являются двумя случайными величинами и для всех значений  t , ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle M_{X}(t)=M_{Y}(t),\,}$

затем

${\displaystyle F_{X}(x)=F_{Y}(x)\,}$

для всех значений x (или, что эквивалентно, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это происходит потому, что в некоторых случаях моменты существуют, а функция, генерирующая моменты, — нет, потому что предел

${\displaystyle \lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$

может не существовать. Логнормальное распределение является примером того, когда это происходит.

Расчеты моментов

Функция, производящая моменты, так называется потому, что если она существует на открытом интервале вокруг t =  0, то она является экспоненциальной производящей функцией моментов распределения вероятностей :

${\displaystyle m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.}$

То есть, если n — неотрицательное целое число, то n -й момент относительно 0 является n- й производной функции генерации моментов, вычисленной при t = 0.

Другие свойства

Неравенство Йенсена дает простую нижнюю границу функции, генерирующей момент:

${\displaystyle M_{X}(t)\geq e^{\mu t},}$

где — среднее значение X. ${\displaystyle \mu }$

Функция генерации моментов может использоваться в сочетании с неравенством Маркова для ограничения верхнего хвоста действительной случайной величины X . Это утверждение также называется границей Чернова . Поскольку монотонно возрастает для , мы имеем ${\displaystyle x\mapsto e^{xt}}$ ${\displaystyle t>0}$

${\displaystyle P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_{X}(t)}$

для любого и любого a , при условии, что существует. Например, когда X — стандартное нормальное распределение и , мы можем выбрать и вспомнить, что . Это дает , что находится в пределах множителя 1+ a от точного значения. ${\displaystyle t>0}$ ${\displaystyle M_{X}(t)}$ ${\displaystyle a>0}$ ${\displaystyle t=a}$ ${\displaystyle M_{X}(t)=e^{t^{2}/2}}$ ${\displaystyle P(X\geq a)\leq e^{-a^{2}/2}}$

Различные леммы, такие как лемма Хеффдинга или неравенство Беннета, дают границы для функции, генерирующей моменты, в случае ограниченной случайной величины с нулевым средним.

Когда неотрицательно, функция генерации моментов дает простую и полезную границу моментов: ${\displaystyle X}$

${\displaystyle E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$

Для любого и . ${\displaystyle X,m\geq 0}$ ${\displaystyle t>0}$

Это следует из неравенства, в которое мы можем подставить подразумевает для любого . Теперь, если и , это можно переставить в . Взяв ожидание с обеих сторон, мы получаем границу в терминах . ${\displaystyle 1+x\leq e^{x}}$ ${\displaystyle x'=tx/m-1}$ ${\displaystyle tx/m\leq e^{tx/m-1}}$ ${\displaystyle x,t,m\in \mathbb {R} }$ ${\displaystyle t>0}$ ${\displaystyle x,m\geq 0}$ ${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$ ${\displaystyle E[X^{m}]}$ ${\displaystyle E[e^{tX}]}$

В качестве примера рассмотрим с степенями свободы. Тогда из примеров . Выбираем и подставляем в границу: ${\displaystyle X\sim {\text{Chi-Squared}}}$ ${\displaystyle k}$ ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$ ${\displaystyle t=m/(2m+k)}$

${\displaystyle E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.}$

Мы знаем, что в этом случае правильная граница . Чтобы сравнить границы, мы можем рассмотреть асимптотику для больших . Здесь граница функции, генерирующей момент, равна , где действительная граница равна . Таким образом, граница функции, генерирующей момент, в этом случае очень сильна. ${\displaystyle E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$ ${\displaystyle k}$ ${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$ ${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$

Связь с другими функциями

С функцией, производящей моменты, связан ряд других преобразований , которые широко распространены в теории вероятностей:

Характерная функция

Характеристическая функция связана с функцией, производящей момент, через характеристическую функцию, которая является функцией, производящей момент iX или функцией, производящей момент X, оцененной на мнимой оси. Эту функцию можно также рассматривать как преобразование Фурье функции плотности вероятности , которая, следовательно, может быть выведена из нее с помощью обратного преобразования Фурье. ${\displaystyle \varphi _{X}(t)}$ ${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$

Функция, генерирующая кумулянт

Функция , генерирующая кумулянт, определяется как логарифм функции, генерирующей момент; некоторые вместо этого определяют функцию, генерирующую кумулянт, как логарифм характеристической функции , в то время как другие называют последнюю второй функцией, генерирующей кумулянт.

Функция генерации вероятности

Функция генерации вероятности определяется как Это сразу подразумевает, что ${\displaystyle G(z)=E\left[z^{X}\right].\,}$ ${\displaystyle G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,}$

Смотрите также

• Характеристическая функция (теория вероятностей)
• Функция генерации факториального момента
• Функция оценки
• Проблема моментов гамбургера

Ссылки

Цитаты

1. Казелла, Джордж; Бергер, Роджер Л. (1990). Статистический вывод . Wadsworth & Brooks/Cole. стр. 61. ISBN 0-534-11958-1.
2. Балмер, МГ (1979). Принципы статистики . Довер. стр. 75–79. ISBN 0-486-63760-3.
3. Котц и др. ^{[ необходима полная цитата ]} стр. 37, используя 1 как число степеней свободы для восстановления распределения Коши

Источники

• Казелла, Джордж; Бергер, Роджер (2002). Статистический вывод (2-е изд.). С. 59–68. ISBN 978-0-534-24312-8.