Экспоненциальное семейство

Семейство вероятностных распределений, связанных с нормальным распределением

В теории вероятности и статистике экспоненциальное семейство — это параметрический набор вероятностных распределений определенной формы, указанной ниже. Эта специальная форма выбрана для математического удобства, включая возможность пользователю вычислять ожидания и ковариации с использованием дифференцирования на основе некоторых полезных алгебраических свойств, а также для общности, поскольку экспоненциальные семейства в некотором смысле являются очень естественными наборами распределений для рассмотрения. Термин «экспоненциальный класс» иногда используется вместо «экспоненциального семейства» ^[1] или более старого термина « семейство Купмана-Дармуа» . Этот класс распределений, который иногда называют «экспоненциальным семейством», отличается тем, что все они обладают множеством желательных свойств, и, что наиболее важно, наличием достаточной статистики .

Идея экспоненциальных семейств принадлежит ^[2] Э. Дж. Питману , ^[3] Дж. Дармуа , ^[4] и Б. О. Купману ^[5] в 1935–1936 годах. Экспоненциальные семейства распределений обеспечивают общую основу для выбора возможной альтернативной параметризации параметрического семейства распределений с точки зрения натуральных параметров и для определения полезной выборочной статистики , называемой естественной достаточной статистикой семейства.

Номенклатурная сложность

Термины «распределение» и «семейство» часто используются широко: в частности, экспоненциальное семейство представляет собой набор распределений, где конкретное распределение варьируется в зависимости от параметра; ^[a] однако параметрическое семейство распределений часто называют « распределением » (например, «нормальное распределение», что означает «семейство нормальных распределений»), а набор всех экспоненциальных семейств иногда условно называют «экспоненциальное семейство».

Определение

Большинство часто используемых распределений образуют экспоненциальное семейство или подмножество экспоненциального семейства, перечисленное в подразделе ниже. Следующие за ним подразделы представляют собой последовательность все более общих математических определений экспоненциального семейства. Случайный читатель, возможно, пожелает ограничить внимание первым и самым простым определением, которое соответствует однопараметрическому семейству дискретных или непрерывных распределений вероятностей.

Примеры экспоненциальных семейных распределений

Экспоненциальные семейства включают многие из наиболее распространенных распределений. Среди многих других экспоненциальные семейства включают в себя следующие: ^[6]

• нормальный
• экспоненциальный
• гамма
• хи-квадрат
• бета
• Дирихле
• Бернулли
• категоричный
• Пуассон
• Уишарт
• обратный Уишарт
• геометрический

Ряд распространенных распределений представляют собой показательные семейства, но только тогда, когда определенные параметры фиксированы и известны. Например:

• биномиальный (с фиксированным количеством испытаний)
• полиномиальный (с фиксированным количеством испытаний)
• отрицательный бином (с фиксированным количеством отказов)

Обратите внимание, что в каждом случае параметры, которые должны быть зафиксированы, — это те, которые устанавливают предел диапазона значений, которые могут наблюдаться.

Примерами общих распределений, которые не являются экспоненциальными семействами, являются t Стьюдента , большинство смешанных распределений и даже семейство равномерных распределений, когда границы не фиксированы. Дополнительные сведения см. в разделе примеров ниже.

Скалярный параметр

Значение называется параметром семейства. ${\displaystyle \ \theta \ }$

Однопараметрическое экспоненциальное семейство — это набор вероятностных распределений, функция плотности вероятности которых (или функция массы вероятности в случае дискретного распределения ) может быть выражена в виде

${\displaystyle \ f_{X}\!\left(x\ {\big |}\ \theta \right)=h(x)\ \exp {\bigl [}\ \eta (\theta )\cdot T(x)-A(\theta )\ {\bigr ]}\ }$

где и – известные функции. Функция должна быть неотрицательной. ${\displaystyle \ T(x)\ ,}$ ${\displaystyle \ h(x)\ ,}$ ${\displaystyle \ \eta (\theta )\ ,}$ ${\displaystyle \ A(\theta )\ }$ ${\displaystyle \ h(x)\ }$

Альтернативная, эквивалентная форма, часто используемая:

${\displaystyle \ f_{X}\!\left(x\ {\big |}\ \theta \right)=h(x)\ g(\theta )\ \exp {\bigl [}\ \eta (\theta )\cdot T(x)\ {\bigr ]}\ }$

или эквивалентно

${\displaystyle \ f_{X}\!\left(x\ {\big |}\ \theta \right)=\exp \!{\bigl [}\ \eta (\theta )\cdot T(x)-A(\theta )+B(x)\ {\bigr ]}~.}$

Обратите внимание, что и ${\displaystyle \quad g(\theta )=e^{-A(\theta )}\quad }$ ${\displaystyle \quad h(x)=e^{B(x)}~.}$

Поддержка должна быть независимой от θ

Важно отметить, что поддержка ( все возможные значения, для которых больше ) должна не зависеть от ^[7]. Это требование можно использовать для исключения параметрического распределения семейства из экспоненциального семейства. ${\displaystyle \ f_{X}\!\left(x{\big |}\theta \right)\ }$ ${\displaystyle \ x\ }$ ${\displaystyle \ f_{X}\!\left(x{\big |}\theta \right)\ }$ ${\displaystyle \ 0\ }$ ${\displaystyle \ \theta ~.}$

Например: Распределение Парето имеет PDF-файл, который определен для (минимальное значение является параметром масштаба), и поэтому его поддержка имеет нижний предел. Поскольку поддержка зависит от значения параметра, семейство Распределения Парето не образуют экспоненциальное семейство распределений (по крайней мере, когда это неизвестно). ${\displaystyle \ x\geq x_{\mathsf {m}}\ }$ ${\displaystyle \ x_{m}\ ,}$ ${\displaystyle \ x_{\mathsf {m}}~.}$ ${\displaystyle \ f_{\alpha ,x_{m}}\!(x)\ }$ ${\displaystyle \ x_{m}\ }$

Другой пример: распределения типа Бернулли – биномиальное , отрицательное биномиальное , геометрическое распределение и тому подобное – могут быть включены в экспоненциальный класс только в том случае , если количество испытаний Бернулли рассматривается как фиксированная константа – исключенная из свободных параметров – поскольку разрешенное количество попыток устанавливает пределы количества «успехов» или «неуспехов», которые можно наблюдать в серии испытаний. ${\displaystyle \ n\ ,}$ ${\displaystyle \ \theta \ }$

Векторные значения x и θ

Часто представляет собой вектор измерений, и в этом случае может быть функцией от пространства возможных значений действительных чисел. ${\displaystyle \ x\ }$ ${\displaystyle \ T(x)\ }$ ${\displaystyle \ x\ }$

В более общем смысле, каждый из них может иметь векторное значение и иметь действительное значение. Однако см. обсуждение векторных параметров ниже, касающееся семейства кривых экспонент. ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ T(x)\ }$ ${\displaystyle \ \eta (\theta )\cdot T(x)\ }$

Каноническая формулировка

Если тогда, то говорят, что экспоненциальное семейство имеет каноническую форму . Определив преобразованный параметр, всегда можно преобразовать экспоненциальное семейство в каноническую форму. Каноническая форма не уникальна, поскольку ее можно умножить на любую ненулевую константу при условии, что она умножается на обратную величину этой константы, или к ней можно добавить константу c и умножить на нее, чтобы компенсировать ее. В частном случае это семейство называется натуральным показательным семейством . ${\displaystyle \ \eta (\theta )=\theta \ ,}$ ${\displaystyle \ \eta =\eta (\theta )\ ,}$ ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ T(x)\ }$ ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ h(x)\ }$ ${\displaystyle \ \exp \!{\bigl [}{-c}\cdot T(x)\,{\bigr ]}\ }$ ${\displaystyle \ \eta (\theta )=\theta \ }$ ${\displaystyle \ T(x)=x\ ,}$

Даже если это скаляр и имеется только один параметр, функции и могут быть векторами, как описано ниже. ${\displaystyle \ x\ }$ ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ T(x)\ }$

Функция или ее эквивалент определяется автоматически после выбора других функций, поскольку она должна принять форму, которая приводит к нормализации распределения (суммированию или интегрированию до единицы по всей области). Более того, обе эти функции всегда могут быть записаны как функции, даже если это не взаимно-однозначная функция, т. е. два или более различных значений отображают одно и то же значение и, следовательно, не могут быть инвертированы. В таком случае все значения сопоставления с одним и тем же будут иметь одинаковое значение для и ${\displaystyle \ A(\theta )\ ,}$ ${\displaystyle \ g(\theta )\ ,}$ ${\displaystyle \ \eta \ ,}$ ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ \theta \ }$ ${\displaystyle \ \eta (\theta )\ ,}$ ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ \theta \ }$ ${\displaystyle \ \eta (\theta )\ }$ ${\displaystyle \ A(\theta )\ }$ ${\displaystyle \ g(\theta )~.}$

Факторизация задействованных переменных

Что важно отметить и что характеризует все варианты экспоненциального семейства, так это то, что параметр(ы) и переменная(и) наблюдения должны быть факторизованы (могут быть разделены на продукты, каждое из которых включает только один тип переменной), либо напрямую, либо внутри любой части (базы или показателя степени) операции возведения в степень . Как правило, это означает, что все факторы, составляющие функцию плотности или массы, должны иметь одну из следующих форм:

${\displaystyle \ f(x)\ ,~g(\theta )\ ,~c^{f(x)}\ ,~c^{g(\theta )}\ ,~{[f(x)]}^{c}\ ,~{[g(\theta )]}^{c}\ ,~{[f(x)]}^{g(\theta )}\ ,~{[g(\theta )]}^{f(x)}\ ,~{[f(x)]}^{h(x)g(\theta )}\ ,~~~{\mathsf {or}}~~{[g(\theta )]}^{h(x)j(\theta )}\ ,\ }$

где и – произвольные функции наблюдаемой статистической переменной; и – произвольные функции фиксированных параметров, определяющих форму распределения; и является любым произвольным постоянным выражением (т. е. числом или выражением, которое не изменяется с помощью или ). ${\displaystyle \ f\ }$ ${\displaystyle \ h\ }$ ${\displaystyle \ x\ ,}$ ${\displaystyle \ g\ }$ ${\displaystyle \ j\ }$ ${\displaystyle \ \theta \ ,}$ ${\displaystyle \ c\ }$ ${\displaystyle \ x\ }$ ${\displaystyle \ \theta \ }$

Существуют дополнительные ограничения на количество таких факторов. Например, два выражения:

${\displaystyle {[f(x)g(\theta )]}^{h(x)j(\theta )},\qquad {[f(x)]}^{h(x)j(\theta )}[g(\theta )]^{h(x)j(\theta )},}$

одинаковы, т.е. являются произведением двух «разрешенных» факторов. Однако при переписывании в факторизованную форму

${\displaystyle {[f(x)g(\theta )]}^{h(x)j(\theta )}={[f(x)]}^{h(x)j(\theta )}[g(\theta )]^{h(x)j(\theta )}=e^{[h(x)\log f(x)]j(\theta )+h(x)[j(\theta )\log g(\theta )]},}$

видно, что его невозможно выразить в требуемой форме. (Однако форма такого типа является членом семейства изогнутых экспонент , что позволяет использовать несколько факторизованных членов в показателе степени. ^{[ нужна ссылка ]} )

Чтобы понять, почему выражение формы

${\displaystyle {[f(x)]}^{g(\theta )}}$

квалифицируется,

${\displaystyle {[f(x)]}^{g(\theta )}=e^{g(\theta )\log f(x)}}$

и, следовательно, факторизуется внутри экспоненты. Сходным образом,

${\displaystyle {[f(x)]}^{h(x)g(\theta )}=e^{h(x)g(\theta )\log f(x)}=e^{[h(x)\log f(x)]g(\theta )}}$

и снова факторизуется внутри экспоненты.

Фактор, состоящий из суммы, в которой задействованы оба типа переменных (например, фактор вида ), не может быть факторизован таким образом (за исключением некоторых случаев, когда он встречается непосредственно в показателе степени); именно поэтому, например, распределение Коши и t -распределение Стьюдента не являются экспоненциальными семействами. ${\displaystyle 1+f(x)g(\theta )}$

Векторный параметр

Определение в терминах одного параметра действительного числа может быть расширено до одного параметра действительного вектора.

${\displaystyle {\boldsymbol {\theta }}\equiv \left[\,\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{s}\,\right]^{\mathsf {T}}~.}$

Говорят, что семейство распределений принадлежит векторному экспоненциальному семейству, если функцию плотности вероятности (или функцию массы вероятности для дискретных распределений) можно записать как

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)~,}$

или в более компактной форме,

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\theta }}){\Big )}}$

Эта форма записывает сумму как скалярное произведение векторных функций и . ${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$ ${\displaystyle \mathbf {T} (x)\,}$

Альтернативная, эквивалентная форма, часто встречающаяся:

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x){\Big )}}$

Как и в скалярном случае, экспоненциальное семейство называется каноническим, если

${\displaystyle \quad \eta _{i}({\boldsymbol {\theta }})=\theta _{i}\quad \forall i\,.}$

Семейство векторных экспонент называется искривленным , если размерность

${\displaystyle {\boldsymbol {\theta }}\equiv \left[\,\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{d}\,\,\right]^{\mathsf {T}}}$

меньше размерности вектора

${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})\equiv \left[\,\eta _{1}({\boldsymbol {\theta }}),\,\eta _{2}({\boldsymbol {\theta }}),\,\ldots ,\,\eta _{s}({\boldsymbol {\theta }})\,\right]^{\mathsf {T}}~.}$

То есть, если размерность d вектора параметров меньше количества функций s вектора параметров в приведенном выше представлении функции плотности вероятности. Наиболее распространенные распределения в экспоненциальном семействе не являются искривленными, и многие алгоритмы, предназначенные для работы с любым экспоненциальным семейством, неявно или явно предполагают, что распределение не является искривленным.

Как и в случае со скалярным параметром, функция или ее эквивалент автоматически определяется ограничением нормализации после выбора других функций. Даже если оно не является взаимно однозначным, функции и можно определить, потребовав, чтобы распределение было нормализовано для каждого значения натурального параметра . Это дает каноническую форму ${\displaystyle A({\boldsymbol {\theta }})}$ ${\displaystyle g({\boldsymbol {\theta }})}$ ${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$ ${\displaystyle A({\boldsymbol {\eta }})}$ ${\displaystyle g({\boldsymbol {\eta }})}$ ${\displaystyle {\boldsymbol {\eta }}}$

${\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\,\exp {\Big (}{\boldsymbol {\eta }}\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }}){\Big )},}$

или эквивалентно

${\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\,g({\boldsymbol {\eta }})\,\exp {\Big (}{\boldsymbol {\eta }}\cdot \mathbf {T} (x){\Big )}.}$

Вышеупомянутые формы иногда можно увидеть вместо . Это абсолютно эквивалентные формулировки, просто в них используются разные обозначения скалярного произведения . ${\displaystyle {\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)}$ ${\displaystyle {\boldsymbol {\eta }}\cdot \mathbf {T} (x)\,}$

Векторный параметр, векторная переменная

Форма векторного параметра для одной случайной величины со скалярным знаком может быть тривиально расширена, чтобы охватить совместное распределение по вектору случайных величин. Полученное распределение просто такое же, как и приведенное выше распределение для случайной величины со скалярным знаком, где каждое вхождение скаляра x заменяется вектором

${\displaystyle \mathbf {x} =\left(x_{1},x_{2},\cdots ,x_{k}\right)^{\mathsf {T}}~.}$

Размеры k случайной величины не обязательно должны совпадать с размерностью d вектора параметров или (в случае изогнутой экспоненциальной функции) с размерностью s натурального параметра и достаточной статистикой T ( x )  . ${\displaystyle {\boldsymbol {\eta }}}$

Распределение в этом случае записывается как

${\displaystyle f_{X}\!\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)=h(\mathbf {x} )\,\exp \!\left(\,\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\,\right)}$

Или более компактно, как

${\displaystyle f_{X}\!\left(\,\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=h(\mathbf {x} )\,\exp \!{\Big (}\,{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\,{\Big )}}$

Или альтернативно как

${\displaystyle f_{X}\!\left(\,\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=g({\boldsymbol {\theta }})\;h(\mathbf {x} )\,\exp \!{\Big (}\,{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )\,{\Big )}}$

Теоретико-мерная формулировка

Мы используем кумулятивные функции распределения (CDF), чтобы охватить как дискретные, так и непрерывные распределения.

Предположим, H — неубывающая функция действительной переменной. Тогда интегралы Лебега–Стилтьеса по являются интегралами по эталонной мере экспоненциального семейства, порожденного H  . ${\displaystyle {\rm {d\,}}H(\mathbf {x} )}$

Любой член этого экспоненциального семейства имеет кумулятивную функцию распределения.

${\displaystyle {\rm {d\,}}F\left(\,\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=\exp {\bigl (}\,{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )\,-\,A({\boldsymbol {\theta }})\,{\bigr )}~{\rm {d\,}}H(\mathbf {x} )~.}$

H ( x ) — интегратор Лебега–Стилтьеса эталонной меры. Когда эталонная мера конечна, ее можно нормализовать, и H фактически является кумулятивной функцией распределения распределения вероятностей. Если F абсолютно непрерывен с плотностьюотносительно эталонной меры(обычно меры Лебега ), можно написать. В этом случае H также абсолютно непрерывна и ее можно записатьтак, чтобы формулы сводились к формулам из предыдущих абзацев. Если F дискретно, то H — ступенчатая функция (со ступеньками на носителе F). ${\displaystyle f(x)}$ ${\displaystyle \,{\rm {d\,}}x\,}$ ${\displaystyle \,{\rm {d\,}}F(x)=f(x)~{\rm {d\,}}x\,}$ ${\displaystyle \,{\rm {d\,}}H(x)=h(x)\,{\rm {d\,}}x\,}$

В качестве альтернативы мы можем записать вероятностную меру непосредственно как

${\displaystyle P\left(\,{\rm {d\,}}\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=\exp {\bigl (}\,{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\,{\bigr )}~\mu ({\rm {d\,}}\mathbf {x} )~.}$

для некоторой эталонной меры . ${\displaystyle \mu \,}$

Интерпретация

В приведенных выше определениях функции T ( x ) , η ( θ ) и A ( η ) были произвольными. Однако эти функции имеют важные интерпретации в итоговом распределении вероятностей.

• T ( x ) является достаточной статистикой распределения. Для экспоненциальных семейств достаточная статистика является функцией данных, которые содержат всю информацию, которую данные x предоставляют в отношении неизвестных значений параметров. Это означает, что для любых наборов данныхиотношение правдоподобия одинаково, то естьесли T ( x ) = T ( y )  . Это верно, даже если x и y не равны друг другу. Размерность T ( x ) равна количеству параметров θ и включает в себя всю информацию, касающуюся данных, связанных с параметром θ . Достаточная статистика набора независимых одинаково распределенных наблюдений данных представляет собой просто сумму отдельных достаточных статистических данных и инкапсулирует всю информацию, необходимую для описания апостериорного распределения параметров с учетом данных (и, следовательно, для получения любой желаемой оценки параметров). ). (Это важное свойство обсуждается ниже.) ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle {\frac {f(x;\theta _{1})}{f(x;\theta _{2})}}={\frac {f(y;\theta _{1})}{f(y;\theta _{2})}}}$ 
• η называется натуральным параметром . Множество значений η , при которых функция интегрируема, называется пространством натуральных параметров . Можно показать, что естественное пространство параметров всегда выпукло . ${\displaystyle f_{X}(x;\eta )}$
• A ( η ) называетсяlog- функция разделения ^[b] , потому что это логарифм коэффициента нормализации , без которого не было бы распределения вероятностей: ${\displaystyle f_{X}(x;\theta )}$

${\displaystyle A(\eta )=\log \left(\int _{X}h(x)\,\exp(\eta (\theta )\cdot T(x))\,\mathrm {d} x\right)}$

Функция A важна сама по себе, потому что среднее значение , дисперсия и другие моменты достаточной статистики T ( x ) могут быть получены просто путем дифференцирования A ( η ) . Например, поскольку log( x ) является одним из компонентов достаточной статистики гамма-распределения , его можно легко определить для этого распределения с помощью A ( η ) . Технически это верно, потому что ${\displaystyle \operatorname {\mathcal {E}} [\log x]}$

${\displaystyle K\left(u\mid \eta \right)=A(\eta +u)-A(\eta )\,,}$

– кумулянтная производящая функция достаточной статистики.

Характеристики

Экспоненциальные семейства обладают большим количеством свойств, которые делают их чрезвычайно полезными для статистического анализа. Во многих случаях можно показать, что этими свойствами обладают только экспоненциальные семейства. Примеры:

• Экспоненциальные семейства — единственные семейства с достаточной статистикой , которые могут суммировать произвольные объемы независимых одинаково распределенных данных, используя фиксированное количество значений. ( Теорема Питмана – Купмана – Дармуа )
• Экспоненциальные семейства имеют сопряженные априорные значения , что является важным свойством в байесовской статистике .
• Апостериорное прогнозирующее распределение случайной величины экспоненциального семейства с сопряженным априором всегда можно записать в замкнутой форме (при условии, что нормализующий коэффициент распределения экспоненциального семейства сам может быть записан в замкнутой форме). ^[с]
• В приближении среднего поля в вариационном Байесе (используемом для аппроксимации апостериорного распределения в больших байесовских сетях ) наилучшее аппроксимирующее апостериорное распределение узла экспоненциального семейства (узел — случайная величина в контексте байесовских сетей) с сопряженной Prior принадлежит к тому же семейству, что и узел. ^[8]

Учитывая экспоненциальное семейство, определенное , где пространство параметров, такое, что . Затем ${\displaystyle f_{X}(x\mid \theta )=h(x)\,\exp \!{\bigl [}\,\theta \cdot T(x)-A(\theta )\,{\bigr ]}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta \in \Theta \subset \mathbb {R} ^{k}}$

• Если имеет непустую внутреннюю часть , то с учетом любых выборок IID статистика является полной статистикой для . ^{[9] [10]} ${\displaystyle \Theta }$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle X_{1},...,X_{n}\sim f_{X}}$ ${\displaystyle T(X_{1},...,X_{n}):=\sum _{i=1}^{n}T(X_{i})}$ ${\displaystyle \theta }$
• ${\displaystyle T}$является минимальной статистикой для iff для всех и в поддержку if , then or . ^[11] ${\displaystyle \theta }$ ${\displaystyle \theta _{1},\theta _{2}\in \Theta }$ ${\displaystyle x_{1},x_{2}}$ ${\displaystyle X}$ ${\displaystyle (\theta _{1}-\theta _{2})\cdot (T(x_{1})-T(x_{2}))=0}$ ${\displaystyle \theta _{1}=\theta _{2}}$ ${\displaystyle x_{1}=x_{2}}$

Примеры

При рассмотрении примеров в этом разделе очень важно помнить приведенное выше обсуждение того, что означает сказать, что «распределение» является экспоненциальным семейством, и, в частности, иметь в виду, что набор параметров, которые могут изменяться имеет решающее значение для определения того, является ли «распределение» экспоненциальным семейством или нет.

Нормальное , экспоненциальное , логарифмически нормальное , гамма - распределение , хи-квадрат , бета , Дирихле , Бернулли , категориальное распределение , распределение Пуассона , геометрическое , обратное гауссово , ALAAM , распределение фон Мизеса и фон Мизеса-Фишера — все это экспоненциальные семейства.

Некоторые распределения являются экспоненциальными семействами только в том случае, если некоторые из их параметров остаются фиксированными. Семейство распределений Парето с фиксированной минимальной границей x _m образует экспоненциальное семейство. Семейства биномиальных и полиномиальных распределений с фиксированным количеством испытаний n , но неизвестными параметрами вероятности являются экспоненциальными семействами. Семейство отрицательных биномиальных распределений с фиксированным количеством отказов (он же параметр времени остановки) r является экспоненциальным семейством. Однако если любой из вышеупомянутых фиксированных параметров может изменяться, полученное семейство не является экспоненциальным семейством.

Как упоминалось выше, как правило, поддержка экспоненциального семейства должна оставаться одинаковой для всех настроек параметров в семействе. Вот почему приведенные выше случаи (например, биномиальный с переменным количеством испытаний, Парето с варьирующейся минимальной границей) не являются экспоненциальными семействами — во всех случаях рассматриваемый параметр влияет на поддержку (в частности, изменение минимального или максимально возможного значения). . По тем же причинам ни дискретное равномерное распределение , ни непрерывное равномерное распределение не являются экспоненциальными семействами, поскольку одна или обе границы изменяются.

Распределение Вейбулла с фиксированным параметром формы k представляет собой экспоненциальное семейство. В отличие от предыдущих примеров, параметр формы не влияет на опору; тот факт, что разрешение изменяться, делает Вейбулла неэкспоненциальным, объясняется, скорее, особой формой функции плотности вероятности Вейбулла ( k появляется в показателе показателя).

В общем, распределения, которые являются результатом конечной или бесконечной смеси других распределений, например, плотностей модели смеси и составных распределений вероятностей , не являются экспоненциальными семействами. Примерами являются типичные модели гауссовой смеси, а также многие распределения с тяжелым хвостом , которые возникают в результате объединения (т.е. бесконечного смешивания) распределения с априорным распределением по одному из его параметров, например, t -распределение Стьюдента (составление нормального распределения по гамма-распределению ). априорная распределенная точность), а также бета-биномиальное и мультиномиальное распределения Дирихле. Другими примерами распределений, не являющихся экспоненциальными семействами, являются F-распределение , распределение Коши , гипергеометрическое распределение и логистическое распределение .

Ниже приведены некоторые подробные примеры представления некоторых полезных распределений в виде экспоненциальных семейств.

Нормальное распределение: неизвестное среднее, известная дисперсия.

В качестве первого примера рассмотрим случайную величину, распределенную нормально с неизвестным средним значением µ и известной дисперсией σ ² . Тогда функция плотности вероятности равна

${\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/(2\sigma ^{2})}.}$

Это однопараметрическое экспоненциальное семейство, как можно увидеть, установив

${\displaystyle {\begin{aligned}h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-x^{2}/(2\sigma ^{2})}\\[4pt]T_{\sigma }(x)&={\frac {x}{\sigma }}\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}}\\[4pt]\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}}$

Если σ = 1, это имеет каноническую форму, так как тогда  η ( µ ) =  µ .

Нормальное распределение: неизвестное среднее и неизвестная дисперсия

Далее рассмотрим случай нормального распределения с неизвестным средним значением и неизвестной дисперсией. Тогда функция плотности вероятности равна

${\displaystyle f(y;\mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(y-\mu )^{2}/2\sigma ^{2}}.}$

Это экспоненциальное семейство, которое можно записать в канонической форме, определив

${\displaystyle {\begin{aligned}{\boldsymbol {\eta }}&=\left[\,{\frac {\mu }{\sigma ^{2}}},~-{\frac {1}{2\sigma ^{2}}}\,\right]\\h(y)&={\frac {1}{\sqrt {2\pi }}}\\T(y)&=\left(y,y^{2}\right)^{\rm {T}}\\A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}}$

Биномиальное распределение

В качестве примера дискретного экспоненциального семейства рассмотрим биномиальное распределение с известным количеством испытаний n . Функция массы вероятности для этого распределения равна

${\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.}$

Это эквивалентно можно записать как

${\displaystyle f(x)={n \choose x}\exp \left(x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right),}$

который показывает, что биномиальное распределение представляет собой экспоненциальное семейство, естественный параметр которого равен

${\displaystyle \eta =\log {\frac {p}{1-p}}.}$

Эта функция p известна как логит .

Таблица распределений

В следующей таблице показано, как переписать ряд распространенных распределений как распределения экспоненциального семейства с натуральными параметрами. Обратитесь к карточкам ^[12] для ознакомления с основными семействами экспонент.

Для скалярной переменной и скалярного параметра форма имеет следующий вид:

${\displaystyle f_{X}(x\mid \theta )=h(x)\exp {\Big (}\eta ({\theta })T(x)-A({\eta }){\Big )}}$

Для скалярной переменной и векторного параметра:

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }}){\Big )}}$

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)g({\boldsymbol {\theta }})\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x){\Big )}}$

Для векторной переменной и векторного параметра:

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\eta }}){\Big )}}$

Приведенные выше формулы выбирают функциональную форму экспоненциального семейства с функцией логарифмического разбиения . Причина этого в том, что моменты достаточной статистики можно легко вычислить, просто дифференцируя эту функцию. Альтернативные формы включают либо параметризацию этой функции в терминах нормального параметра вместо натурального параметра, и/или использование множителя вне экспоненты. Связь между последним и первым такова: ${\displaystyle A({\boldsymbol {\eta }})}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle g({\boldsymbol {\eta }})}$

${\displaystyle A({\boldsymbol {\eta }})=-\log g({\boldsymbol {\eta }})}$

${\displaystyle g({\boldsymbol {\eta }})=e^{-A({\boldsymbol {\eta }})}}$

Чтобы преобразовать представления, включающие два типа параметров, используйте приведенные ниже формулы для записи одного типа параметра через другой.

* Скобка Айверсона является обобщением дискретной дельта-функции: если выражение в квадратных скобках истинно, скобка имеет значение 1; если прилагаемое утверждение неверно, скобка Айверсона равна нулю. Существует много вариантов обозначений, например волнистые скобки: ⧙ a = b ⧘ эквивалентно обозначению [ a = b ] , использованному выше.

Три варианта категориального распределения и полиномиального распределения обусловлены тем, что параметры ограничены, так что ${\displaystyle p_{i}}$

${\displaystyle \sum _{i=1}^{k}p_{i}=1~.}$

Таким образом, существуют только независимые параметры. ${\displaystyle k-1}$

• Вариант 1 использует натуральные параметры с простой связью между стандартными и естественными параметрами; однако только естественные параметры являются независимыми, а множество естественных параметров неидентифицируемо . Ограничение на обычные параметры преобразуется в аналогичное ограничение на естественные параметры. ${\displaystyle k}$ ${\displaystyle k-1}$ ${\displaystyle k}$
• Вариант 2 демонстрирует тот факт, что весь набор натуральных параметров неидентифицируем: добавление любого постоянного значения к натуральным параметрам не влияет на результирующее распределение. Однако, используя ограничение на натуральные параметры, формулу для нормальных параметров через натуральные параметры можно записать независимо от добавляемой константы.
• Вариант 3 показывает, как сделать параметры удобным способом идентифицируемыми, установив Это эффективно «поворачивается» вокруг и приводит к тому, что последний натуральный параметр имеет постоянное значение 0. Все остальные формулы написаны таким образом, что не требуется доступ к , поэтому что фактически модель имеет только параметры, как обычного, так и естественного вида. ${\displaystyle C=-\log p_{k}\ .}$ ${\displaystyle p_{k}}$ ${\displaystyle p_{k}\ }$ ${\displaystyle k-1}$

Варианты 1 и 2 вообще не являются стандартными экспоненциальными семействами. Скорее, они представляют собой изогнутые экспоненциальные семейства , т.е. существуют независимые параметры, встроенные в -мерное пространство параметров. ^[13] Многие из стандартных результатов для экспоненциальных семейств не применимы к изогнутым экспоненциальным семействам. Примером может служить функция log-partition , которая в изогнутых случаях имеет значение 0. В стандартных экспоненциальных семействах производные этой функции соответствуют моментам (более технически, кумулянтам ) достаточной статистики, например, среднего значения и дисперсии. Однако значение 0 предполагает, что среднее значение и дисперсия всех достаточных статистических данных равномерно равны 0, тогда как на самом деле среднее значение достаточной статистики должно быть равно 0. (Это действительно проявляется правильно при использовании формы, показанной в варианте 3.) ${\displaystyle k-1}$ ${\displaystyle k}$ ${\displaystyle A(x)\ }$ ${\displaystyle i}$ ${\displaystyle p_{i}\ }$ ${\displaystyle A(x)\ }$

Моменты и кумулянты достаточной статистики

Нормализация распределения

Начнем с нормализации распределения вероятностей. В общем, любая неотрицательная функция f ( x ), которая служит ядром распределения вероятностей (часть, кодирующая всю зависимость от x ), может быть преобразована в правильное распределение путем нормализации : т.е.

${\displaystyle p(x)={\frac {1}{Z}}f(x)}$

где

${\displaystyle Z=\int _{x}f(x)\,dx.}$

Фактор Z иногда называют нормализатором или статистической суммой , по аналогии со статистической физикой .

В случае экспоненциального семейства, где

${\displaystyle p(x;{\boldsymbol {\eta }})=g({\boldsymbol {\eta }})h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)},}$

ядро это

${\displaystyle K(x)=h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}}$

и функция распределения

${\displaystyle Z=\int _{x}h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx.}$

Поскольку распределение должно быть нормализовано, мы имеем

${\displaystyle 1=\int _{x}g({\boldsymbol {\eta }})h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx=g({\boldsymbol {\eta }})\int _{x}h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx=g({\boldsymbol {\eta }})Z.}$

Другими словами,

${\displaystyle g({\boldsymbol {\eta }})={\frac {1}{Z}}}$

или эквивалентно

${\displaystyle A({\boldsymbol {\eta }})=-\log g({\boldsymbol {\eta }})=\log Z.}$

Это оправдывает вызов функции нормализатора журнала или функции разделения журнала .

Момент-производящая функция достаточной статистики

Теперь производящая момент функция T ( x ) равна

${\displaystyle M_{T}(u)\equiv E[e^{u^{\top }T(x)}\mid \eta ]=\int _{x}h(x)e^{(\eta +u)^{\top }T(x)-A(\eta )}\,dx=e^{A(\eta +u)-A(\eta )}}$

доказывая ранее сделанное утверждение о том, что

${\displaystyle K(u\mid \eta )=A(\eta +u)-A(\eta )}$

является кумулянтной производящей функцией для T .

Важным подклассом семейств экспонент являются естественные семейства экспонент , которые имеют аналогичный вид для производящей момент функции распределения x .

Дифференциальные тождества для кумулянтов

В частности, используя свойства кумулянтной производящей функции,

${\displaystyle \operatorname {E} (T_{j})={\frac {\partial A(\eta )}{\partial \eta _{j}}}}$

и

${\displaystyle \operatorname {cov} \left(T_{i},\ T_{j}\right)={\frac {\partial ^{2}A(\eta )}{\partial \eta _{i}\,\partial \eta _{j}}}.}$

Первые два необработанных момента и все смешанные вторые моменты могут быть восстановлены из этих двух тождеств. Моменты и кумулянты высших порядков получаются посредством высших производных. Этот метод часто бывает полезен, когда T является сложной функцией данных, моменты которой трудно вычислить путем интегрирования.

Другой способ увидеть это, не опирающийся на теорию кумулянтов , состоит в том, чтобы начать с того факта, что распределение экспоненциального семейства необходимо нормализовать и дифференцировать. Мы проиллюстрируем это на простом случае одномерного параметра, но аналогичный вывод справедлив и в более общем плане.

В одномерном случае имеем

${\displaystyle p(x)=g(\eta )h(x)e^{\eta T(x)}.}$

Это должно быть нормализовано, поэтому

${\displaystyle 1=\int _{x}p(x)\,dx=\int _{x}g(\eta )h(x)e^{\eta T(x)}\,dx=g(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx.}$

Возьмем производную обеих частей по η :

${\displaystyle {\begin{aligned}0&=g(\eta ){\frac {d}{d\eta }}\int _{x}h(x)e^{\eta T(x)}\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\&=g(\eta )\int _{x}h(x)\left({\frac {d}{d\eta }}e^{\eta T(x)}\right)\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\&=g(\eta )\int _{x}h(x)e^{\eta T(x)}T(x)\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\&=\int _{x}T(x)g(\eta )h(x)e^{\eta T(x)}\,dx+{\frac {g'(\eta )}{g(\eta )}}\int _{x}g(\eta )h(x)e^{\eta T(x)}\,dx\\&=\int _{x}T(x)p(x)\,dx+{\frac {g'(\eta )}{g(\eta )}}\int _{x}p(x)\,dx\\&=\operatorname {E} [T(x)]+{\frac {g'(\eta )}{g(\eta )}}\\&=\operatorname {E} [T(x)]+{\frac {d}{d\eta }}\log g(\eta )\end{aligned}}}$

Поэтому,

${\displaystyle \operatorname {E} [T(x)]=-{\frac {d}{d\eta }}\log g(\eta )={\frac {d}{d\eta }}A(\eta ).}$

Пример 1

В качестве вводного примера рассмотрим гамма-распределение , распределение которого определяется формулой

${\displaystyle p(x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.}$

Обращаясь к приведенной выше таблице, мы видим, что натуральный параметр определяется выражением

${\displaystyle \eta _{1}=\alpha -1,}$

${\displaystyle \eta _{2}=-\beta ,}$

обратные замены

${\displaystyle \alpha =\eta _{1}+1,}$

${\displaystyle \beta =-\eta _{2},}$

достаточная статистика и функция разделения журнала ${\displaystyle (\log x,x),}$

${\displaystyle A(\eta _{1},\eta _{2})=\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2}).}$

Мы можем найти среднее значение достаточной статистики следующим образом. Во-первых, для η ₁ :

${\displaystyle {\begin{aligned}\operatorname {E} [\log x]&={\frac {\partial A(\eta _{1},\eta _{2})}{\partial \eta _{1}}}={\frac {\partial }{\partial \eta _{1}}}\left(\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right)\\&=\psi (\eta _{1}+1)-\log(-\eta _{2})\\&=\psi (\alpha )-\log \beta ,\end{aligned}}}$

Где - дигамма-функция (производная логарифмической гаммы), и на последнем шаге мы использовали обратные замены. ${\displaystyle \psi (x)}$

Теперь для η ₂ :

${\displaystyle {\begin{aligned}\operatorname {E} [x]&={\frac {\partial A(\eta _{1},\eta _{2})}{\partial \eta _{2}}}={\frac {\partial }{\partial \eta _{2}}}\left(\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right)\\&=-(\eta _{1}+1){\frac {1}{-\eta _{2}}}(-1)={\frac {\eta _{1}+1}{-\eta _{2}}}\\&={\frac {\alpha }{\beta }},\end{aligned}}}$

снова сделав обратную замену на последнем шаге.

Чтобы вычислить дисперсию x , мы просто снова дифференцируем:

${\displaystyle {\begin{aligned}\operatorname {Var} (x)&={\frac {\partial ^{2}A\left(\eta _{1},\eta _{2}\right)}{\partial \eta _{2}^{2}}}={\frac {\partial }{\partial \eta _{2}}}{\frac {\eta _{1}+1}{-\eta _{2}}}\\&={\frac {\eta _{1}+1}{\eta _{2}^{2}}}\\&={\frac {\alpha }{\beta ^{2}}}.\end{aligned}}}$

Все эти расчеты можно выполнить с помощью интегрирования, используя различные свойства гамма- функции , но это требует значительно больше работы.

Пример 2

В качестве другого примера рассмотрим вещественную случайную величину X с плотностью

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}}}$

индексируется по параметру формы (это называется асимметричным логистическим распределением ). Плотность можно переписать как ${\displaystyle \theta \in (0,\infty )}$

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log \left(1+e^{-x})+\log(\theta )\right)}$

Обратите внимание, что это экспоненциальное семейство с натуральным параметром

${\displaystyle \eta =-\theta ,}$

достаточная статистика

${\displaystyle T=\log \left(1+e^{-x}\right),}$

и функция разделения журналов

${\displaystyle A(\eta )=-\log(\theta )=-\log(-\eta )}$

Итак, используя первое тождество,

${\displaystyle \operatorname {E} (\log(1+e^{-X}))=\operatorname {E} (T)={\frac {\partial A(\eta )}{\partial \eta }}={\frac {\partial }{\partial \eta }}[-\log(-\eta )]={\frac {1}{-\eta }}={\frac {1}{\theta }},}$

и используя второе тождество

${\displaystyle \operatorname {var} (\log \left(1+e^{-X}\right))={\frac {\partial ^{2}A(\eta )}{\partial \eta ^{2}}}={\frac {\partial }{\partial \eta }}\left[{\frac {1}{-\eta }}\right]={\frac {1}{(-\eta )^{2}}}={\frac {1}{\theta ^{2}}}.}$

Этот пример иллюстрирует случай, когда использование этого метода очень просто, но прямой расчет практически невозможен.

Пример 3

Последний пример – это тот, где интеграция будет чрезвычайно трудной. Это случай распределения Уишарта , которое определено по матрицам. Даже получение производных немного сложнее, поскольку оно требует матричного исчисления , но соответствующие тождества перечислены в этой статье.

Из приведенной выше таблицы мы видим, что натуральный параметр определяется выражением

${\displaystyle {\boldsymbol {\eta }}_{1}=-{\frac {1}{2}}\mathbf {V} ^{-1},}$

${\displaystyle \eta _{2}={\frac {n-p-1}{2}},}$

обратные замены

${\displaystyle \mathbf {V} =-{\frac {1}{2}}{{\boldsymbol {\eta }}_{1}}^{-1},}$

${\displaystyle n=2\eta _{2}+p+1,}$

и достаточная статистика ${\displaystyle (\mathbf {X} ,\log |\mathbf {X} |).}$

Функция log-partition записана в таблице в различных формах, чтобы облегчить дифференцирование и обратную замену. Мы используем следующие формы:

${\displaystyle A({\boldsymbol {\eta }}_{1},n)=-{\frac {n}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|+\log \Gamma _{p}\left({\frac {n}{2}}\right),}$

${\displaystyle A(\mathbf {V} ,\eta _{2})=\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log |\mathbf {V} |)+\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right).}$

Ожидание X (связанное с η ₁ )

Для дифференцирования по η ₁ нам понадобится следующее тождество матричного исчисления :

${\displaystyle {\frac {\partial \log |a\mathbf {X} |}{\partial \mathbf {X} }}=(\mathbf {X} ^{-1})^{\rm {T}}}$

Затем:

${\displaystyle {\begin{aligned}\operatorname {E} [\mathbf {X} ]&={\frac {\partial A\left({\boldsymbol {\eta }}_{1},\ldots \right)}{\partial {\boldsymbol {\eta }}_{1}}}\\&={\frac {\partial }{\partial {\boldsymbol {\eta }}_{1}}}\left[-{\frac {n}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {n}{2}}\right)\right]\\&=-{\frac {n}{2}}({\boldsymbol {\eta }}_{1}^{-1})^{\rm {T}}\\&={\frac {n}{2}}(-{\boldsymbol {\eta }}_{1}^{-1})^{\rm {T}}\\&=n(\mathbf {V} )^{\rm {T}}\\&=n\mathbf {V} \end{aligned}}}$

В последней строке используется тот факт, что V симметричен и, следовательно, при транспонировании остается тем же.

Ожидание журнала | Х | (связанный с η ₂ )

Теперь для η ₂ нам сначала нужно расширить ту часть логарифмической статистической суммы, которая включает в себя многомерную гамма-функцию :

${\displaystyle \log \Gamma _{p}(a)=\log \left(\pi ^{\frac {p(p-1)}{4}}\prod _{j=1}^{p}\Gamma \left(a+{\frac {1-j}{2}}\right)\right)={\frac {p(p-1)}{4}}\log \pi +\sum _{j=1}^{p}\log \Gamma \left[a+{\frac {1-j}{2}}\right]}$

Нам также понадобится дигамма-функция :

${\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x).}$

Затем:

${\displaystyle {\begin{aligned}\operatorname {E} [\log |\mathbf {X} |]&={\frac {\partial A\left(\ldots ,\eta _{2}\right)}{\partial \eta _{2}}}\\&={\frac {\partial }{\partial \eta _{2}}}\left[-\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log |\mathbf {V} |)+\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)\right]\\&={\frac {\partial }{\partial \eta _{2}}}\left[\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log |\mathbf {V} |)+{\frac {p(p-1)}{4}}\log \pi +\sum _{j=1}^{p}\log \Gamma \left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)\right]\\&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi \left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)\\&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi \left({\frac {n-p-1}{2}}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)\\&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi \left({\frac {n+1-j}{2}}\right)\end{aligned}}}$

Последняя формула указана в статье о распространении Wishart . Оба этих ожидания необходимы при выводе вариационных уравнений обновления Байеса в сети Байеса, включающей распределение Уишарта (которое является сопряженным априорным значением многомерного нормального распределения ).

Вычислить эти формулы с помощью интегрирования было бы гораздо сложнее. Например, первый вариант потребует матричной интеграции.

Энтропия

Относительная энтропия

Относительная энтропия ( дивергенция Кульбака–Лейблера , дивергенция КЛ) двух распределений в экспоненциальном семействе имеет простое выражение как расхождение Брегмана между натуральными параметрами относительно логарифматора. ^[14] Относительная энтропия определяется в терминах интеграла, в то время как дивергенция Брегмана определяется в терминах производной и внутреннего продукта, и, таким образом, ее легче вычислить, и она имеет выражение в замкнутой форме (при условии, что производная имеет замкнутую форму). формировать выражение). Кроме того, расходимость Брегмана с точки зрения натуральных параметров и логарифмического нормализатора равна расходимости Брегмана двойственных параметров (параметров ожидания) в противоположном порядке для выпуклой сопряженной функции. ^[15]

Фиксация экспоненциального семейства с лог-нормализатором (с выпуклым сопряжением ), запись распределения в этом семействе, соответствующего фиксированному значению натурального параметра (запись для другого значения и с для соответствующих двойных параметров ожидания/момента), запись KL для КЛ-дивергенция, а для дивергенции Брегмана дивергенции связаны следующим образом: ${\displaystyle A}$ ${\displaystyle A^{*}}$ ${\displaystyle P_{A,\theta }}$ ${\displaystyle \theta }$ ${\displaystyle \theta '}$ ${\displaystyle \eta ,\eta '}$ ${\displaystyle B_{A}}$

${\displaystyle {\rm {{KL}(P_{A,\theta }\parallel P_{A,\theta '})=B_{A}(\theta '\parallel \theta )=B_{A^{*}}(\eta \parallel \eta ').}}}$

Дивергенция КЛ традиционно записывается по первому параметру, а дивергенция Брегмана традиционно записывается по второму параметру, и, таким образом, это можно прочитать как «относительная энтропия равна дивергенции Брегмана, определяемой логарифмическим нормализатором». по замененным натуральным параметрам» или, что то же самое, как «равный дивергенции Брегмана, определяемой двойственным логарифмическим нормализатором параметров ожидания».

Вывод максимальной энтропии

Экспоненциальные семейства естественным образом возникают как ответ на следующий вопрос: какое распределение максимальной энтропии согласуется с заданными ограничениями на ожидаемые значения?

Информационная энтропия распределения вероятностей dF ( x ) может быть вычислена только относительно некоторого другого распределения вероятностей (или, в более общем смысле, положительной меры), и обе меры должны быть взаимно абсолютно непрерывны . Соответственно, нам нужно выбрать эталонную меру dH ( x ) с той же поддержкой, что и dF ( x ).

Энтропия dF ( x ) относительно dH ( x ) равна

${\displaystyle S[dF\mid dH]=-\int {\frac {dF}{dH}}\log {\frac {dF}{dH}}\,dH}$

или

${\displaystyle S[dF\mid dH]=\int \log {\frac {dH}{dF}}\,dF}$

где dF / dH и dH / dF — производные Радона–Никодима . Обычное определение энтропии для дискретного распределения, поддерживаемого на множестве I , а именно

${\displaystyle S=-\sum _{i\in I}p_{i}\log p_{i}}$

предполагает , хотя на это редко указывают, что dH выбрана в качестве счетной меры I .

Рассмотрим теперь набор наблюдаемых величин (случайных величин) T _i . Распределение вероятностей dF , энтропия которого по отношению к dH наибольшая, при условии, что ожидаемое значение _Ti равно t i _, представляет собой экспоненциальное семейство с dH в качестве эталонной меры и ( T ₁ , ..., T _n ) как достаточная статистика.

Вывод представляет собой простой вариационный расчет с использованием множителей Лагранжа . Нормализация налагается, если T ₀ = 1 быть одним из ограничений. Естественными параметрами распределения являются множители Лагранжа, а коэффициентом нормализации является множитель Лагранжа, связанный с T ₀ .

Примеры таких выводов см. в разделе Распределение вероятностей максимальной энтропии .

Роль в статистике

Классическая оценка: достаточность

Согласно теореме Питмана – Купмана – Дармуа , среди семейств вероятностных распределений, область определения которых не меняется в зависимости от оцениваемого параметра, только в экспоненциальных семействах существует достаточная статистика , размерность которой остается ограниченной по мере увеличения размера выборки.

Менее кратко, предположим, что X _k (где k = 1, 2, 3, ... n ) являются независимыми , одинаково распределенными случайными величинами. Только если их распределение относится к экспоненциальному семейству распределений, существует достаточная статистика T ( X ₁ , ..., X _n ), число скалярных компонентов которой не увеличивается с увеличением размера выборки n ; статистика T может быть вектором или одним скалярным числом , но чем бы она ни была, ее размер не будет ни увеличиваться, ни уменьшаться при получении большего количества данных.

В качестве контрпримера, если эти условия смягчены, семейство равномерных распределений ( дискретных или непрерывных , с неизвестной одной или обеими границами) имеет достаточную статистику, а именно максимум выборки, минимум выборки и размер выборки, но не образует экспоненциальную зависимость. семейство, так как домен меняется в зависимости от параметров.

Байесовская оценка: сопряженные распределения

Экспоненциальные семейства также важны в байесовской статистике . В байесовской статистике априорное распределение умножается на функцию правдоподобия , а затем нормализуется для получения апостериорного распределения . В случае вероятности, принадлежащей экспоненциальному семейству, существует сопряженный априор , который часто также принадлежит экспоненциальному семейству. Сопряженный априор π для параметра экспоненциального семейства ${\displaystyle {\boldsymbol {\eta }}}$

${\displaystyle f(x\mid {\boldsymbol {\eta }})=h(x)\exp \left({\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)-A({\boldsymbol {\eta }})\right)}$

дан кем-то

${\displaystyle p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\exp \left({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}-\nu A({\boldsymbol {\eta }})\right),}$

или эквивалентно

${\displaystyle p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp \left({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}\right),\qquad {\boldsymbol {\chi }}\in \mathbb {R} ^{s}}$

где s — размерность, а и — гиперпараметры (параметры, управляющие параметрами). соответствует эффективному количеству наблюдений, которые вносит априорное распределение, и соответствует общей сумме, которую эти псевдонаблюдения вносят в достаточную статистику по всем наблюдениям и псевдонаблюдениям. — константа нормализации , которая автоматически определяется остальными функциями и служит для обеспечения того, чтобы данная функция была функцией плотности вероятности (т. е. была нормализована ). и, что эквивалентно, являются теми же функциями, что и в определении распределения, для которого π является сопряженным априорным. ${\displaystyle {\boldsymbol {\eta }}}$ ${\displaystyle \nu >0}$ ${\displaystyle {\boldsymbol {\chi }}}$ ${\displaystyle \nu }$ ${\displaystyle {\boldsymbol {\chi }}}$ ${\displaystyle f({\boldsymbol {\chi }},\nu )}$ ${\displaystyle A({\boldsymbol {\eta }})}$ ${\displaystyle g({\boldsymbol {\eta }})}$

Сопряженное априорное распределение — это такое, которое в сочетании с правдоподобием и нормализацией дает апостериорное распределение того же типа, что и априорное. Например, если кто-то оценивает вероятность успеха биномиального распределения, то если кто-то решит использовать бета-распределение в качестве априорного, апостериорное распределение будет другим бета-распределением. Это делает вычисление задней части особенно простым. Аналогично, если кто-то оценивает параметр распределения Пуассона, использование априорной гаммы приведет к другой апостериорной гамме. Сопряженные априоры часто очень гибки и могут быть очень удобными. Однако, если убеждение о вероятном значении тета-параметра бинома представлено (скажем) бимодальным (двугорбым) априорным распределением, то это не может быть представлено бета-распределением. Однако его можно представить, используя в качестве априорного значения плотность смеси , в данном случае комбинацию двух бета-распределений; это форма гиперприора .

Произвольная вероятность не будет принадлежать экспоненциальному семейству, и поэтому, как правило, сопряженного априора не существует. Затем апостериорную величину придется рассчитывать численными методами.

Чтобы показать, что приведенное выше априорное распределение является сопряженным априорным, мы можем вывести апостериорное.

Во-первых, предположим, что вероятность одного наблюдения следует экспоненциальному семейству, параметризованному с использованием его натурального параметра:

${\displaystyle p_{F}(x\mid {\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})\exp \left({\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)\right)}$

Затем для data вероятность вычисляется следующим образом: ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}$

${\displaystyle p(\mathbf {X} \mid {\boldsymbol {\eta }})=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)}$

Тогда для вышеуказанного сопряженного априора:

${\displaystyle {\begin{aligned}p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )&=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\propto g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\end{aligned}}}$

Затем мы можем вычислить апостериорную величину следующим образом:

${\displaystyle {\begin{aligned}p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )&\propto p(\mathbf {X} \mid {\boldsymbol {\eta }})p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )\\&=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\\&\propto g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\\&\propto g({\boldsymbol {\eta }})^{\nu +n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\left({\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\right)\end{aligned}}}$

Последняя строка представляет собой ядро ​​апостериорного распределения, т.е.

${\displaystyle p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )=p_{\pi }\left({\boldsymbol {\eta }}\left|~{\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i}),\nu +n\right.\right)}$

Это показывает, что задняя часть имеет ту же форму, что и предыдущая.

Данные X входят в это уравнение только в выражении

${\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{n}\mathbf {T} (x_{i}),}$

что называется достаточной статистикой данных. То есть значения достаточной статистики достаточно, чтобы полностью определить апостериорное распределение. Сами фактические точки данных не нужны, и все наборы точек данных с одинаковой достаточной статистикой будут иметь одинаковое распределение. Это важно, поскольку размерность достаточной статистики не увеличивается с размером данных — она имеет ровно столько компонентов, сколько компонентов (эквивалентно количеству параметров распределения одной точки данных). ${\displaystyle {\boldsymbol {\eta }}}$

Уравнения обновления следующие:

${\displaystyle {\begin{aligned}{\boldsymbol {\chi }}'&={\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} )\\&={\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\\\nu '&=\nu +n\end{aligned}}}$

Это показывает, что уравнения обновления могут быть записаны просто с точки зрения количества точек данных и достаточной статистики данных. Это можно ясно увидеть в различных примерах уравнений обновления, показанных на предыдущей странице сопряжения . Из-за способа вычисления достаточной статистики она обязательно включает суммы компонентов данных (в некоторых случаях замаскированные под произведения или другие формы — произведение можно записать в виде суммы логарифмов ) . Случаи, когда уравнения обновления для конкретных распределений не совсем соответствуют приведенным выше формам, — это случаи, когда сопряженный априор был выражен с использованием другой параметризации, чем та, которая создает сопряженный априор вышеуказанной формы — часто именно потому, что приведенная выше форма определяется по естественному параметру, тогда как сопряженные априорные значения обычно определяются по фактическому параметру ${\displaystyle {\boldsymbol {\eta }}}$ ${\displaystyle {\boldsymbol {\theta }}.}$

Непредвзятая оценка

Если вероятность представляет собой экспоненциальное семейство, то несмещенная оценка равна . ^[16] ${\displaystyle z|\eta \sim e^{\eta z}f_{1}(\eta )f_{0}(z)}$ ${\displaystyle \eta }$ ${\displaystyle -{\frac {d}{dz}}\ln f_{0}(z)}$

Проверка гипотез: самые мощные тесты

Однопараметрическое экспоненциальное семейство имеет монотонное неубывающее отношение правдоподобия в достаточной статистике T ( x ), при условии, что η ( θ ) не убывает. Как следствие, существует равномерно наиболее мощный тест для проверки гипотезы H ₀ : θ ≥ θ ₀ vs . ЧАС ₁ : θ < θ ₀ .

Обобщенные линейные модели

Экспоненциальные семейства составляют основу функций распределения, используемых в обобщенных линейных моделях (GLM), классе моделей, который охватывает многие из обычно используемых регрессионных моделей в статистике. Примеры включают логистическую регрессию с использованием биномиального семейства и регрессию Пуассона .

Смотрите также

• Модель экспоненциальной дисперсии
• Мера Гиббса
• Модифицированное полунормальное распределение
• Натуральное экспоненциальное семейство

Сноски

1. Например, семейство нормальных распределений включает стандартное нормальное распределение N (0, 1) со средним значением 0 и дисперсией 1, а также другие нормальные распределения с другим средним значением и дисперсией.
2. «Функция распределения» часто используется в статистике как синоним «коэффициента нормализации».
3. Эти распределения сами по себе часто не являются экспоненциальными семействами. Распространенными примерами неэкспоненциальных семейств, возникающих из экспоненциальных, являются t -распределение Стьюдента , бета-биномиальное распределение и мультиномиальное распределение Дирихле .

Рекомендации

Цитаты

1. Купперман, М. (1958). «Вероятности гипотез и информационная статистика при выборке из популяций экспоненциального класса». Анналы математической статистики . 9 (2): 571–575. дои : 10.1214/aoms/1177706633 . JSTOR  2237349.
2. Андерсен, Эрлинг (сентябрь 1970 г.). «Достаточность и экспоненциальные семейства для дискретных выборочных пространств». Журнал Американской статистической ассоциации . Журнал Американской статистической ассоциации. 65 (331): 1248–1255. дои : 10.2307/2284291. JSTOR  2284291. МР  0268992.
3. Питман, Э .; Уишарт, Дж. (1936). «Достаточная статистика и внутренняя точность». Математические труды Кембриджского философского общества . 32 (4): 567–579. Бибкод : 1936PCPS...32..567P. дои : 10.1017/S0305004100019307. S2CID  120708376.
4. Дармуа, Г. (1935). «Sur les lois de вероятностная оценка исчерпывающая». ЧР акад. наук. Париж (на французском языке). 200 : 1265–1266.
5. Купман, Б. (1936). «О распределении, допускающем достаточную статистику». Труды Американского математического общества . Американское математическое общество . 39 (3): 399–409. дои : 10.2307/1989758 . JSTOR  1989758. MR  1501854.
6. «Общие экспоненциальные семейства». www.randomservices.org . Проверено 30 августа 2022 г.
7. Абрамович и Ритов (2013). Статистическая теория: краткое введение . Чепмен и Холл. ISBN 978-1439851845.
8. Блей, Дэвид. «Вариационный вывод» (PDF) . Принстон У.
9. Казелла, Джордж (2002). Статистические выводы. Роджер Л. Бергер (2-е изд.). Австралия: Thomson Learning. Теорема 6.2.25. ISBN 0-534-24312-6. ОСЛК  46538638.
10. Браун, Лоуренс Д. (1986). Основы статистических экспоненциальных семейств: с приложениями в статистической теории принятия решений. Хейворд, Калифорния: Институт математической статистики. Теорема 2.12. ISBN 0-940600-10-2. ОСЛК  15986663.
11. Кинер, Роберт В. (2010). Теоретическая статистика: темы основного курса. Нью-Йорк. с. 47, пример 3.12. ISBN 978-0-387-93839-4. ОСЛК  676700036.{{cite book}}: CS1 maint: location missing publisher (link)
12. Нильсен, Фрэнк; Гарсия, Винсент (2009). «Статистические экспоненциальные семейства: дайджест с карточками». arXiv : 0911.4863 [cs.LG].
13. ван Гардерен, Кес Ян (1997). «Кривые экспоненциальные модели в эконометрике». Эконометрическая теория . 13 (6): 771–790. дои : 10.1017/S0266466600006253. S2CID  122742807.
14. Nielsen & Nock 2010, 4. Расхождения Брегмана и относительная энтропия экспоненциальных семейств.
15. Барндорф-Нильсен 1978, 9.1 Выпуклая двойственность и экспоненциальные семейства.
16. Эфрон, Брэдли (декабрь 2011 г.). «Формула Твиди и систематическая ошибка выбора». Журнал Американской статистической ассоциации . 106 (496): 1602–1614. дои : 10.1198/jasa.2011.tm11181. ISSN  0162-1459. ПМК 3325056 . ПМИД  22505788. 

Источники

• Барндорф-Нильсен, Оле (1978). Информация и экспоненциальные семейства в статистической теории . Ряд Уайли по вероятности и математической статистике. Чичестер: John Wiley & Sons, Ltd., стр. ix+238 стр. ISBN 0-471-99545-2. МР  0489333.
  • Перепечатано как Барндорф-Нильсен, Оле (2014). Информация и экспоненциальные семейства в статистической теории . John Wiley & Sons, Ltd. doi : 10.1002/9781118857281. ISBN 978-111885750-2.
• Нильсен, Франк; Гарсия, Винсент (2009). «Статистические экспоненциальные семейства: дайджест с карточками». arXiv : 0911.4863 . Бибкод : 2009arXiv0911.4863N.
• Нильсен, Франк; Нок, Ричард (2010). Энтропия и кросс-энтропия экспоненциальных семейств (PDF) . Международная конференция IEEE по обработке изображений. дои : 10.1109/ICIP.2010.5652054. Архивировано из оригинала (PDF) 31 марта 2019 г.

дальнейшее чтение

• Фармейр, Людвиг; Тутц, Г. (1994). Многомерное статистическое моделирование на основе обобщенных линейных моделей . Спрингер. стр. 18–22, 345–349. ISBN 0-387-94233-5.
• Кинер, Роберт В. (2006). Теоретическая статистика: темы основного курса . Спрингер. стр. 27–28, 32–33. ISBN 978-0-387-93838-7.
• Леманн, Эль; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). сек. 1,5. ISBN 0-387-98502-6.

Внешние ссылки

• Введение в экспоненциальное семейство распределений
• Экспоненциальное семейство распределений самых ранних известных случаев использования некоторых математических слов.
• jMEF: библиотека Java для экспоненциальных семейств. Архивировано 11 апреля 2013 г. на archive.today.
• Графические модели, экспоненциальные семейства и вариационный вывод Уэйнрайта и Джордана (2008)