Распределение смеси

Распределение вероятностей

В теории вероятности и статистики распределение смеси — это распределение вероятностей случайной величины , которая выводится из набора других случайных величин следующим образом: сначала случайная величина выбирается случайно из набора в соответствии с заданными вероятностями выбора, а затем реализуется значение выбранной случайной величины. Базовые случайные величины могут быть случайными действительными числами или случайными векторами (каждый из которых имеет одинаковую размерность), в этом случае распределение смеси является многомерным распределением .

В случаях, когда каждая из базовых случайных величин непрерывна , выходная переменная также будет непрерывной, а ее функция плотности вероятности иногда называется плотностью смеси . Кумулятивная функция распределения (и функция плотности вероятности , если она существует) может быть выражена как выпуклая комбинация (т. е. взвешенная сумма с неотрицательными весами, которые в сумме дают 1) других функций распределения и функций плотности. Отдельные распределения, которые объединяются для формирования распределения смеси, называются компонентами смеси , а вероятности (или веса), связанные с каждым компонентом, называются весами смеси . Количество компонентов в распределении смеси часто ограничивается конечным числом, хотя в некоторых случаях количество компонентов может быть счетно бесконечным . Более общие случаи (т. е. несчетное множество распределений компонентов), а также счетный случай рассматриваются под названием составных распределений .

Необходимо провести различие между случайной величиной, функция распределения или плотность которой является суммой набора компонентов (т. е. распределением смеси), и случайной величиной, значение которой является суммой значений двух или более базовых случайных величин, в этом случае распределение задается оператором свертки . Например, сумма двух совместно нормально распределенных случайных величин, каждая из которых имеет разные средние значения, все равно будет иметь нормальное распределение. С другой стороны, плотность смеси, созданная как смесь двух нормальных распределений с разными средними значениями, будет иметь два пика при условии, что два средних значения достаточно далеко друг от друга, показывая, что это распределение радикально отличается от нормального распределения.

Смешанные распределения возникают во многих контекстах в литературе и возникают естественным образом, когда статистическая популяция содержит две или более субпопуляций . Иногда они также используются как средство представления ненормальных распределений. Анализ данных, касающихся статистических моделей, включающих смешанные распределения, обсуждается под названием смешанные модели , в то время как настоящая статья концентрируется на простых вероятностных и статистических свойствах смешанных распределений и на том, как они соотносятся со свойствами базовых распределений.

Конечные и счетные смеси

Плотность смеси трех нормальных распределений ( μ  = 5, 10, 15, σ  = 2) с равными весами. Каждый компонент показан как взвешенная плотность (каждый интегрируется до 1/3)

Если задан конечный набор функций плотности вероятности p ₁ ( x ), ..., p _n ( x ) или соответствующих кумулятивных функций распределения P ₁ ( x ), ..., P _n ( x ) и весов w ₁ , ..., w _{n ,} таких, что w _i ≥ 0 и Σ w _i = 1, распределение смеси можно представить, записав либо плотность, f , либо функцию распределения, F , в виде суммы (которая в обоих случаях является выпуклой комбинацией):

${\displaystyle F(x)=\sum _{i=1}^{n}\,w_{i}\,P_{i}(x),}$

${\displaystyle f(x)=\sum _{i=1}^{n}\,w_{i}\,p_{i}(x).}$

Этот тип смеси, будучи конечной суммой, называется конечной смесью, и в приложениях безоговорочная ссылка на «плотность смеси» обычно означает конечную смесь. Случай счетно бесконечного множества компонентов формально охватывается разрешением . ${\displaystyle n=\infty \!}$

Бесчисленные смеси

Если набор компонентных распределений неисчислим , результат часто называют составным распределением вероятностей . Построение таких распределений имеет формальное сходство с построением распределений смесей, при этом либо бесконечные суммирования, либо интегралы заменяют конечные суммирования, используемые для конечных смесей.

Рассмотрим функцию плотности вероятности p ( x ; a ) для переменной x , параметризованной a . То есть, для каждого значения a в некотором множестве A , p ( x ; a ) является функцией плотности вероятности относительно x . Учитывая функцию плотности вероятности w (что означает, что w неотрицательно и интегрируется до 1), функция

${\displaystyle f(x)=\int _{A}\,w(a)\,p(x;a)\,da}$

снова является функцией плотности вероятности для x . Похожий интеграл можно записать для кумулятивной функции распределения. Обратите внимание, что формулы здесь сводятся к случаю конечной или бесконечной смеси, если плотность w допускается как обобщенная функция, представляющая «производную» кумулятивной функции распределения дискретного распределения .

Смеси внутри параметрического семейства

Компоненты смеси часто не являются произвольными распределениями вероятностей, а являются членами параметрического семейства (например, нормальных распределений) с различными значениями параметра или параметров. В таких случаях, предполагая, что он существует, плотность можно записать в виде суммы как:

${\displaystyle f(x;a_{1},\ldots ,a_{n})=\sum _{i=1}^{n}\,w_{i}\,p(x;a_{i})}$

для одного параметра, или

${\displaystyle f(x;a_{1},\ldots ,a_{n},b_{1},\ldots ,b_{n})=\sum _{i=1}^{n}\,w_{i}\,p(x;a_{i},b_{i})}$

для двух параметров и так далее.

Характеристики

Выпуклость

Общая линейная комбинация функций плотности вероятности не обязательно является плотностью вероятности, поскольку она может быть отрицательной или может интегрироваться до чего-то, отличного от 1. Однако выпуклая комбинация функций плотности вероятности сохраняет оба этих свойства (неотрицательность и интегрируемость до 1), и, таким образом, плотности смеси сами по себе являются функциями плотности вероятности.

Моменты

Пусть X ₁ , ..., X _n обозначают случайные величины из распределений компонентов n , а X обозначает случайную величину из распределения смеси. Тогда для любой функции H (·), для которой существует, и предполагая, что существуют плотности компонентов p _i ( x ), ${\displaystyle \operatorname {E} [H(X_{i})]}$

${\displaystyle {\begin{aligned}\operatorname {E} [H(X)]&=\int _{-\infty }^{\infty }H(x)\sum _{i=1}^{n}w_{i}p_{i}(x)\,dx\\&=\sum _{i=1}^{n}w_{i}\int _{-\infty }^{\infty }p_{i}(x)H(x)\,dx=\sum _{i=1}^{n}w_{i}\operatorname {E} [H(X_{i})].\end{aligned}}}$

Момент j относительно нуля (т.е. выбирая H ( x ) = x ^j ) является просто взвешенным средним моментов j компонентов. Моменты относительно среднего H ( x ) = ( x − μ ) ^j включают биномиальное разложение: ^[1]

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{j}]&=\sum _{i=1}^{n}w_{i}\operatorname {E} [(X_{i}-\mu _{i}+\mu _{i}-\mu )^{j}]\\&=\sum _{i=1}^{n}w_{i}\sum _{k=0}^{j}\left({\begin{array}{c}j\\k\end{array}}\right)(\mu _{i}-\mu )^{j-k}\operatorname {E} [(X_{i}-\mu _{i})^{k}],\end{aligned}}}$

где μ _i обозначает среднее значение i -го компонента.

В случае смеси одномерных распределений с весами w _i , средними значениями μ _i и дисперсиями σ _i ² общее среднее значение и дисперсия будут равны:

${\displaystyle \operatorname {E} [X]=\mu =\sum _{i=1}^{n}w_{i}\mu _{i},}$

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{2}]&=\sigma ^{2}\\&=\operatorname {E} [X^{2}]-\mu ^{2}&(\mathrm {standard} \ \mathrm {variance} \ \mathrm {reformulation} )\\&=\left(\sum _{i=1}^{n}w_{i}(\operatorname {E} [X_{i}^{2}])\right)-\mu ^{2}\\&=\sum _{i=1}^{n}w_{i}(\sigma _{i}^{2}+\mu _{i}^{2})-\mu ^{2}&(\mathrm {from} \ \sigma _{i}^{2}=\operatorname {E} [X_{i}^{2}]-\mu _{i}^{2},\mathrm {therefore} \,\operatorname {E} [X_{i}^{2}]=\sigma _{i}^{2}+\mu _{i}^{2}.)\end{aligned}}}$

Эти отношения подчеркивают потенциал смешанных распределений для отображения нетривиальных моментов высшего порядка, таких как асимметрия и эксцесс ( толстые хвосты ) и мультимодальность, даже при отсутствии таких особенностей в самих компонентах. Маррон и Ванд (1992) дают иллюстративный отчет о гибкости этой структуры. ^[2]

Режимы

Вопрос о многомодальности прост для некоторых случаев, таких как смеси экспоненциальных распределений : все такие смеси являются унимодальными . ^[3] Однако для случая смесей нормальных распределений он сложен. Условия для числа мод в многомерной нормальной смеси исследуются Рэем и Линдси ^[4], расширяя более ранние работы по одномерным ^{[5] [6]} и многомерным ^[7] распределениям.

Здесь задача оценки мод n - компонентной смеси в D -мерном пространстве сводится к идентификации критических точек (локальных минимумов, максимумов и седловых точек ) на многообразии, называемом поверхностью хребта , которая является изображением функции хребта

${\displaystyle x^{*}(\alpha )=\left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\right]^{-1}\times \left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\mu _{i}\right],}$

где принадлежит -мерному стандартному симплексу : и соответствуют ковариации и среднему значению i- ^го компонента. Рэй и Линдси ^[4] рассматривают случай, в котором показано однозначное соответствие мод смеси и мод функции возвышения хребта, таким образом, можно идентифицировать моды, решая относительно и определяя значение . ${\displaystyle \alpha }$ ${\displaystyle (n-1)}$ ${\displaystyle {\mathcal {S}}_{n}=\{\alpha \in \mathbb {R} ^{n}:\alpha _{i}\in [0,1],\sum _{i=1}^{n}\alpha _{i}=1\}}$ ${\displaystyle \Sigma _{i}\in R^{D\times D},\,\mu _{i}\in R^{D}}$ ${\displaystyle n-1<D}$ ${\displaystyle h(\alpha )=q(x^{*}(\alpha ))}$ ${\displaystyle {\frac {dh(\alpha )}{d\alpha }}=0}$ ${\displaystyle \alpha }$ ${\displaystyle x^{*}(\alpha )}$

Используя графические инструменты, демонстрируется потенциальная мультимодальность смесей с числом компонентов ; в частности, показано, что число мод может превышать и что моды могут не совпадать со средними значениями компонентов. Для двух компонентов они разрабатывают графический инструмент для анализа, решая вместо этого вышеупомянутый дифференциал относительно первого веса смешивания (который также определяет второй вес смешивания через ) и выражая решения в виде функции так, чтобы число и расположение мод для заданного значения соответствовало числу пересечений графика на линии . Это, в свою очередь, может быть связано с числом колебаний графика и, следовательно, с решениями, приводящими к явному решению для случая двухкомпонентной смеси с (иногда называемой гомоскедастической смесью), заданной как ${\displaystyle n\in \{2,3\}}$ ${\displaystyle n}$ ${\displaystyle w_{1}}$ ${\displaystyle w_{2}=1-w_{1}}$ ${\displaystyle \Pi (\alpha ),\,\alpha \in [0,1]}$ ${\displaystyle w_{1}}$ ${\displaystyle \Pi (\alpha )=w_{1}}$ ${\displaystyle {\frac {d\Pi (\alpha )}{d\alpha }}=0}$ ${\displaystyle \Sigma _{1}=\Sigma _{2}=\Sigma }$

${\displaystyle 1-\alpha (1-\alpha )d_{M}(\mu _{1},\mu _{2},\Sigma )^{2}}$

где — расстояние Махаланобиса между и . ${\displaystyle d_{M}(\mu _{1},\mu _{2},\Sigma )={\sqrt {(\mu _{2}-\mu _{1})^{T}\Sigma ^{-1}(\mu _{2}-\mu _{1})}}}$ ${\displaystyle \mu _{1}}$ ${\displaystyle \mu _{2}}$

Поскольку приведенное выше уравнение является квадратичным, то в данном случае существует максимум две моды независимо от размерности или веса.

Для нормальных смесей с общими и известны нижняя граница максимального числа возможных мод и – условно при условии, что максимальное число конечно – верхняя граница. Для тех комбинаций и , для которых известно максимальное число, оно совпадает с нижней границей. ^[8] ${\displaystyle n>2}$ ${\displaystyle D>1}$ ${\displaystyle n}$ ${\displaystyle D}$

Примеры

Два нормальных распределения

Простыми примерами могут служить смеси двух нормальных распределений. ( Более подробную информацию см. в разделе Мультимодальное распределение#Смесь двух нормальных распределений .)

При равной (50/50) смеси двух нормальных распределений с одинаковым стандартным отклонением и разными средними ( гомоскедастичным ), общее распределение будет демонстрировать низкий эксцесс относительно одного нормального распределения — средние значения субпопуляций попадают на плечи общего распределения. Если они достаточно разделены, а именно на удвоенное (общее) стандартное отклонение, то они образуют бимодальное распределение , в противном случае оно просто имеет широкий пик. ^[9] Дисперсия общей популяции также будет больше, чем дисперсия двух субпопуляций (из-за разброса от разных средних), и, таким образом, демонстрирует сверхдисперсию относительно нормального распределения с фиксированной дисперсией , хотя она не будет сверхдисперсной относительно нормального распределения с дисперсией, равной дисперсии общей популяции. ${\displaystyle \left|\mu _{1}-\mu _{2}\right|>2\sigma ,}$ ${\displaystyle \sigma ,}$

В качестве альтернативы, если взять две субпопуляции с одинаковым средним значением и разными стандартными отклонениями, то общая популяция будет демонстрировать высокий эксцесс с более острым пиком и более тяжелыми хвостами (и, соответственно, более пологими плечами), чем при одном распределении.

• 
  Распределение одномерной смеси, показывающее бимодальное распределение
• 
  Многомерное распределение смеси, показывающее четыре моды

Нормальное распределение и распределение Коши

Следующий пример взят из работы Хэмпела ^[10], который указывает на Джона Тьюки .

Рассмотрим распределение смеси, определяемое формулой

F ( x ) = (1 − 10 ⁻¹⁰ ) ( стандартное нормальное ) + 10 ⁻¹⁰ ( стандартное Коши ) .

Среднее значение независимых наблюдений из F ( x ) ведет себя «нормально», за исключением случаев непомерно больших выборок, хотя среднее значение F ( x ) даже не существует.

Приложения

Плотности смесей — это сложные плотности, выражаемые через более простые плотности (компоненты смеси), и используются как потому, что они обеспечивают хорошую модель для определенных наборов данных (где различные подмножества данных демонстрируют разные характеристики и лучше всего могут быть смоделированы по отдельности), так и потому, что они более поддаются математической обработке, поскольку отдельные компоненты смеси легче изучать, чем общую плотность смеси.

Плотности смеси можно использовать для моделирования статистической популяции с субпопуляциями , где компоненты смеси представляют собой плотности субпопуляций, а веса — доли каждой субпопуляции в общей популяции.

Плотности смесей также можно использовать для моделирования экспериментальной ошибки или загрязнения — предполагается, что большинство образцов измеряют желаемое явление, а некоторые образцы имеют другое, ошибочное распределение.

Параметрическая статистика, которая не предполагает наличия ошибок, часто дает сбой при таких плотностях смеси — например, статистика, которая предполагает нормальность, часто дает сбой при наличии даже нескольких выбросов — и вместо этого используется надежная статистика .

В метаанализе отдельных исследований неоднородность исследования приводит к тому , что распределение результатов становится смешанным распределением и приводит к чрезмерной дисперсии результатов относительно прогнозируемой ошибки. Например, в статистическом исследовании погрешность (определяемая размером выборки) предсказывает погрешность выборки и, следовательно, дисперсию результатов при повторных исследованиях. Наличие неоднородности исследования (исследования имеют разное смещение выборки ) увеличивает дисперсию относительно погрешности.

Смотрите также

• Распределение соединений
• Загрязненное нормальное распределение
• Выпуклая комбинация
• Жири монада
• Алгоритм максимизации ожидания (EM)
• Не путать с: списком сверток распределений вероятностей.
• Распределение продукции

Смесь

• Смесь (вероятность)
• Модель смеси

Иерархические модели

• Графическая модель
• Иерархическая байесовская модель

Примечания

1. Фрювирт-Шнаттер (2006, гл.1.2.4)
2. Маррон, Дж. С.; Ванд, М. П. (1992). «Точная средняя интегрированная квадратичная ошибка». Анналы статистики . 20 (2): 712–736. doi : 10.1214/aos/1176348653 ., http://projecteuclid.org/euclid.aos/1176348653
3. Фрювирт-Шнаттер (2006, глава 1)
4. Ray, R.; Lindsay, B. (2005), «Топография многомерных нормальных смесей», The Annals of Statistics , 33 (5): 2042–2065, arXiv : math/0602238 , doi : 10.1214/009053605000000417
5. Робертсон CA, Фрайер JG (1969) Некоторые описательные свойства нормальных смесей. Skand Aktuarietidskr 137–146
6. Behboodian, J (1970). «О модах смеси двух нормальных распределений». Technometrics . 12 : 131–139. doi :10.2307/1267357. JSTOR  1267357.
7. Каррейра-Перпиньян, М. А.; Уильямс, К. (2003). О модах гауссовой смеси (PDF) . Опубликовано как: Lecture Notes in Computer Science 2695. Springer-Verlag . С. 625–640. doi :10.1007/3-540-44935-3_44. ISSN  0302-9743.
8. Амендола, К.; Энгстрём, А.; Хаазе, К. (2020), «Максимальное число мод гауссовых смесей», Информация и выводы: Журнал IMA , 9 (3): 587–600, arXiv : 1702.05066 , doi : 10.1093/imaiai/iaz013
9. Шиллинг, Марк Ф.; Уоткинс, Энн Э .; Уоткинс, Уильям (2002). «Является ли рост человека бимодальным?». The American Statistician . 56 (3): 223–229. doi :10.1198/00031300265.
10. Хампель, Фрэнк (1998), «Статистика слишком сложна?», Канадский журнал статистики , 26 : 497–513, doi : 10.2307/3315772, hdl : 20.500.11850/145503

Ссылки

• Frühwirth-Schnatter, Sylvia (2006), Конечные смеси и модели марковских переключений , Springer, ISBN 978-1-4419-2194-9
• Линдсей, Брюс Г. (1995), Модели смесей: теория, геометрия и приложения , Серия региональных конференций NSF-CBMS по вероятностям и статистике, т. 5, Хейворд, Калифорния, США: Институт математической статистики, ISBN 0-940600-32-3, JSTOR  4153184
• Seidel, Wilfried (2010), «Смешанные модели», в Lovric, M. (ред.), Международная энциклопедия статистической науки , Гейдельберг: Springer, стр. 827–829, arXiv : 0909.0389 , doi : 10.1007/978-3-642-04898-2, ISBN 978-3-642-04898-2
• Яо, Вэйсинь; Сян, Сидзя (2024), Смешанные модели: параметрические, полупараметрические и новые направления, Бока-Ратон, Флорида: Chapman & Hall/CRC Press, ISBN 978-0367481827.