stringtranslate.com

Распределение Уишарта

В статистике распределение Уишарта является обобщением гамма-распределения на несколько измерений. Оно названо в честь Джона Уишарта , который впервые сформулировал это распределение в 1928 году. [1] Другие названия включают ансамбль Уишарта (в теории случайных матриц распределения вероятностей по матрицам обычно называются «ансамблями»), или ансамбль Уишарта–Лагерра (поскольку его распределение собственных значений включает полиномы Лагерра ), или LOE, LUE, LSE (по аналогии с GOE, GUE, GSE ). [2]

Это семейство распределений вероятностей, определенных по симметричным, положительно определенным случайным матрицам (т.е. случайным величинам со значениями матрицы ). Эти распределения имеют большое значение при оценке ковариационных матриц в многомерной статистике . В байесовской статистике распределение Уишарта является сопряженным априорным распределением обратной ковариационной матрицы многомерного нормального случайного вектора . [3]

Определение

Предположим, что G — это матрица размером p × n , каждый столбец которой независимо взят из p -мерного нормального распределения с нулевым средним:

Тогда распределение Уишарта представляет собой распределение вероятностей случайной матрицы p × p [ 4]

известная как матрица рассеяния . Один указывает, что S имеет это распределение вероятностей, записывая

Положительное целое число n — это число степеней свободы . Иногда это записывается как W ( V , p , n ) . Для np матрица S обратима с вероятностью 1, если V обратима.

Если p = V = 1 , то это распределение является распределением хи-квадрат с n степенями свободы.

Происшествие

Распределение Уишарта возникает как распределение матрицы ковариации выборки для выборки из многомерного нормального распределения . Оно часто встречается в тестах отношения правдоподобия в многомерном статистическом анализе. Оно также возникает в спектральной теории случайных матриц [ требуется ссылка ] и в многомерном байесовском анализе. [5] Оно также встречается в беспроводной связи при анализе производительности беспроводных каналов MIMO с замиранием Рэлея . [6]

Функция плотности вероятности

Спектральная плотность ансамбля Уишарта-Лагерра с размерностями (8, 15). Реконструкция рисунка 1 из [7] .

Распределение Уишарта можно охарактеризовать с помощью функции плотности вероятности следующим образом:

Пусть X будет симметричной матрицей случайных величин p × p , которая является положительно полуопределенной . Пусть V будет (фиксированной) симметричной положительно определенной матрицей размера p × p .

Тогда, если np , X имеет распределение Уишарта с n степенями свободы, если оно имеет функцию плотности вероятности

где — определитель , а Γ pмногомерная гамма-функция, определяемая как

Плотность выше не является совместной плотностью всех элементов случайной матрицы X (такой -мерной плотности не существует из-за ограничений симметрии ), это скорее совместная плотность элементов для (, [1] стр. 38). Кроме того, формула плотности выше применима только к положительно определенным матрицам, для других матриц плотность равна нулю.

Спектральная плотность

Плотность совместных собственных значений для собственных значений случайной матрицы равна [8] [9]

где — константа.

Фактически, приведенное выше определение можно распространить на любое действительное n > p − 1. Если np − 1 , то Уишарт больше не имеет плотности — вместо этого он представляет собой сингулярное распределение, которое принимает значения в подпространстве меньшей размерности пространства матриц p × p . [10]

Использование в байесовской статистике

В байесовской статистике , в контексте многомерного нормального распределения , распределение Уишарта является сопряженным до матрицы точности Ω = Σ −1 , где Σ — ковариационная матрица. [11] : 135  [12]

Выбор параметров

Наименее информативное, правильное априорное распределение Уишарта получается, если установить n = p . [ необходима цитата ]

Обычный выбор для V использует тот факт, что среднее значение X ~ W p ( V , n ) равно n V . Тогда V выбирается так, чтобы n V равнялось первоначальному предположению для X . Например, при оценке матрицы точности Σ −1 ~ W p ( V , n ) разумным выбором для V было бы n −1 Σ 0 −1 , где Σ 0 — некоторая априорная оценка для ковариационной матрицы Σ .

Характеристики

Логарифмическое ожидание

Следующая формула играет роль в вариационных байесовских выводах для сетей Байеса, включающих распределение Уишарта. Из уравнения (2.63), [13]

где — многомерная дигамма-функция (производная логарифма многомерной гамма-функции ).

Лог-дисперсия

Следующий расчет дисперсии может быть полезен в байесовской статистике:

где — тригамма-функция. Она возникает при вычислении информации Фишера случайной величины Уишарта.

Энтропия

Информационная энтропия распределения имеет следующую формулу: [11] : 693 

где B ( V , n )нормирующая константа распределения:

Это можно расширить следующим образом:

Перекрестная энтропия

Перекрестная энтропия двух распределений Уишарта с параметрами и с параметрами равна

Обратите внимание, что при и мы восстанавливаем энтропию.

KL-дивергенция

Расхождение Кульбака - Лейблера от равно

Характерная функция

Характеристическая функция распределения Уишарта имеет вид

где E[⋅] обозначает математическое ожидание. (Здесь Θ — любая матрица с теми же размерами, что и V , 1 обозначает единичную матрицу, а i — квадратный корень из  −1 ). [9] Правильная интерпретация этой формулы требует некоторой осторожности, поскольку нецелые комплексные степени являются многозначными ; когда n — нецелое число, правильная ветвь должна быть определена с помощью аналитического продолжения . [14]

Теорема

Если случайная матрица X размером p × p имеет распределение Уишарта с m степенями свободы и матрицей дисперсии V — write — и C является матрицей размером q × p ранга q , то [15]

Следствие 1

Если z — ненулевой постоянный вектор размера p × 1 , то: [15]

В этом случае — распределение хи-квадрат и (обратите внимание, что — константа; она положительна, поскольку V положительно определена).

Следствие 2

Рассмотрим случай, когда z T = (0, ..., 0, 1, 0, ..., 0) (то есть j -й элемент равен единице, а все остальные равны нулю). Тогда следствие 1 выше показывает, что

дает предельное распределение каждого из элементов на диагонали матрицы.

Джордж Себер отмечает, что распределение Уишарта не называется «многомерным распределением хи-квадрат», поскольку маргинальное распределение недиагональных элементов не является хи-квадрат. Себер предпочитает зарезервировать термин «многомерный» для случая, когда все одномерные маргинальные элементы принадлежат к одному семейству. [16]

Оценка многомерного нормального распределения

Распределение Уишарта — это выборочное распределение оценки максимального правдоподобия (ОМП) ковариационной матрицы многомерного нормального распределения . [17] Вывод ОМП использует спектральную теорему .

Разложение Бартлетта

Разложение Бартлетта матрицы X из p -мерного распределения Уишарта с масштабной матрицей V и n степенями свободы представляет собой факторизацию:

где Lфактор Холецкого V , и :

где и n ij ~ N (0, 1) независимо. [18] Это обеспечивает полезный метод получения случайных выборок из распределения Уишарта. [19]

Предельное распределение элементов матрицы

Пусть V — матрица дисперсии 2 × 2, характеризующаяся коэффициентом корреляции −1 < ρ < 1 , а L — ее нижний фактор Холецкого:

Умножая разложение Бартлетта выше, мы обнаруживаем, что случайная выборка из распределения Уишарта 2 × 2 равна

Диагональные элементы, наиболее очевидно в первом элементе, следуют распределению χ 2 с n степенями свободы (масштабированными по σ 2 ), как и ожидалось. Недиагональный элемент менее знаком, но может быть идентифицирован как нормальная дисперсионно-средняя смесь , где плотность смешивания является распределением χ 2 . Соответствующая предельная плотность вероятности для недиагонального элемента, следовательно, является дисперсионно-гамма распределением

где K ν ( z )модифицированная функция Бесселя второго рода . [20] Аналогичные результаты можно получить для более высоких размерностей. В общем случае, если следует распределению Уишарта с параметрами, , то для , недиагональные элементы

. [21]

Также возможно записать функцию, генерирующую момент , даже в нецентральном случае (по сути, n-ю степень уравнения 10 Крейга (1936) [22] ), хотя плотность вероятности становится бесконечной суммой функций Бесселя.

Диапазон параметра формы

Можно показать [23] , что распределение Уишарта может быть определено тогда и только тогда, когда параметр формы n принадлежит множеству

Этот набор назван в честь Гиндикина, который ввел его [24] в 1970-х годах в контексте гамма-распределений на однородных конусах. Однако для новых параметров в дискретном спектре ансамбля Гиндикина, а именно,

соответствующее распределение Уишарта не имеет плотности Лебега.

Связь с другими дистрибутивами

Смотрите также

Ссылки

  1. ^ ab Wishart, J. (1928). «Обобщенное распределение моментов произведений в выборках из нормальной многомерной популяции». Biometrika . 20A (1–2): 32–52. doi :10.1093/biomet/20A.1-2.32. JFM  54.0565.02. JSTOR  2331939.
  2. ^ Ливан, Джакомо; Новаес, Марсель; Виво, Пьерпаоло (2018), Ливан, Джакомо; Новаес, Марсель; Виво, Пьерпаоло (ред.), «Классические ансамбли: Уишарт-Лагерр», Введение в случайные матрицы: теория и практика , SpringerBriefs in Mathematical Physics, Cham: Springer International Publishing, стр. 89–95, doi : 10.1007/978-3-319-70885-0_13, ISBN 978-3-319-70885-0, получено 2023-05-17
  3. ^ Куп, Гэри; Коробилис, Димитрис (2010). «Байесовские многомерные методы временных рядов для эмпирической макроэкономики». Основы и тенденции в эконометрике . 3 (4): 267–358. doi : 10.1561/0800000013 .
  4. ^ Гупта, АК; Нагар, ДК (2000). Матричные распределения переменных . Chapman & Hall / CRC. ISBN 1584880465.
  5. ^ Гельман, Эндрю (2003). Байесовский анализ данных (2-е изд.). Бока-Ратон, Флорида: Chapman & Hall. стр. 582. ISBN 158488388X. Получено 3 июня 2015 г.
  6. ^ Занелла, А.; Киани, М.; Вин, МЗ (апрель 2009 г.). «О маргинальном распределении собственных значений матриц Висарта» (PDF) . IEEE Transactions on Communications . 57 (4): 1050–1060. doi :10.1109/TCOMM.2009.04.070143. hdl : 1721.1/66900 . S2CID  12437386.
  7. ^ Ливан, Джакомо; Виво, Пьерпаоло (2011). «Моменты ансамблей Уишарта-Лагерра и Якоби случайных матриц: применение к проблеме квантового транспорта в хаотических полостях». Acta Physica Polonica B . 42 (5): 1081. arXiv : 1103.2638 . doi :10.5506/APhysPolB.42.1081. ISSN  0587-4254. S2CID  119599157.
  8. ^ Мьюирхед, Робб Дж. (2005). Аспекты многомерной статистической теории (2-е изд.). Wiley Interscience. ISBN 0471769851.
  9. ^ ab Anderson, TW (2003). Введение в многомерный статистический анализ (3-е изд.). Хобокен, Нью-Джерси: Wiley Interscience . стр. 259. ISBN 0-471-36091-0.
  10. ^ Улиг, Х. (1994). «О сингулярном распределении Уишарта и сингулярных многомерных бета-распределениях». Анналы статистики . 22 : 395–405. doi : 10.1214/aos/1176325375 .
  11. ^ abc Bishop, CM (2006). Распознавание образов и машинное обучение . Springer.
  12. ^ Хофф, Питер Д. (2009). Первый курс байесовских статистических методов . Нью-Йорк: Springer. С. 109–111. ISBN 978-0-387-92299-7.
  13. ^ Нгуен, Дуй. "УГЛУБЛЕННОЕ ВВЕДЕНИЕ В ВАРИАЦИОННУЮ ЗАМЕТКУ БАЙЕСА". SSRN  4541076. Получено 15 августа 2023 г.
  14. ^ Майерхофер, Эберхард (2019-01-27). «Реформирование характеристической функции Уишарта». arXiv : 1901.09347 [math.PR].
  15. ^ ab Rao, CR (1965). Линейный статистический вывод и его применение . Wiley. стр. 535.
  16. ^ Seber, George AF (2004). Многомерные наблюдения . Wiley . ISBN 978-0471691211.
  17. ^ Чатфилд, К.; Коллинз, А.Дж. (1980). Введение в многомерный анализ. Лондон: Chapman and Hall. С. 103–108. ISBN 0-412-16030-7.
  18. ^ Андерсон, TW (2003). Введение в многомерный статистический анализ (3-е изд.). Хобокен, Нью-Джерси: Wiley Interscience . стр. 257. ISBN 0-471-36091-0.
  19. ^ Смит, У. Б.; Хокинг, Р. Р. (1972). «Алгоритм AS 53: Генератор переменных Уишарта». Журнал Королевского статистического общества, Серия C. 21 ( 3): 341–345. JSTOR  2346290.
  20. ^ Пирсон, Карл ; Джеффри, ГБ ; Элдертон, Этель М. (декабрь 1929 г.). «О распределении коэффициента момента первого продукта в выборках, взятых из бесконечно большой нормальной популяции». Biometrika . 21 (1/4). Biometrika Trust: 164–201. doi : 10.2307/2332556. JSTOR  2332556.
  21. ^ Фишер, Адриан; Гонт, Роберт Э.; Андрей, Саранцев (2023). «Распределение дисперсии-гамма: обзор». arXiv : 2303.05615 [math.ST].
  22. ^ Крейг, Сесил С. (1936). «О частотной функции xy». Ann. Math. Statist . 7 : 1–15. doi : 10.1214/aoms/1177732541 .
  23. ^ Педдада и Ричардс, Шьямал Дас; Ричардс, Дональд Ст. П. (1991). «Доказательство гипотезы М. Л. Итона о характеристической функции распределения Уишарта». Annals of Probability . 19 (2): 868–874. doi : 10.1214/aop/1176990455 .
  24. ^ Гиндикин, С.Г. (1975). «Инвариантные обобщенные функции в однородных областях». Funct. Anal. Appl. 9 (1): 50–52. doi :10.1007/BF01078179. S2CID  123288172.
  25. ^ Дуайер, Пол С. (1967). «Некоторые применения матричных производных в многомерном анализе». J. Amer. Statist. Assoc. 62 (318): 607–625. doi :10.1080/01621459.1967.10482934. JSTOR  2283988.

Внешние ссылки