Обобщение гамма-распределения на несколько измерений
В статистике распределение Уишарта является обобщением гамма-распределения на несколько измерений. Оно названо в честь Джона Уишарта , который впервые сформулировал это распределение в 1928 году. [1] Другие названия включают ансамбль Уишарта (в теории случайных матриц распределения вероятностей по матрицам обычно называются «ансамблями»), или ансамбль Уишарта–Лагерра (поскольку его распределение собственных значений включает полиномы Лагерра ), или LOE, LUE, LSE (по аналогии с GOE, GUE, GSE ). [2]
известная как матрица рассеяния . Один указывает, что S имеет это распределение вероятностей, записывая
Положительное целое число n — это число степеней свободы . Иногда это записывается как W ( V , p , n ) . Для n ≥ p матрица S обратима с вероятностью 1, если V обратима.
Пусть X будет симметричной матрицей случайных величин p × p , которая является положительно полуопределенной . Пусть V будет (фиксированной) симметричной положительно определенной матрицей размера p × p .
Тогда, если n ≥ p , X имеет распределение Уишарта с n степенями свободы, если оно имеет функцию плотности вероятности
Плотность выше не является совместной плотностью всех элементов случайной матрицы X (такой -мерной плотности не существует из-за ограничений симметрии ), это скорее совместная плотность элементов для (, [1] стр. 38). Кроме того, формула плотности выше применима только к положительно определенным матрицам, для других матриц плотность равна нулю.
Спектральная плотность
Плотность совместных собственных значений для собственных значений случайной матрицы равна [8] [9]
где — константа.
Фактически, приведенное выше определение можно распространить на любое действительное n > p − 1. Если n ≤ p − 1 , то Уишарт больше не имеет плотности — вместо этого он представляет собой сингулярное распределение, которое принимает значения в подпространстве меньшей размерности пространства матриц p × p . [10]
Наименее информативное, правильное априорное распределение Уишарта получается, если установить n = p . [ необходима цитата ]
Обычный выбор для V использует тот факт, что среднее значение X ~ W p ( V , n ) равно n V . Тогда V выбирается так, чтобы n V равнялось первоначальному предположению для X . Например, при оценке матрицы точности Σ −1 ~ W p ( V , n ) разумным выбором для V было бы n −1 Σ 0 −1 , где Σ 0 — некоторая априорная оценка для ковариационной матрицы Σ .
Перекрестная энтропия двух распределений Уишарта с параметрами и с параметрами равна
Обратите внимание, что при и мы восстанавливаем энтропию.
KL-дивергенция
Расхождение Кульбака - Лейблера от равно
Характерная функция
Характеристическая функция распределения Уишарта имеет вид
где E[⋅] обозначает математическое ожидание. (Здесь Θ — любая матрица с теми же размерами, что и V , 1 обозначает единичную матрицу, а i — квадратный корень из −1 ). [9] Правильная интерпретация этой формулы требует некоторой осторожности, поскольку нецелые комплексные степени являются многозначными ; когда n — нецелое число, правильная ветвь должна быть определена с помощью аналитического продолжения . [14]
Теорема
Если случайная матрица X размером p × p имеет распределение Уишарта с m степенями свободы и матрицей дисперсии V — write — и C является матрицей размером q × p ранга q , то [15]
Следствие 1
Если z — ненулевой постоянный вектор размера p × 1 , то: [15]
В этом случае — распределение хи-квадрат и (обратите внимание, что — константа; она положительна, поскольку V положительно определена).
Следствие 2
Рассмотрим случай, когда z T = (0, ..., 0, 1, 0, ..., 0) (то есть j -й элемент равен единице, а все остальные равны нулю). Тогда следствие 1 выше показывает, что
дает предельное распределение каждого из элементов на диагонали матрицы.
Джордж Себер отмечает, что распределение Уишарта не называется «многомерным распределением хи-квадрат», поскольку маргинальное распределение недиагональных элементов не является хи-квадрат. Себер предпочитает зарезервировать термин «многомерный» для случая, когда все одномерные маргинальные элементы принадлежат к одному семейству. [16]
где и n ij ~ N (0, 1) независимо. [18] Это обеспечивает полезный метод получения случайных выборок из распределения Уишарта. [19]
Предельное распределение элементов матрицы
Пусть V — матрица дисперсии 2 × 2, характеризующаяся коэффициентом корреляции −1 < ρ < 1 , а L — ее нижний фактор Холецкого:
Умножая разложение Бартлетта выше, мы обнаруживаем, что случайная выборка из распределения Уишарта 2 × 2 равна
Диагональные элементы, наиболее очевидно в первом элементе, следуют распределению χ 2 с n степенями свободы (масштабированными по σ 2 ), как и ожидалось. Недиагональный элемент менее знаком, но может быть идентифицирован как нормальная дисперсионно-средняя смесь , где плотность смешивания является распределением χ 2 . Соответствующая предельная плотность вероятности для недиагонального элемента, следовательно, является дисперсионно-гамма распределением
где K ν ( z ) — модифицированная функция Бесселя второго рода . [20] Аналогичные результаты можно получить для более высоких размерностей. В общем случае, если следует распределению Уишарта с параметрами, , то для , недиагональные элементы
. [21]
Также возможно записать функцию, генерирующую момент , даже в нецентральном случае (по сути, n-ю степень уравнения 10 Крейга (1936) [22] ), хотя плотность вероятности становится бесконечной суммой функций Бесселя.
Диапазон параметра формы
Можно показать [23] , что распределение Уишарта может быть определено тогда и только тогда, когда параметр формы n принадлежит множеству
Этот набор назван в честь Гиндикина, который ввел его [24] в 1970-х годах в контексте гамма-распределений на однородных конусах. Однако для новых параметров в дискретном спектре ансамбля Гиндикина, а именно,
соответствующее распределение Уишарта не имеет плотности Лебега.
Связь с другими дистрибутивами
Распределение Уишарта связано с обратным распределением Уишарта , обозначаемым как , следующим образом: Если X ~ W p ( V , n ) и если мы делаем замену переменных C = X −1 , то . Это соотношение можно вывести, заметив, что абсолютное значение определителя Якоби этой замены переменных равно | C | p +1 , см., например, уравнение (15.15) в [25]
^ ab Wishart, J. (1928). «Обобщенное распределение моментов произведений в выборках из нормальной многомерной популяции». Biometrika . 20A (1–2): 32–52. doi :10.1093/biomet/20A.1-2.32. JFM 54.0565.02. JSTOR 2331939.
^ Ливан, Джакомо; Новаес, Марсель; Виво, Пьерпаоло (2018), Ливан, Джакомо; Новаес, Марсель; Виво, Пьерпаоло (ред.), «Классические ансамбли: Уишарт-Лагерр», Введение в случайные матрицы: теория и практика , SpringerBriefs in Mathematical Physics, Cham: Springer International Publishing, стр. 89–95, doi : 10.1007/978-3-319-70885-0_13, ISBN978-3-319-70885-0, получено 2023-05-17
^ Куп, Гэри; Коробилис, Димитрис (2010). «Байесовские многомерные методы временных рядов для эмпирической макроэкономики». Основы и тенденции в эконометрике . 3 (4): 267–358. doi : 10.1561/0800000013 .
^ Улиг, Х. (1994). «О сингулярном распределении Уишарта и сингулярных многомерных бета-распределениях». Анналы статистики . 22 : 395–405. doi : 10.1214/aos/1176325375 .
^ abc Bishop, CM (2006). Распознавание образов и машинное обучение . Springer.
^ Хофф, Питер Д. (2009). Первый курс байесовских статистических методов . Нью-Йорк: Springer. С. 109–111. ISBN978-0-387-92299-7.
^ Нгуен, Дуй. "УГЛУБЛЕННОЕ ВВЕДЕНИЕ В ВАРИАЦИОННУЮ ЗАМЕТКУ БАЙЕСА". SSRN 4541076. Получено 15 августа 2023 г.
^ Пирсон, Карл ; Джеффри, ГБ ; Элдертон, Этель М. (декабрь 1929 г.). «О распределении коэффициента момента первого продукта в выборках, взятых из бесконечно большой нормальной популяции». Biometrika . 21 (1/4). Biometrika Trust: 164–201. doi : 10.2307/2332556. JSTOR 2332556.
^ Крейг, Сесил С. (1936). «О частотной функции xy». Ann. Math. Statist . 7 : 1–15. doi : 10.1214/aoms/1177732541 .
^ Педдада и Ричардс, Шьямал Дас; Ричардс, Дональд Ст. П. (1991). «Доказательство гипотезы М. Л. Итона о характеристической функции распределения Уишарта». Annals of Probability . 19 (2): 868–874. doi : 10.1214/aop/1176990455 .
^ Гиндикин, С.Г. (1975). «Инвариантные обобщенные функции в однородных областях». Funct. Anal. Appl. 9 (1): 50–52. doi :10.1007/BF01078179. S2CID 123288172.
^ Дуайер, Пол С. (1967). «Некоторые применения матричных производных в многомерном анализе». J. Amer. Statist. Assoc. 62 (318): 607–625. doi :10.1080/01621459.1967.10482934. JSTOR 2283988.