stringtranslate.com

Кумулянт

В теории вероятностей и статистике кумулянты κ n распределения вероятностей представляют собой набор величин, которые обеспечивают альтернативу моментам распределения . Любые два распределения вероятностей, моменты которых идентичны, будут также иметь одинаковые кумулянты, и наоборот.

Первый кумулянт — это среднее значение , второй кумулянт — это дисперсия , а третий кумулянт — то же самое, что и третий центральный момент . Но кумулянты четвертого и более высоких порядков не равны центральным моментам. В некоторых случаях теоретическое рассмотрение задач с использованием кумулянтов проще, чем с использованием моментов. В частности, когда две или более случайных величин статистически независимы , кумулянт n -го порядка их суммы равен сумме их кумулянтов n -го порядка. Кроме того, кумулянты третьего и более высокого порядка нормального распределения равны нулю, и это единственное распределение, обладающее этим свойством.

Так же, как и для моментов, где совместные моменты используются для наборов случайных величин, можно определить совместные кумулянты .

Определение

Кумулянты случайной величины X определяются с помощью производящей кумулянт функции K ( t ) , которая является натуральным логарифмом производящей момент функции :

Кумулянты κ n получаются разложением производящей функции кумулянта в степенной ряд :

Это разложение представляет собой ряд Маклорена , поэтому n -й кумулянт можно получить, продифференцировав приведенное выше разложение n раз и присвоив результат нулю: [1]

Если функция, производящая момент, не существует, кумулянты можно определить с точки зрения взаимосвязи между кумулянтами и моментами, которые обсуждаются позже.

Альтернативное определение кумулянтной производящей функции

Некоторые авторы [2] [3] предпочитают определять кумулянтную производящую функцию как натуральный логарифм характеристической функции , которую иногда называют также второй характеристической функцией, [4] [5]

Преимущество H ( t ) — в некотором смысле функции K ( t ) , вычисляемой для чисто мнимых аргументов — состоит в том, что E[ eitX ] хорошо определена для всех действительных значений t , даже если E[ etX ] не определена точно . для всех реальных значений t , например, когда существует «слишком большая» вероятность того, что X имеет большую величину. Хотя функция H ( t ) будет четко определена, она, тем не менее, будет имитировать K ( t ) с точки зрения длины ее ряда Маклорена , который не может выходить за пределы (или, редко, даже до) линейного порядка по аргументу  t , и, в частности, количество четко определенных кумулянтов не изменится. Тем не менее, даже если H ( t ) не имеет длинного ряда Маклорена, его можно использовать непосредственно при анализе и, в частности, добавлении случайных величин. Как распределение Коши (также называемое лоренцианом), так и, в более общем плане, стабильные распределения (связанные с распределением Леви) являются примерами распределений, для которых разложение производящих функций в степенной ряд имеет лишь конечное число четко определенных членов.

Некоторые основные свойства

-й кумулянт (распределения) случайной величины обладает следующими свойствами:

Кумулятивное свойство быстро вытекает из рассмотрения генерирующей кумулянт функции:

так что каждый кумулянт суммы независимых случайных величин является суммой соответствующих кумулянтов слагаемых . То есть, когда слагаемые статистически независимы, среднее значение суммы является суммой средних, дисперсия суммы представляет собой сумму дисперсий, третий кумулянт (который оказывается третьим центральным моментом) суммы — сумма третьих кумулянтов и так далее для каждого порядка кумулянта.

Распределение с заданными кумулянтами κ n можно аппроксимировать рядом Эджворта .

Первые несколько кумулянтов как функции моментов

Все высшие кумулянты являются полиномиальными функциями центральных моментов с целыми коэффициентами, но только в степенях 2 и 3 кумулянты являются фактически центральными моментами.

Кумулянты некоторых дискретных распределений вероятностей

Введение отношения дисперсии к среднему значению

приведенные выше распределения вероятностей получают единую формулу для производной кумулянтной производящей функции :

Вторая производная

подтверждение того, что первый кумулянт равен κ 1 = K′ (0) = µ , а второй кумулянт равен κ 2 = K′′ (0) = µε .

Постоянные случайные величины X = µ имеют ε = 0 .

Биномиальные распределения имеют ε = 1 − p , так что 0 < ε <1 .

Распределения Пуассона имеют ε = 1 .

Отрицательные биномиальные распределения имеют ε = p −1 , так что ε > 1 .

Обратите внимание на аналогию с классификацией конических сечений по эксцентриситету : окружности ε = 0 , эллипсы 0 < ε < 1 , параболы ε = 1 , гиперболы ε > 1 .

Кумулянты некоторых непрерывных распределений вероятностей

Некоторые свойства кумулянтной производящей функции

Кумулянтная производящая функция K ( t ) , если она существует, бесконечно дифференцируема , выпукла и проходит через начало координат. Его первая производная монотонно изменяется в открытом интервале от нижней до верхней точки носителя распределения вероятностей, а вторая производная строго положительна везде, где она определена, за исключением вырожденного распределения одной точечной массы. Кумулянт-генерирующая функция существует тогда и только тогда, когда хвосты распределения мажорируются экспоненциальным затуханием , то есть ( см. обозначение Big O )

где – кумулятивная функция распределения . Кумулянт-порождающая функция будет иметь вертикальную асимптоту (ы) в отрицательной супремуме такого c , если такой супремум существует, и в супремуме такого d , если такой супремум существует, в противном случае она будет определена для всех действительных чисел.

Если носитель случайной величины X имеет конечные верхние или нижние границы, то ее кумулянтная порождающая функция y = K ( t ) , если она существует, приближается к асимптоте (s), наклон которой равен верхней и/или нижней границе поддерживать,

соответственно, всюду лежащую выше обеих этих линий. ( Интегралы

дают y -перехваты этих асимптот, поскольку  K (0) = 0. )

Для сдвига распределения на c . Для вырожденной точечной массы в точке c кумулянтная производящая функция представляет собой прямую линию и, в более общем смысле, тогда и только тогда, когда X и Y независимы и их кумулянтная производящая функция существует; ( субнезависимость и существование вторых моментов, достаточных для того, чтобы подразумевать независимость. [6] )

Естественное экспоненциальное семейство распределения может быть реализовано путем сдвига или перевода K ( t ) и корректировки его по вертикали так, чтобы оно всегда проходило через начало координат: если f - PDF-файл с кумулянтной производящей функцией и его естественное экспоненциальное семейство, тогда и

Если K ( t ) конечен для диапазона t1 < Re( t ) < t2 , то если t1 < 0 < t2 , то K ( t ) аналитичен и бесконечно дифференцируем для t1 < Re( t ) < t2 . Более того, при t вещественном и t 1 < t < t 2 K ( t ) строго выпукло, а K ′( t ) строго возрастает. [ нужна цитата ]

Дополнительные свойства кумулянтов

Отрицательный результат

Учитывая результаты для кумулянтов нормального распределения , можно было бы надеяться найти семейства распределений, для которых κ m = κ m +1 = ⋯ = 0 для некоторого m > 3 , с кумулянтами более низкого порядка (порядки от 3 до m − 1 ) ненулевой. Таких раздач нет. [7] Основной результат здесь заключается в том, что кумулянтная производящая функция не может быть полиномом конечного порядка степени больше 2.

Кумулянты и моменты

Производящая функция момента определяется выражением:

Таким образом, кумулянтная производящая функция представляет собой логарифм производящей функции момента.

Первый кумулянт — это ожидаемое значение ; второй и третий кумулянты — это соответственно второй и третий центральные моменты (второй центральный момент — это дисперсия ); но высшие кумулянты не являются ни моментами, ни центральными моментами, а скорее более сложными полиномиальными функциями моментов.

Моменты можно восстановить через кумулянты, вычислив n -ю производную от at ,

Аналогично, кумулянты могут быть восстановлены в моментах путем оценки n -й производной от at ,

Явное выражение для n -го момента через первые n кумулянтов и наоборот можно получить, используя формулу Фаа ди Бруно для высших производных сложных функций. В общем, у нас есть

где – неполные (или частичные) полиномы Белла .

Аналогичным образом, если среднее значение определяется как , производящая функция центрального момента определяется как

а n -й центральный момент получается через кумулянты как

Кроме того, для n > 1 n кумулянт в терминах центральных моментов равен

n момент µn является полиномом n -й степени от первых n кумулянтов. Первые несколько выражений:

«Штрих» отличает моменты µn от центральных моментов µ n . Чтобы выразить центральные моменты как функции кумулянтов, просто исключите из этих полиномов все члены, в которых κ 1 фигурирует как множитель:

Аналогично, n -й кумулянт κ n является полиномом n -й степени от первых n нецентральных моментов. Первые несколько выражений:

В общем случае [8] кумулянт — это определитель матрицы:

Чтобы выразить кумулянты κ n для n > 1 как функции центральных моментов, исключите из этих многочленов все члены, в которых µ' 1 появляется как множитель:

Чтобы выразить кумулянты κ n для n > 2 как функции стандартизированных центральных моментов µ″ n , также положим µ' 2 =1 в полиномах:

Кумулянты могут быть связаны с моментами путем дифференцирования отношения log M ( t ) = K ( t ) относительно t , давая M' ( t ) = K' ( t ) M ( t ) , которое удобно не содержит экспонент или логарифмы. Приравнивая коэффициент при t n −1 / ( n −1)! в левой и правой частях и использование µ′ 0 = 1 дает следующие формулы для n ≥ 1 : [9]

Они позволяют вычислять одно или другое, используя знание кумулянтов и моментов низшего порядка. Из этих формул путем постановки и замены каждой на for формируются соответствующие формулы для центральных моментов :

Кумулянты и множества-разделы

Эти полиномы имеют замечательную комбинаторную интерпретацию: коэффициенты учитывают определенные разбиения множеств . Общий вид этих полиномов:

где

Таким образом, каждый моном представляет собой константу, умноженную на произведение кумулянтов, в котором сумма индексов равна n (например, в члене κ 3 κ 2 2 κ 1 сумма индексов равна 3 + 2 + 2 + 1 = 8; это появляется в многочлене, который выражает 8-й момент как функцию первых восьми кумулянтов). Каждому члену соответствует часть целого числа n . Коэффициент в каждом члене — это количество разделов набора из n членов, которые схлопываются в этот раздел целого числа n , когда члены набора становятся неразличимыми.

Кумулянты и комбинаторика

Дальнейшую связь между кумулянтами и комбинаторикой можно найти в работе Джан-Карло Рота , где связи с теорией инвариантов , симметричными функциями и биномиальными последовательностями изучаются с помощью теневого исчисления . [10]

Совместные кумулянты

Совместный кумулянт κ нескольких случайных величин X 1 , ..., X n определяется как коэффициент κ 1,...,1 ( X 1 , ..., X n ) в ряду Маклорена многомерного кумулянта, порождающего функцию, см. раздел 3.1 в [11]

Повторяющиеся случайные величины и связь между коэффициентами κ k 1 , … , k n {\textstyle \kappa _{k_{1},\ldots ,k_{n}}}

Обратите внимание, что это также можно записать как

и

В частности, последнее равенство показывает, что кумулянты одной случайной величины являются совместными кумулянтами нескольких копий этой случайной величины.

Отношения со смешанными моментами

Совместная совокупная или случайная величина может быть выражена как альтернативная сумма произведений их смешанных моментов , см. уравнение (3.2.7) в [12]

π{1, ..., n }Bπ| π |

Например,

ожидаемое значение ,

является ковариацией и , и

Для случайных величин с нулевым средним значением любой смешанный момент формы обращается в нуль, если раздел которого содержит одноэлементное число . Следовательно, выражение их совместного кумулянта через смешанные моменты упрощается. Например, если X,Y,Z,W — случайные величины с нулевым средним значением, мы имеем

В более общем смысле любой коэффициент ряда Маклорена также можно выразить через смешанные моменты, хотя кратких формул не существует. Действительно, как отмечалось выше, его можно записать как совместный кумулянт, соответствующим образом повторив случайные величины, а затем применить приведенную выше формулу, чтобы выразить его через смешанные моменты. Например

Если некоторые случайные величины не зависят от всех остальных, то любой кумулянт, включающий две (или более) независимых случайных величин, равен нулю. [ нужна цитата ]

Комбинаторный смысл выражения смешанных моментов через кумулянты легче понять, чем смысл кумулянтов через смешанные моменты, см. уравнение (3.2.6) в: [13]

Например:

Дополнительные свойства

Еще одним важным свойством совместных кумулянтов является полилинейность:

Так же, как второй кумулянт является дисперсией, совместный кумулянт всего двух случайных величин является ковариацией . Знакомая личность

обобщается на кумулянты:

Условные кумулянты и закон полной кумулянтов

Закон полного ожидания и закон полной дисперсии естественным образом обобщаются на условные кумулянты. Случай n = 3 , выраженный на языке (центральных) моментов , а не на языке кумулянтов, говорит:

В целом [14]

где

Условные кумулянты и условное ожидание

Для определенных настроек можно установить производную идентичность между условным кумулянтом и условным ожиданием. Например, предположим, что Y = X + Z , где Z — стандартная нормаль, не зависящая от X , тогда для любого X справедливо соотношение [15]

Результаты также могут быть отправлены в текстовую форму экспоненциальной семье. [16]

Отношение к статистической физике

В статистической физике многие экстенсивные величины , то есть величины, пропорциональные объему или размеру данной системы, связаны с кумулянтами случайных величин. Глубокая связь заключается в том, что в большой системе такую ​​обширную величину, как энергия или количество частиц, можно рассматривать как сумму (скажем) энергии, связанной с рядом почти независимых областей. Тот факт, что кумулянты этих почти независимых случайных величин (почти) складываются, делает разумным, что следует ожидать, что большие количества будут связаны с кумулянтами.

Система, находящаяся в равновесии с тепловой ванной при температуре T , имеет колеблющуюся внутреннюю энергию E , которую можно считать случайной величиной, полученной из распределения . Статистическая сумма системы равна

где β =  1/( kT ) и k - постоянная Больцмана , и это обозначение использовалось вместо среднего значения, чтобы избежать путаницы с энергией E . Следовательно, первый и второй кумулянты для энергии E дают среднюю энергию и теплоемкость.

Свободная энергия Гельмгольца , выраженная через

далее связывает термодинамические величины с кумулянтной производящей функцией энергии. Термодинамические свойства, являющиеся производными свободной энергии, такие как ее внутренняя энергия , энтропия и удельная теплоемкость, можно легко выразить через эти кумулянты. Другая свободная энергия может быть функцией других переменных, таких как магнитное поле или химический потенциал , например

где N — количество частиц, а — большой потенциал. Опять же , тесная связь между определением свободной энергии и производящей функцией кумулянта подразумевает, что различные производные этой свободной энергии могут быть записаны через совместные кумулянты E и N.

История

Историю кумулянтов обсуждает Андерс Хальд . [17] [18]

Кумулянты были впервые введены Торвальдом Н. Тиле в 1889 году, который назвал их полуинвариантами . [19] Впервые они были названы кумулянтами в статье [20] Рональда Фишера и Джона Уишарта в 1932 году . Нейман публично напомнил Фишеру о работе Тиле, который также отмечает ранее опубликованные цитаты Тиле, доведенные до сведения Фишера. [21] Стивен Стиглер сказал , что название « кумулянт » было предложено Фишеру в письме от Гарольда Хотеллинга . В статье, опубликованной в 1929 году, [22] Фишер назвал их кумулятивными моментными функциями . Статистическая сумма в статистической физике была введена Джозайей Уиллардом Гиббсом в 1901 году . Свободную энергию часто называют свободной энергией Гиббса . В статистической механике кумулянты также известны как функции Урселла , относящиеся к публикации 1927 года .

Кумулянты в обобщенных условиях

Формальные кумулянты

В более общем смысле, кумулянты последовательности { m n  : n = 1, 2, 3, ... } , не обязательно моменты любого распределения вероятностей, по определению являются

где значения κ n для n = 1, 2, 3, ... находятся формально, т. е. только с помощью алгебры, без учета вопросов о сходимости какого-либо ряда. Все трудности «проблемы о кумулянтах» отсутствуют при формальной работе. Самый простой пример: второй кумулянт распределения вероятностей всегда должен быть неотрицательным и равен нулю, только если все старшие кумулянты равны нулю. На формальные кумулянты такие ограничения не распространяются.

Номера звонков

В комбинаторике n - е число Белла — это количество разделов множества размера n . Все кумулянты последовательности чисел Белла равны 1 . Числа Белла — это моменты распределения Пуассона с ожидаемым значением 1 .

Кумулянты полиномиальной последовательности биномиального типа

Для любой последовательности { κ n  : n = 1, 2, 3, ... } скаляров в поле нулевой характеристики, рассматриваемой как формальные кумулянты, существует соответствующая последовательность { µ ′ : n = 1, 2, 3, ...} формальных моментов, заданных полиномами, приведенными выше. [ необходимы разъяснения ] [ необходима ссылка ] Для этих полиномов постройте полиномиальную последовательность следующим образом. Из полинома

создайте новый полином из них плюс одну дополнительную переменную x :

а затем обобщить закономерность. Закономерность такова, что количество блоков в вышеупомянутых разделах является показателем степени x . Каждый коэффициент представляет собой полином от кумулянтов; это полиномы Белла , названные в честь Эрика Темпла Белла . [ нужна цитата ]

Эта последовательность полиномов имеет биномиальный тип . Фактически других последовательностей биномиального типа не существует; каждая полиномиальная последовательность биномиального типа полностью определяется своей последовательностью формальных кумулянтов. [ нужна цитата ]

Бесплатные кумулянты

В приведенной выше формуле момент-кумулянта

для совместных кумулянтов суммируется по всем разделам набора { 1, ..., n } . Если вместо этого суммировать только по непересекающимся разбиениям , то, решив эти формулы для моментов, можно получить свободные кумулянты , а не обычные кумулянты, рассмотренные выше. Эти свободные кумулянты были введены Роландом Спайхером и играют центральную роль в теории свободных вероятностей . [23] [24] В этой теории, вместо того, чтобы рассматривать независимость случайных величин , определенных в терминах тензорных произведений алгебр случайных величин, вместо этого рассматривается свободная независимость случайных величин, определяемая в терминах свободных произведений алгебр. [24]

Обычные кумулянты степени выше 2 нормального распределения равны нулю. Свободные кумулянты степени выше 2 полукругового распределения Вигнера равны нулю. [24] Это один из аспектов, в котором роль распределения Вигнера в свободной теории вероятностей аналогична роли нормального распределения в традиционной теории вероятностей.

Смотрите также

Рекомендации

  1. ^ Вайсштейн, Эрик В. «Кумулянт». Из MathWorld – веб-ресурса Wolfram. http://mathworld.wolfram.com/Cumulant.html
  2. ^ Кендалл, М.Г., Стюарт, А. (1969) Расширенная теория статистики , Том 1 (3-е издание). Гриффин, Лондон. (раздел 3.12)
  3. ^ Лукач, Э. (1970) Характеристические функции (2-е издание). Гриффин, Лондон. (Страница 27)
  4. ^ Лукач, Э. (1970) Характеристические функции (2-е издание). Гриффин, Лондон. (раздел 2.4)
  5. ^ Аапо Хиваринен, Юха Кархунен и Эркки Оя (2001) Независимый анализ компонентов , John Wiley & Sons . (раздел 2.7.2)
  6. ^ Хамедани, Г.Г.; Фолькмер, Ганс; Бехбудиан, Дж. (01 марта 2012 г.). «Заметка о субнезависимых случайных величинах и классе двумерных смесей». Studia Scientiarum Mathematicarum Hungarica . 49 (1): 19–25. дои : 10.1556/SScMath.2011.1183.
  7. ^ Лукач, Э. (1970) Характеристические функции (2-е издание), Гриффин, Лондон. (Теорема 7.3.5)
  8. Базант, Мартин (4 февраля 2005 г.). «MIT 18.366 | Осень 2006 г. | Выпускник | Случайные блуждания и диффузия, Лекция 2: Моменты, кумулянты и масштабирование». MIT OpenCourseWare . Архивировано из оригинала 07 октября 2022 г. Проверено 03 сентября 2023 г.
  9. ^ Смит, Питер Дж. (май 1995 г.). «Рекурсивная формулировка старой проблемы получения моментов из кумулянтов и наоборот». Американский статистик . 49 (2): 217–218. дои : 10.2307/2684642. JSTOR  2684642.
  10. ^ Рота, Г.-К.; Шен, Дж. (2000). «К комбинаторике кумулянтов». Журнал комбинаторной теории, серия А. 91 (1–2): 283–304. дои : 10.1006/jcta.1999.3017 .
  11. ^ Пеккати, Джованни; Такку, Мурад С. (2011). «Винерский хаос: моменты, кумулянты и диаграммы». Серия Боккони и Спрингер . 1 . дои : 10.1007/978-88-470-1679-8. ISBN 978-88-470-1678-1. ISSN  2039-1471.
  12. ^ Пеккати, Джованни; Такку, Мурад С. (2011). «Винерский хаос: моменты, кумулянты и диаграммы». Серия Боккони и Спрингер . 1 . дои : 10.1007/978-88-470-1679-8. ISBN 978-88-470-1678-1. ISSN  2039-1471.
  13. ^ Пеккати, Джованни; Такку, Мурад С. (2011). «Винерский хаос: моменты, кумулянты и диаграммы». Серия Боккони и Спрингер . 1 . дои : 10.1007/978-88-470-1679-8. ISBN 978-88-470-1678-1. ISSN  2039-1471.
  14. ^ Бриллинджер, Д.Р. (1969). «Расчет кумулянтов посредством кондиционирования». Летопись Института статистической математики . 21 : 215–218. дои : 10.1007/bf02532246. S2CID  122673823.
  15. ^ Дитсо, Алекс; Бедный, Х. Винсент; Шамай Шиц, Шломо (2023). «Условная оценка среднего в гауссовском шуме: метапроизводная идентичность с приложениями». Транзакции IEEE по теории информации . 69 (3): 1883–1898. дои : 10.1109/TIT.2022.3216012. S2CID  253308274.
  16. ^ Дитсо, Алекс; Кардоне, Мартина; Зидер, Ян (2023). «Метапроизводная идентичность условного ожидания». Транзакции IEEE по теории информации . 69 (7): 4284–4302. дои : 10.1109/TIT.2023.3249163. S2CID  257247930.
  17. ^ Хальд, А. (2000) «Ранняя история кумулянтов и ряд Грама – Шарлье » International Statistical Review , 68 (2): 137–153. (Перепечатано в Lauritzen, Steffen L. , ed. (2002). Тиле: пионер в статистике . Oxford UP ISBN 978-0-19-850972-1.)
  18. ^ Хальд, Андерс (1998). История математической статистики с 1750 по 1930 год . Нью-Йорк: Уайли. ISBN 978-0-471-17912-2.
  19. ^ Х. Крамер (1946) Математические методы статистики, Princeton University Press, раздел 15.10, стр. 186.
  20. ^ Фишер, Р.А. , Джон Уишарт, Дж. (1932) Вывод шаблонных формул двустороннего разбиения из формул более простых шаблонов, Труды Лондонского математического общества , серия 2, т. 33, стр. 195–208 doi :10.1112/plms/s2-33.1.195
  21. ^ Нейман, Дж. (1956): «Примечание к статье сэра Рональда Фишера», Журнал Королевского статистического общества , серия B (методологический), 18, стр. 288–94.
  22. ^ Фишер, РА (1929). «Моменты и моменты выборочных распределений» (PDF) . Труды Лондонского математического общества . 30 : 199–238. дои : 10.1112/plms/s2-30.1.199. HDL : 2440/15200 .
  23. ^ Спайчер, Роланд (1994). «Мультипликативные функции на решетке непересекающихся разбиений и свободная свертка». Математические Аннален . 298 (4): 611–628. дои : 10.1007/BF01459754. S2CID  123022311.
  24. ^ abc Новак, Джонатан; Сняды, Петр (2011). «Что такое свободный кумулянт?». Уведомления Американского математического общества . 58 (2): 300–301. ISSN  0002-9920.

Внешние ссылки