stringtranslate.com

Кумулянт

В теории вероятностей и статистике кумулянты κ n распределения вероятностей представляют собой набор величин, которые предоставляют альтернативу моментам распределения . Любые два распределения вероятностей, моменты которых идентичны, будут иметь также идентичные кумулянты, и наоборот.

Первый кумулянт — это среднее значение , второй кумулянт — это дисперсия , а третий кумулянт совпадает с третьим центральным моментом . Но кумулянты четвертого и более высокого порядка не равны центральным моментам. В некоторых случаях теоретические трактовки проблем в терминах кумулянтов проще, чем те, которые используют моменты. В частности, когда две или более случайных величин статистически независимы , кумулянт n -го порядка их суммы равен сумме их кумулянтов n -го порядка. Кроме того, кумулянты третьего и более высокого порядка нормального распределения равны нулю, и это единственное распределение с этим свойством.

Так же, как и для моментов, где совместные моменты используются для наборов случайных величин, можно определить совместные кумулянты .

Определение

Кумулянты случайной величины X определяются с помощью функции генерации кумулянтов K ( t ) , которая является натуральным логарифмом функции генерации моментов :

Кумулянты κ n получаются из разложения в степенной ряд функции, производящей кумулянты:

Это разложение представляет собой ряд Маклорена , поэтому n- й кумулянт может быть получен путем дифференцирования приведенного выше разложения n раз и оценки результата при нуле: [1]

Если функция, генерирующая моменты, не существует, кумулянты можно определить в терминах взаимосвязи между кумулянтами и моментами, обсуждаемой далее.

Альтернативное определение функции генерации кумулянта

Некоторые авторы [2] [3] предпочитают определять функцию, генерирующую кумулянт, как натуральный логарифм характеристической функции , которую иногда также называют второй характеристической функцией , [4] [5]

Преимущество H ( t ) — в некотором смысле функции K ( t ), оцененной для чисто мнимых аргументов — заключается в том, что E[ e itX ] хорошо определена для всех действительных значений t , даже когда E[ e tX ] не хорошо определена для всех действительных значений t , например, когда существует «слишком большая» вероятность того, что X имеет большую величину. Хотя функция H ( t ) будет хорошо определена, она, тем не менее, будет имитировать K ( t ) с точки зрения длины ее ряда Маклорена , который может не выходить за пределы (или, редко, даже до) линейного порядка по аргументу  t , и, в частности, число хорошо определенных кумулянтов не изменится. Тем не менее, даже когда H ( t ) не имеет длинного ряда Маклорена, ее можно использовать напрямую при анализе и, в частности, при добавлении случайных величин. Как распределение Коши (также называемое лоренцевым), так и, в более общем смысле, устойчивые распределения (связанные с распределением Леви) являются примерами распределений, для которых разложения в степенные ряды производящих функций имеют лишь конечное число четко определенных членов.

Некоторые основные свойства

Кумулянт (распределения) случайной величины обладает следующими свойствами:

Кумулятивное свойство быстро следует из рассмотрения функции генерации кумулянта: так что каждый кумулянт суммы независимых случайных величин является суммой соответствующих кумулянтов слагаемых . То есть, когда слагаемые статистически независимы, среднее значение суммы является суммой средних значений, дисперсия суммы является суммой дисперсий, третий кумулянт (который является третьим центральным моментом) суммы является суммой третьих кумулянтов, и так далее для каждого порядка кумулянта.

Распределение с заданными кумулянтами κ n можно аппроксимировать с помощью ряда Эджворта .

Первые несколько кумулянтов как функции моментов

Все высшие кумулянты являются полиномиальными функциями центральных моментов с целыми коэффициентами, но только в степенях 2 и 3 кумулянты фактически являются центральными моментами.

Кумулянты некоторых дискретных распределений вероятностей

Вводя отношение дисперсии к среднему значению, приведенные выше распределения вероятностей получают единую формулу для производной кумулянтной производящей функции: [ необходима ссылка ]

Вторая производная подтверждает, что первый кумулянт равен κ 1 = K′ (0) = μ , а второй кумулянт равен κ 2 = K′′ (0) = με .

Постоянные случайные величины X = μ имеют ε = 0 .

Биномиальные распределения имеют ε = 1 − p , так что 0 < ε < 1 .

Распределения Пуассона имеют ε = 1 .

Отрицательные биномиальные распределения имеют ε = p −1, так что ε > 1 .

Обратите внимание на аналогию с классификацией конических сечений по эксцентриситету : окружности ε = 0 , эллипсы 0 < ε < 1 , параболы ε = 1 , гиперболы ε > 1 .

Кумулянты некоторых непрерывных распределений вероятностей

Некоторые свойства кумулянтной производящей функции

Функция, производящая кумулянт K ( t ) , если она существует, бесконечно дифференцируема и выпукла , и проходит через начало координат. Ее первая производная изменяется монотонно в открытом интервале от инфимума до супремума носителя распределения вероятностей, а ее вторая производная строго положительна всюду, где она определена, за исключением вырожденного распределения единственной точечной массы. Функция, производящая кумулянт, существует тогда и только тогда, когда хвосты распределения мажорируются экспоненциальным распадом , то есть ( см. обозначение Big O ), где — кумулятивная функция распределения . Функция, производящая кумулянт, будет иметь вертикальную асимптоту (s) в отрицательной супремуме такого c , если такой супремум существует, и в супремуме такого d , если такой супремум существует, в противном случае она будет определена для всех действительных чисел.

Если носитель случайной величины X имеет конечные верхние или нижние границы, то его кумулянтно-генерирующая функция y = K ( t ) , если она существует, стремится к асимптоте (s), наклон которой равен супремуму или инфимуму носителя, соответственно, лежа выше обеих этих линий всюду. (Интегралы дают y -пересечения этих асимптот, поскольку  K (0) = 0 .)

Для сдвига распределения на c , для вырожденной точечной массы в c , кумулянтная производящая функция является прямой линией , и, в более общем случае, тогда и только тогда, когда X и Y независимы и существуют их кумулянтные производящие функции; ( субиндепенденсация и существование вторых моментов достаточны для того, чтобы подразумевать независимость. [6] )

Естественное экспоненциальное семейство распределения может быть реализовано путем сдвига или переноса K ( t ) и вертикальной регулировки так, чтобы оно всегда проходило через начало координат: если f — это функция распределения с кумулянтной производящей функцией , а — ее естественное экспоненциальное семейство, то и

Если K ( t ) конечен для диапазона t 1 < Re( t ) < t 2 , то если t 1 < 0 < t 2 , то K ( t ) аналитичен и бесконечно дифференцируем для t 1 < Re( t ) < t 2 . Более того, для действительных t и t 1 < t < t 2 K ( t ) строго выпуклый, а K ′( t ) строго возрастает. [ необходима цитата ]

Дополнительные свойства кумулянтов

Отрицательный результат

Учитывая результаты для кумулянтов нормального распределения , можно было бы надеяться найти семейства распределений, для которых κ m = κ m +1 = ⋯ = 0 для некоторого m > 3 , с кумулянтами низшего порядка (порядки от 3 до m − 1 ), не равными нулю. Таких распределений не существует. [7] Основной результат здесь заключается в том, что функция генерации кумулянтов не может быть полиномом конечного порядка степени выше 2.

Кумулянты и моменты

Функция , производящая момент, определяется выражением:

Таким образом, функция генерации кумулянта является логарифмом функции генерации момента.

Первый кумулянт — это ожидаемое значение ; второй и третий кумулянты — это соответственно второй и третий центральные моменты (второй центральный момент — это дисперсия ); но более высокие кумулянты не являются ни моментами, ни центральными моментами, а скорее более сложными полиномиальными функциями моментов.

Моменты можно восстановить в терминах кумулянтов, оценив n -ю производную от ,

Аналогично, кумулянты можно восстановить в терминах моментов, оценив n - ю производную от ⁠ ,

Явное выражение для n- го момента в терминах первых n кумулянтов, и наоборот, можно получить, используя формулу Фаа ди Бруно для высших производных сложных функций. В общем случае мы имеем где — неполные (или частичные) полиномы Белла .

Аналогично, если среднее значение задано как , то функция, генерирующая центральный момент, задана как и n- й центральный момент получается в терминах кумулянтов как

Кроме того, для n > 1 n -й кумулянт в терминах центральных моментов равен

N -й момент μ n является полиномом n -й степени в первых n кумулянтах. Первые несколько выражений:

«Штрих» отличает моменты μn от центральных моментов μ n . Чтобы выразить центральные моменты как функции кумулянтов, просто отбросьте из этих полиномов все члены, в которых κ 1 появляется как множитель:

Аналогично, n- й кумулянт κ n является полиномом n -й степени в первых n нецентральных моментах. Первые несколько выражений:

В общем случае [8] кумулянт является определителем матрицы:

Чтобы выразить кумулянты κ n для n > 1 как функции центральных моментов, отбросим из этих полиномов все члены, в которых μ' 1 появляется как множитель:

Кумулянты могут быть связаны с моментами путем дифференцирования отношения log M ( t ) = K ( t ) относительно t , что дает M′ ( t ) = K′ ( t ) M ( t ) , которое удобно не содержит экспонент или логарифмов. Приравнивая коэффициент t n −1 / ( n −1)! в левой и правой частях и используя μ′ 0 = 1, получаем следующие формулы для n ≥ 1 : [9] Они позволяют вычислять либо или из другого, используя знание кумулянтов и моментов низшего порядка. Соответствующие формулы для центральных моментов для формируются из этих формул путем установки и замены каждой на для :

Кумулянты и множества-разделы

Эти многочлены имеют замечательную комбинаторную интерпретацию: коэффициенты подсчитывают определенные разбиения множеств . Общая форма этих многочленов такова: где

Таким образом, каждый моном является константой, умноженной на произведение кумулянтов, в котором сумма индексов равна n (например, в члене κ 3 κ 2 2 κ 1 сумма индексов равна 3 + 2 + 2 + 1 = 8; это появляется в полиноме, который выражает 8-й момент как функцию первых восьми кумулянтов). Разбиение целого числа n соответствует каждому члену. Коэффициент в каждом члене является числом разбиений набора из n членов, которые схлопываются к этому разбиению целого числа n, когда члены набора становятся неразличимыми.

Кумулянты и комбинаторика

Дальнейшую связь между кумулянтами и комбинаторикой можно найти в работе Джан-Карло Рота , где связи с теорией инвариантов , симметричными функциями и биномиальными последовательностями изучаются с помощью теневого исчисления . [10]

Совместные кумулянты

Совместный кумулянт κ нескольких случайных величин X 1 , ..., X n определяется как коэффициент κ 1,...,1 ( X 1 , ..., X n ) в ряду Маклорена многомерной кумулянтной производящей функции, см. раздел 3.1 в [11]. Обратите внимание, что и, в частности, как и в случае с одной переменной, производящая функция и кумулянт могут быть определены посредством в этом случае и

Повторяющиеся случайные величины и связь между коэффициентамикк 1 , ..., к н

Заметим, что можно также записать в виде , из чего следует, что Например , и В частности, последнее равенство показывает, что кумулянты одной случайной величины являются совместными кумулянтами нескольких копий этой случайной величины.

Связь со смешанными моментами

Совместный кумулянт или случайные величины могут быть выражены как альтернативная сумма произведений их смешанных моментов , см. уравнение (3.2.7) в [11] , где  π пробегает список всех разделов {1, ..., n } ; где  B пробегает список всех блоков раздела  π ; и где  | π | - число частей в разделе.

Например, — ожидаемое значение , — ковариация и , а

Для случайных величин с нулевым средним любой смешанный момент формы исчезает, если является разбиением, которое содержит синглтон . Следовательно, выражение их совместного кумулянта в терминах смешанных моментов упрощается. Например, если X,Y,Z,W являются случайными величинами с нулевым средним, то мы имеем

В более общем смысле любой коэффициент ряда Маклорена также может быть выражен в терминах смешанных моментов, хотя кратких формул не существует. Действительно, как отмечено выше, можно записать его как совместный кумулянт, повторяя случайные величины соответствующим образом, а затем применить приведенную выше формулу, чтобы выразить его в терминах смешанных моментов. Например

Если некоторые случайные величины независимы от всех остальных, то любой кумулянт, включающий две (или более) независимых случайных величины, равен нулю. [ необходима ссылка ]

Комбинаторный смысл выражения смешанных моментов в терминах кумулянтов понять легче, чем смысл кумулянтов в терминах смешанных моментов, см. уравнение (3.2.6) в: [11]

Например:

Дополнительные свойства

Другим важным свойством совместных кумулянтов является мультилинейность:

Так же, как второй кумулянт является дисперсией, совместный кумулянт всего двух случайных величин является ковариацией . Знакомое тождество обобщается на кумулянты:

Условные кумулянты и закон полной кумулянтности

Закон полного ожидания и закон полной дисперсии естественным образом обобщаются на условные кумулянты. Случай n = 3 , выраженный на языке (центральных) моментов , а не на языке кумулянтов, говорит:

В общем случае, [12] где

Условные кумулянты и условное ожидание

Для определенных настроек можно установить производное тождество между условным кумулянтом и условным ожиданием. Например, предположим, что Y = X + Z , где Z — стандартное нормальное распределение, независимое от X , тогда для любого X выполняется следующее [13] Результаты также можно распространить на экспоненциальное семейство. [14]

Связь со статистической физикой

В статистической физике многие экстенсивные величины – то есть величины, пропорциональные объему или размеру данной системы – связаны с кумулянтами случайных величин. Глубокая связь заключается в том, что в большой системе экстенсивную величину, такую ​​как энергия или число частиц, можно рассматривать как сумму (скажем) энергии, связанной с рядом почти независимых областей. Тот факт, что кумулянты этих почти независимых случайных величин будут (почти) складываться, делает разумным ожидать, что экстенсивные величины будут связаны с кумулянтами.

Система, находящаяся в равновесии с термальной ванной при температуре T, имеет флуктуирующую внутреннюю энергию E , которую можно считать случайной величиной, взятой из распределения . Статистическая сумма системы равна где β =  1/( kT ) , а kпостоянная Больцмана , и обозначение было использовано вместо ожидаемого значения, чтобы избежать путаницы с энергией E . Следовательно, первый и второй кумулянты для энергии E дают среднюю энергию и теплоемкость.

Свободная энергия Гельмгольца, выраженная в терминах, далее связывает термодинамические величины с функцией генерации кумулянта для энергии. Термодинамические свойства, которые являются производными свободной энергии, такие как ее внутренняя энергия , энтропия и удельная теплоемкость, могут быть легко выражены в терминах этих кумулянтов. Другая свободная энергия может быть функцией других переменных, таких как магнитное поле или химический потенциал , например, где N — число частиц, а — большой потенциал. Опять же, тесная связь между определением свободной энергии и функцией генерации кумулянта подразумевает, что различные производные этой свободной энергии могут быть записаны в терминах совместных кумулянтов E и N.

История

Историю кумулянтов обсуждает Андерс Хальд . [15] [16]

Кумулянты были впервые введены Торвальдом Н. Тиле в 1889 году, который назвал их полуинвариантами . [17] Впервые они были названы кумулянтами в статье 1932 года Рональда Фишера и Джона Уишарта . [18] Фишеру публично напомнил о работе Тиле Нейман, который также отмечает предыдущие опубликованные цитаты Тиле, доведенные до сведения Фишера. [19] Стивен Стиглер сказал [ требуется цитата ] , что название кумулянт было предложено Фишеру в письме от Гарольда Хотеллинга . В статье, опубликованной в 1929 году, Фишер назвал их кумулятивными моментными функциями . [20]

Разделительная функция в статистической физике была введена Джозайей Уиллардом Гиббсом в 1901 году. [ требуется ссылка ] Свободная энергия часто называется свободной энергией Гиббса. В статистической механике кумулянты также известны как функции Урселла, относящиеся к публикации 1927 года. [ требуется ссылка ]

Кумулянты в обобщенных условиях

Формальные кумулянты

В более общем смысле, кумулянты последовательности { m n  : n = 1, 2, 3, ... } , не обязательно моменты любого распределения вероятностей, по определению находятся там, где значения κ n для n = 1, 2, 3, ... находятся формально, т. е. только с помощью алгебры, без учета вопросов о том, сходится ли какой-либо ряд. Все трудности «проблемы кумулянтов» отсутствуют, когда работаешь формально. Простейшим примером является то, что второй кумулянт распределения вероятностей всегда должен быть неотрицательным и равен нулю, только если все более высокие кумулянты равны нулю. Формальные кумулянты не подчиняются таким ограничениям.

Номера колоколов

В комбинаторике n- ое число Белла — это число разбиений множества размера n . Все кумулянты последовательности чисел Белла равны 1. Числа Белла — это моменты распределения Пуассона с ожидаемым значением 1 .

Кумулянты полиномиальной последовательности биномиального типа

Для любой последовательности { κ n  : n = 1, 2, 3, ... } скаляров в поле характеристики нуль, рассматриваемых как формальные кумулянты, существует соответствующая последовательность { μ : n = 1, 2, 3, ... } формальных моментов, заданных вышеприведенными полиномами. [ необходимо разъяснение ] [ необходима цитата ] Для этих полиномов постройте полиномиальную последовательность следующим образом. Из полинома сделайте новый полином от этих плюс одну дополнительную переменную x : и затем обобщите шаблон. Шаблон заключается в том, что числа блоков в вышеупомянутых разбиениях являются показателями степеней от x . Каждый коэффициент является полиномом от кумулянтов; это полиномы Белла , названные в честь Эрика Темпла Белла . [ необходима цитата ]

Эта последовательность полиномов имеет биномиальный тип . Фактически, не существует других последовательностей биномиального типа; каждая полиномиальная последовательность биномиального типа полностью определяется своей последовательностью формальных кумулянтов. [ необходима цитата ]

Бесплатные кумулянты

В приведенной выше формуле момент-кумулянт для совместных кумулянтов суммирование производится по всем разбиениям множества { 1, ..., n } . Если вместо этого суммирование производится только по непересекающимся разбиениям , то, решая эти формулы для в терминах моментов, мы получаем свободные кумулянты, а не обычные кумулянты, рассмотренные выше. Эти свободные кумулянты были введены Роландом Шпайхером и играют центральную роль в свободной теории вероятностей . [21] [22] В этой теории вместо рассмотрения независимости случайных величин , определяемой в терминах тензорных произведений алгебр случайных величин, вместо этого рассматривается свободная независимость случайных величин, определяемая в терминах свободных произведений алгебр. [22]

Обычные кумулянты степени выше 2 нормального распределения равны нулю. Свободные кумулянты степени выше 2 полукругового распределения Вигнера равны нулю. [22] Это одно из отношений, в котором роль распределения Вигнера в свободной теории вероятностей аналогична роли нормального распределения в обычной теории вероятностей.

Смотрите также

Ссылки

  1. ^ Weisstein, Eric W. "Cumulant". Из MathWorld – A Wolfram Web Resource. http://mathworld.wolfram.com/Cumulant.html
  2. ^ Кендалл, МГ, Стюарт, А. (1969) Продвинутая теория статистики , том 1 (3-е издание). Гриффин, Лондон. (Раздел 3.12)
  3. ^ Лукач, Э. (1970) Характеристические функции (2-е издание). Гриффин, Лондон. (стр. 27)
  4. ^ Лукач, Э. (1970) Характеристические функции (2-е издание). Гриффин, Лондон. (Раздел 2.4)
  5. ^ Аапо Хиваринен, Юха Кархунен и Эркки Оя (2001) Независимый анализ компонентов , John Wiley & Sons . (раздел 2.7.2)
  6. ^ Хамедани, Г.Г.; Фолькмер, Ганс; Бехбудиан, Дж. (01 марта 2012 г.). «Заметка о субнезависимых случайных величинах и классе двумерных смесей». Studia Scientiarum Mathematicarum Hungarica . 49 (1): 19–25. дои : 10.1556/SScMath.2011.1183.
  7. ^ Лукач, Э. (1970) Характеристические функции (2-е издание), Гриффин, Лондон. (Теорема 7.3.5)
  8. ^ Базант, Мартин (4 февраля 2005 г.). "MIT 18.366 | Осень 2006 г. | Выпускник | Случайные блуждания и диффузия, Лекция 2: Моменты, кумулянты и масштабирование". MIT OpenCourseWare . Архивировано из оригинала 2022-10-07 . Получено 2023-09-03 .
  9. ^ Смит, Питер Дж. (май 1995 г.). «Рекурсивная формулировка старой проблемы получения моментов из кумулянтов и наоборот». The American Statistician . 49 (2): 217–218. doi :10.2307/2684642. JSTOR  2684642.
  10. ^ Рота, Г.-Ч.; Шен, Дж. (2000). «О комбинаторике кумулянтов». Журнал комбинаторной теории, Серия A. 91 ( 1–2): 283–304. doi : 10.1006/jcta.1999.3017 .
  11. ^ abc Peccati , Giovanni; Taqqu, Murad S. (2011). "Wiener Chaos: Moments, Cumulants and Diagrams". Bocconi & Springer Series . 1. doi :10.1007/978-88-470-1679-8. ISBN 978-88-470-1678-1. ISSN  2039-1471.
  12. ^ Brillinger, DR (1969). «Вычисление кумулянтов через обусловливание». Annals of the Institute of Statistical Mathematics . 21 : 215–218. doi :10.1007/bf02532246. S2CID  122673823.
  13. ^ Dytso, Alex; Poor, H. Vincent; Shamai Shitz, Shlomo (2023). «Условная оценка среднего в гауссовском шуме: метапроизводная идентичность с приложениями». Труды IEEE по теории информации . 69 (3): 1883–1898. doi :10.1109/TIT.2022.3216012. S2CID  253308274.
  14. ^ Дитсо, Алекс; Кардоне, Мартина; Зидер, Ян (2023). «Метапроизводное тождество для условного ожидания». Труды IEEE по теории информации . 69 (7): 4284–4302. doi :10.1109/TIT.2023.3249163. S2CID  257247930.
  15. ^ Hald, A. (2000) «Ранняя история кумулянтов и рядов Грама–Шарлье » International Statistical Review , 68 (2): 137–153. (Перепечатано в Lauritzen, Steffen L. , ed. (2002). Thiele: Pioneer in Statistics . Oxford UP ISBN 978-0-19-850972-1.)
  16. ^ Хальд, Андерс (1998). История математической статистики с 1750 по 1930 год . Нью-Йорк: Wiley. ISBN 978-0-471-17912-2.
  17. ^ Х. Крамер (1946) Математические методы статистики, Princeton University Press, Раздел 15.10, стр. 186.
  18. ^ Фишер, РА , Джон Уишарт, Дж. (1932) Вывод формул шаблонов двусторонних разбиений из формул более простых шаблонов, Труды Лондонского математического общества , Серия 2, т. 33, стр. 195–208 doi :10.1112/plms/s2-33.1.195
  19. ^ Нейман, Дж. (1956): «Заметка о статье сэра Рональда Фишера», Журнал Королевского статистического общества , Серия B (Методологическая), 18, стр. 288–94.
  20. ^ Фишер, РА (1929). "Моменты и моменты произведений выборочных распределений" (PDF) . Труды Лондонского математического общества . 30 : 199–238. doi :10.1112/plms/s2-30.1.199. hdl : 2440/15200 .
  21. ^ Шпайхер, Роланд (1994). «Мультипликативные функции на решетке непересекающихся разбиений и свободная свертка». Mathematische Annalen . 298 (4): 611–628. doi :10.1007/BF01459754. S2CID  123022311.
  22. ^ abc Новак, Джонатан; Сняди, Петр (2011). «Что такое свободный кумулянт?». Notices of the American Mathematical Society . 58 (2): 300–301. ISSN  0002-9920.

Внешние ссылки