stringtranslate.com

Распределение Коши

Распределение Коши , названное в честь Огюстена Коши , представляет собой непрерывное распределение вероятностей . Оно также известно, особенно среди физиков , как распределение Лоренца (по имени Хендрика Лоренца ), распределение Коши–Лоренца , функция Лоренца (иан) или распределение Брейта–Вигнера . Распределение Коши — это распределение точки пересечения оси x луча, исходящего из под равномерно распределенным углом. Это также распределение отношения двух независимых нормально распределенных случайных величин со средним нулевым значением.

Распределение Коши часто используется в статистике как канонический пример « патологического » распределения, поскольку и его ожидаемое значение , и его дисперсия не определены (но см. § Моменты ниже). Распределение Коши не имеет конечных моментов порядка больше или равного единице; существуют только дробные абсолютные моменты. [1] Распределение Коши не имеет функции, производящей момент .

В математике оно тесно связано с ядром Пуассона , которое является фундаментальным решением уравнения Лапласа в верхней полуплоскости .

Это одно из немногих стабильных распределений с функцией плотности вероятности, которую можно выразить аналитически, остальные — нормальное распределение и распределение Леви .

История

Оценка среднего и стандартного отклонения с помощью выборок из распределения Коши (внизу) не сходится с большим количеством выборок, как в случае нормального распределения (вверху). В оценках могут быть сколь угодно большие скачки, как видно на графиках внизу. (Нажмите, чтобы развернуть)

Функция, имеющая форму функции плотности распределения Коши, была геометрически изучена Ферма в 1659 году, а позже была известна как ведьма Аньези , после того как Аньези включила ее в качестве примера в свой учебник по исчислению 1748 года. Несмотря на свое название, первый явный анализ свойств распределения Коши был опубликован французским математиком Пуассоном в 1824 году, причем Коши стал ассоциироваться с ним только во время академической полемики в 1853 году. [2] Пуассон заметил, что если среднее значение наблюдений После того, как было взято такое распределение, средняя ошибка [ требуется дальнейшее объяснение ] не сходилась к какому-либо конечному числу. Таким образом, использование Лапласом центральной предельной теоремы для такого распределения было неуместным, поскольку предполагало конечное среднее значение и дисперсию. Несмотря на это, Пуассон не считал этот вопрос важным, в отличие от Бьенеме , которому предстояло вовлечь Коши в длительный спор по этому поводу.

Конструкции

Вот самые важные конструкции.

Вращательная симметрия

Если кто-то стоит перед линией и пинает мяч в случайном направлении (точнее, под углом) равномерно и случайно по направлению к линии, то распределение точки, в которой мяч попадает на линию, является распределением Коши.

Более формально, рассмотрим точку at в плоскости xy и выберем линию, проходящую через эту точку, причем ее направление (угол с осью -) будет выбрано равномерно (от -90° до +90°) случайным образом. Пересечение линии с осью X представляет собой распределение Коши с местоположением и масштабом .

Это определение дает простой способ выборки из стандартного распределения Коши. Пусть это выборка из равномерного распределения из , тогда мы можем сгенерировать выборку из стандартного распределения Коши, используя

Когда и являются двумя независимыми нормально распределенными случайными величинами с ожидаемым значением 0 и дисперсией 1, то отношение имеет стандартное распределение Коши.

В более общем смысле, если это вращательно-симметричное распределение на плоскости, то отношение имеет стандартное распределение Коши.

Функция плотности вероятности (PDF)

Распределение Коши — это распределение вероятностей со следующей функцией плотности вероятности (PDF) [1] [3]

где — параметр местоположения , определяющий местоположение пика распределения, и — параметр масштаба , который определяет полуширину на половине максимума (HWHM), альтернативно — полную ширину на половине максимума (FWHM). также равна половине межквартильного размаха и иногда называется вероятной ошибкой . Огюстен-Луи Коши использовал такую ​​функцию плотности в 1827 году с бесконечно малым параметром масштаба, определив то, что сейчас будет называться дельта-функцией Дирака .

Свойства PDF

Максимальное значение или амплитуда PDF Коши находится в точке .

Иногда удобно выразить PDF через комплексный параметр

Частный случай, когда и называется стандартным распределением Коши с функцией плотности вероятности [4] [5]

В физике часто используется трехпараметрическая функция Лоренца:

где высота вершины. Указанная трехпараметрическая функция Лоренца, вообще говоря, не является функцией плотности вероятности, поскольку она не интегрируется до 1, за исключением особого случая, когда

Кумулятивная функция распределения (CDF)

Распределение Коши — это распределение вероятностей со следующей кумулятивной функцией распределения (CDF):

а функция квантиля (обратный cdf ) распределения Коши равна

Отсюда следует, что первый и третий квартили равны , а значит, и межквартильный размах равен .

Для стандартного распределения кумулятивная функция распределения упрощается до функции арктангенса :

Другие конструкции

Стандартное распределение Коши представляет собой t -распределение Стьюдента с одной степенью свободы, поэтому его можно построить любым методом, позволяющим построить t-распределение Стьюдента.


Если - положительно-полуопределенная ковариационная матрица со строго положительными диагональными элементами, то для независимых и одинаково распределенных и любого случайного -вектора , независимого от и такого, что и (определяющее категориальное распределение ), справедливо то, что

[6]

Характеристики

Распределение Коши является примером распределения, для которого не определены среднее значение , дисперсия или более высокие моменты . Его мода и медиана четко определены и равны .

Распределение Коши — это бесконечно делимое распределение вероятностей . Это также строго стабильный дистрибутив. [7]

Как и все стабильные распределения, семейство масштабов местоположения , к которому принадлежит распределение Коши, замкнуто относительно линейных преобразований с действительными коэффициентами. Кроме того, распределение Коши замкнуто относительно дробно-линейных преобразований с вещественными коэффициентами. [8] В этой связи см. также параметризацию МакКаллаха распределений Коши .

Сумма распределений Коши

Если это выборки IID из стандартного распределения Коши, то их выборочное среднее также является стандартным распределением Коши. В частности, среднее значение не сходится к среднему, и поэтому стандартное распределение Коши не подчиняется закону больших чисел.

Это можно доказать путем повторного интегрирования с PDF или, что более удобно, с помощью характеристической функции стандартного распределения Коши (см. ниже):

В более общем смысле, если они независимы и распределены Коши с параметрами местоположения и масштабами и являются действительными числами, то распределены Коши с местоположением и масштабом . Мы видим, что не существует закона больших чисел для любой взвешенной суммы независимых распределений Коши.

Это показывает, что условие конечной дисперсии в центральной предельной теореме нельзя отбросить. Это также пример более обобщенной версии центральной предельной теоремы, характерной для всех устойчивых распределений , частным случаем которых является распределение Коши.

Центральная предельная теорема

Если выборки IID с PDF конечны , но ненулевые, то сходятся по распределению к распределению Коши с масштабом . [9]

Характеристическая функция

Пусть обозначает случайную величину, распределенную Коши. Характеристическая функция распределения Коши определяется выражением

что представляет собой преобразование Фурье плотности вероятности. Исходная плотность вероятности может быть выражена через характеристическую функцию, по существу, с помощью обратного преобразования Фурье:

n - й момент распределения является n- й производной характеристической функции, оцененной при . Обратите внимание, что характеристическая функция не дифференцируема в начале координат: это соответствует тому, что распределение Коши не имеет четко определенных моментов выше нулевого момента.

Расхождение Кульбака-Лейблера

Расхождение Кульбака – Лейблера между двумя распределениями Коши имеет следующую симметричную формулу в замкнутой форме: [10]

Любое f-дивергенция между двумя распределениями Коши симметрична и может быть выражена как функция дивергенции хи-квадрат. [11] Доступны выражения в замкнутой форме для полной вариации , дивергенции Дженсена–Шеннона , расстояния Хеллингера и т. д.

Энтропия

Энтропия распределения Коши определяется выражением:

Производная функции квантиля , функции плотности квантиля, для распределения Коши:

Дифференциальная энтропия распределения может быть определена через его квантильную плотность, [12] а именно:

Распределение Коши — это распределение вероятностей максимальной энтропии для случайной величины, для которого

или, альтернативно, для случайной величины, для которой

В своей стандартной форме это распределение вероятностей максимальной энтропии для случайной величины, для которой [13]

Моменты

Распределение Коши обычно используется в качестве наглядного контрпримера в курсах элементарных вероятностей как распределение без четко определенных (или «неопределенных») моментов.

Примеры моментов

Если мы возьмем выборки IID из стандартного распределения Коши, то последовательность их выборочного среднего будет , которая также имеет стандартное распределение Коши. Следовательно, сколько бы членов мы ни взяли, выборочное среднее не сходится.

Аналогично, выборочная дисперсия также не сходится.

Типичная траектория выборочных средних выглядит как длительные периоды медленного стремления к нулю, перемежающиеся большими скачками от нуля, но никогда не уходящие слишком далеко. Типичная траектория выборочных дисперсий выглядит аналогично, но скачки накапливаются быстрее, чем затухание, расходясь к бесконечности.

Типичная траектория выглядит как длительные периоды медленного сближения к нулю, перемежающиеся большими скачками от нуля, но никогда не уходящие слишком далеко. Типичная траектория выглядит аналогично, но скачки накапливаются быстрее, чем затухание, расходясь в бесконечность. Эти два вида траекторий изображены на рисунке.

Моменты выборки ниже порядка 1 будут сходиться к нулю. Моменты выборки выше порядка 2 будут расходиться до бесконечности даже быстрее, чем дисперсия выборки.

Иметь в виду

Если распределение вероятностей имеет функцию плотности , то среднее значение, если оно существует, определяется выражением

Мы можем вычислить этот двусторонний несобственный интеграл , вычислив сумму двух односторонних несобственных интегралов. То есть,

для произвольного действительного числа .

Чтобы интеграл существовал (даже как бесконечное значение), хотя бы одно из слагаемых этой суммы должно быть конечным, либо оба должны быть бесконечными и иметь одинаковый знак. Но в случае распределения Коши оба слагаемых в этой сумме ( 2 ) бесконечны и имеют противоположные знаки. Следовательно, ( 1 ) не определено, а значит, и среднее значение. [14]

Обратите внимание, что главное значение Коши среднего значения распределения Коши равно

равно1

Различные результаты теории вероятностей об ожидаемых значениях , такие как сильный закон больших чисел , не справедливы для распределения Коши. [14]

Меньшие моменты

Определены абсолютные моменты для . Потому что у нас есть

Высшие моменты

Распределение Коши не имеет конечных моментов любого порядка. Некоторые из высших необработанных моментов действительно существуют и имеют значение бесконечности, например, необработанный второй момент:

Переставив формулу, можно увидеть, что второй момент по сути представляет собой бесконечный интеграл от константы (здесь 1). Необработанные моменты с более высокой равномерной мощностью также будут оцениваться до бесконечности. Однако сырые моменты с нечетной силой не определены, что заметно отличается от существования со значением бесконечности. Необработанные моменты нечетной степени не определены, поскольку их значения по существу эквивалентны, поскольку две половины интеграла расходятся и имеют противоположные знаки. Первый необработанный момент — это среднее значение, которое, будучи странным, не существует. (См. также обсуждение этого вопроса выше.) Это, в свою очередь, означает, что все центральные моменты и стандартизированные моменты не определены, поскольку все они основаны на среднем значении. Дисперсия, которая является вторым центральным моментом, также не существует (несмотря на то, что исходный второй момент существует со значением бесконечности).

Результаты для более высоких моментов следуют из неравенства Гёльдера , которое означает, что более высокие моменты (или половины моментов) расходятся, если это делают более низкие.

Моменты усеченных распределений

Рассмотрим усеченное распределение , определенное путем ограничения стандартного распределения Коши интервалом [−10 100 , 10 100 ] . Такое усеченное распределение имеет все моменты (и центральная предельная теорема применима к наблюдениям из него); однако почти во всех практических целях оно ведет себя как распределение Коши. [15]

Оценка параметров

Поскольку параметры распределения Коши не соответствуют среднему значению и дисперсии, попытка оценить параметры распределения Коши с использованием выборочного среднего и выборочной дисперсии не увенчается успехом. [16] Например, если iid-выборка размером n берется из распределения Коши, среднее выборочное значение можно рассчитать как:

Хотя значения выборки будут сосредоточены вокруг центрального значения , среднее значение выборки будет становиться все более изменчивым по мере увеличения количества наблюдений из-за увеличения вероятности встретить точки выборки с большим абсолютным значением. Фактически распределение выборочного среднего будет равно распределению самих наблюдений; т. е. выборочное среднее большой выборки не является лучшим (или худшим) средством оценки, чем любое отдельное наблюдение из выборки. Аналогичным образом, вычисление выборочной дисперсии приведет к тому, что значения будут увеличиваться по мере увеличения количества наблюдений.

Следовательно, необходимы более надежные средства оценки центрального значения и параметра масштабирования . Один простой метод состоит в том, чтобы взять медианное значение выборки в качестве оценки и половину межквартильного размаха выборки в качестве оценки . Были разработаны другие, более точные и надежные методы [17] [18] Например, усеченное среднее средних 24% статистики порядка выборки дает оценку, которая более эффективна, чем использование медианы выборки или полной выборки. иметь в виду. [19] [20] Однако из-за «толстых хвостов » распределения Коши эффективность оценки снижается, если используется более 24% выборки. [19] [20]

Максимальное правдоподобие также можно использовать для оценки параметров и . Однако это имеет тенденцию усложняться тем фактом, что для этого требуется найти корни полинома высокой степени, и может быть несколько корней, которые представляют локальные максимумы. [21] Кроме того, хотя оценка максимального правдоподобия асимптотически эффективна, она относительно неэффективна для небольших выборок. [22] [23] Логарифмическая функция правдоподобия для распределения Коши для размера выборки :

Максимизация логарифмической функции правдоподобия по отношению к первой производной и путем ее получения дает следующую систему уравнений:

Обратите внимание, что

является монотонной функцией и что решение должно удовлетворять

Решение только для требует решения полинома степени , [21] и решение только для требует решения многочлена степени . Следовательно, независимо от того, решаете ли вы один параметр или оба параметра одновременно, обычно требуется численное решение на компьютере. Преимущество оценки максимального правдоподобия заключается в асимптотической эффективности; оценка с использованием выборочной медианы лишь примерно на 81% асимптотически эффективна, как оценка по максимальному правдоподобию. [20] [24] Усеченное выборочное среднее с использованием статистики среднего порядка 24% составляет около 88% в качестве асимптотически эффективной оценки оценки максимального правдоподобия. [20] Когда метод Ньютона используется для поиска решения для оценки максимального правдоподобия, статистика среднего порядка 24% может использоваться в качестве начального решения для .

Форму можно оценить с помощью медианы абсолютных значений, поскольку для местоположения 0 переменных Коши параметр формы .

Многомерное распределение Коши

Говорят, что случайный вектор имеет многомерное распределение Коши, если каждая линейная комбинация его компонентов имеет распределение Коши. То есть для любого постоянного вектора случайная величина должна иметь одномерное распределение Коши. [25] Характеристическая функция многомерного распределения Коши определяется выражением:

где и — вещественные функции с однородной функцией первой степени и положительной однородной функцией первой степени. [25] Более формально: [25]

для всех .

Пример двумерного распределения Коши может быть дан следующим образом: [26]

Обратите внимание, что в этом примере, хотя ковариация между и равна 0, они не являются статистически независимыми . [26]

Мы также можем написать эту формулу для комплексной переменной. Тогда функция плотности вероятности комплексного Коши равна:

Подобно тому, как стандартное распределение Коши представляет собой t-распределение Стьюдента с одной степенью свободы, многомерная плотность Коши представляет собой многомерное распределение Стьюдента с одной степенью свободы. Плотность распределения Стьюдента по измерению с одной степенью свободы равна:

Тогда свойства многомерного распределения Коши являются частными случаями многомерного распределения Стьюдента.

Свойства трансформации

Мера Леви

Распределение Коши представляет собой стабильное распределение индекса 1. Представление Леви – Хинчина такого стабильного распределения параметра определяется следующим образом:

где

и может быть выражено явно. [29] В случае распределения Коши имеем .

Последнее представление является следствием формулы

Связанные дистрибутивы

Релятивистское распределение Брейта – Вигнера

В физике ядра и элементарных частиц энергетический профиль резонанса описывается релятивистским распределением Брейта-Вигнера , а распределение Коши является (нерелятивистским) распределением Брейта-Вигнера. [ нужна цитата ]

Возникновение и применение

Подобрано кумулятивное распределение Коши для максимального количества осадков за один день с использованием CumFreq , см. также подбор распределения [32]

Смотрите также

Рекомендации

  1. ^ abc Н.Л. Джонсон; С. Коц; Н. Балакришнан (1994). Непрерывные одномерные распределения, Том 1 . Нью-Йорк: Уайли., Глава 16.
  2. Коши и ведьма Аньези в «Статистике на столе» , С.М. Стиглер, Гарвард, 1999, глава 18.
  3. ^ Феллер, Уильям (1971). Введение в теорию вероятностей и ее приложения, том II (2-е изд.). Нью-Йорк: John Wiley & Sons Inc., стр. 704. ISBN. 978-0-471-25709-7.
  4. ^ Райли, Кен Ф.; Хобсон, Майкл П.; Бенс, Стивен Дж. (2006). Математические методы в физике и технике (3-е изд.). Кембридж, Великобритания: Издательство Кембриджского университета. стр. 1333. ISBN. 978-0-511-16842-0.
  5. ^ Балакришнан, Н.; Неврозов В.Б. (2003). Учебник по статистическим распределениям (1-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons Inc., стр. 305. ISBN 0-471-42798-5.
  6. ^ Пиллаи Н.; Мэн, XL (2016). «Неожиданная встреча с Коши и Леви». Анналы статистики . 44 (5): 2089–2097. arXiv : 1505.01957 . дои : 10.1214/15-AOS1407. S2CID  31582370.
  7. ^ Кэмпбелл Б. Рид; Н. Балакришнан; Брани Видакович; Сэмюэл Коц (2006). Энциклопедия статистических наук (2-е изд.). Джон Уайли и сыновья . п. 778. ИСБН 978-0-471-15044-2.
  8. ^ Найт, Франк Б. (1976). «Характеристика типа Коши». Труды Американского математического общества . 55 (1): 130–135. дои : 10.2307/2041858 . JSTOR  2041858.
  9. ^ «Обновления центрального предела Коши» . Квантовое исчисление . 13 ноября 2022 г. Проверено 21 июня 2023 г.
  10. ^ Фредерик, Чизак; Нильсен, Франк (2019). «Формула в замкнутой форме для расхождения Кульбака-Лейблера между распределениями Коши». arXiv : 1905.10965 [cs.IT].
  11. ^ Нильсен, Фрэнк; Окамура, Кадзуки (2023). «О f-расхождениях между распределениями Коши». Транзакции IEEE по теории информации . 69 (5): 3150–3171. arXiv : 2101.12459 . дои : 10.1109/TIT.2022.3231645. S2CID  231728407.
  12. ^ Васичек, Олдрич (1976). «Тест на нормальность, основанный на энтропии выборки». Журнал Королевского статистического общества, серия B. 38 (1): 54–59.
  13. ^ Пак, Сон Ю.; Бера, Анил К. (2009). «Модель условной гетероскедастичности авторегрессии с максимальной энтропией» (PDF) . Журнал эконометрики . Эльзевир. 150 (2): 219–230. doi :10.1016/j.jeconom.2008.12.014. Архивировано из оригинала (PDF) 30 сентября 2011 г. Проверено 2 июня 2011 г.
  14. ^ аб Кайл Зигрист. «Распределение Коши». Случайный . Архивировано из оригинала 9 июля 2021 года . Проверено 5 июля 2021 г.
  15. ^ Хампель, Франк (1998), «Слишком ли сложна статистика?» (PDF) , Канадский статистический журнал , 26 (3): 497–513, doi : 10.2307/3315772, hdl : 20.500.11850/145503 , JSTOR  3315772, S2CID  53117661, заархивировано из оригинала 25 января 2022 г. , получено 2019-09-25.
  16. ^ «Иллюстрация нестабильности выборочных средних». Архивировано из оригинала 24 марта 2017 г. Проверено 22 ноября 2014 г.
  17. ^ Кейн, Гвенда Дж. (1974). «Линейная оценка параметров распределения Коши на основе выборочных квантилей». Журнал Американской статистической ассоциации . 69 (345): 243–245. дои : 10.1080/01621459.1974.10480163. JSTOR  2285535.
  18. ^ Чжан, Цзинь (2010). «Высокоэффективная L-оценка параметра местоположения распределения Коши». Вычислительная статистика . 25 (1): 97–105. дои : 10.1007/s00180-009-0163-y. S2CID  123586208.
  19. ^ аб Ротенберг, Томас Дж.; Фишер, Франклин, М.; Тиланус, CB (1964). «Заметки об оценке по выборке Коши». Журнал Американской статистической ассоциации . 59 (306): 460–463. дои : 10.1080/01621459.1964.10482170.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  20. ^ abcd Блох, Дэниел (1966). «Заметка об оценке параметров местоположения распределения Коши». Журнал Американской статистической ассоциации . 61 (316): 852–855. дои : 10.1080/01621459.1966.10480912. JSTOR  2282794.
  21. ^ аб Фергюсон, Томас С. (1978). «Оценки максимального правдоподобия параметров распределения Коши для выборок размера 3 и 4». Журнал Американской статистической ассоциации . 73 (361): 211–213. дои : 10.1080/01621459.1978.10480031. JSTOR  2286549.
  22. ^ Коэн Фрой, Габриэлла В. (2007). «Оценка Питмана параметра местоположения Коши» (PDF) . Журнал статистического планирования и выводов . 137 (6): 1901. doi :10.1016/j.jspi.2006.05.002. Архивировано из оригинала (PDF) 16 августа 2011 г.
  23. ^ Уилкокс, Рэнд (2012). Введение в робастную оценку и проверку гипотез . Эльзевир.
  24. ^ Барнетт, В.Д. (1966). «Оценщики статистики порядка расположения распределения Коши». Журнал Американской статистической ассоциации . 61 (316): 1205–1218. дои : 10.1080/01621459.1966.10482205. JSTOR  2283210.
  25. ^ abc Фергюсон, Томас С. (1962). «Представление симметричного двумерного распределения Коши». Анналы математической статистики . 33 (4): 1256–1266. дои : 10.1214/aoms/1177704357 . JSTOR  2237984 . Проверено 7 января 2017 г.
  26. ^ аб Моленбергс, Герт; Лесаффр, Эммануэль (1997). «Нелинейные интегральные уравнения для аппроксимации двумерных плотностей с заданными маргинальными значениями и функцией зависимости» (PDF) . Статистика Синица . 7 : 713–738. Архивировано из оригинала (PDF) 14 сентября 2009 г.
  27. ^ Лемонс, Дон С. (2002), «Введение в стохастические процессы в физике», Американский журнал физики , Издательство Университета Джонса Хопкинса, 71 (2): 35, Бибкод : 2003AmJPh..71..191L, doi : 10.1119/1.1526134, ISBN 0-8018-6866-1
  28. ^ Аб МакКаллах, П. , «Условный вывод и модели Коши», Biometrika , том 79 (1992), страницы 247–259. PDF-файл. Архивировано 10 июня 2010 г. в Wayback Machine с домашней страницы МакКалла.
  29. ^ Киприану, Андреас (2009). Процессы Леви и ветвящиеся процессы с непрерывным состоянием: часть I (PDF) . п. 11. Архивировано (PDF) из оригинала 3 марта 2016 г. Проверено 4 мая 2016 г.
  30. ^ Э. Хехт (1987). Оптика (2-е изд.). Аддисон-Уэсли . п. 603.
  31. ^ Уайт, Дж. С. (декабрь 1958 г.). «Предельное распределение серийного коэффициента корреляции во взрывоопасном случае». Анналы математической статистики . 29 (4): 1188–1197. дои : 10.1214/aoms/1177706450 .
  32. ^ «CumFreq, бесплатное программное обеспечение для кумулятивного частотного анализа и подбора распределения вероятностей» . Архивировано из оригинала 21 февраля 2018 г.
  33. ^ Галл, С.Ф. (1988) Байесовский индуктивный вывод и максимальная энтропия. Академическое издательство Kluwer, Берлин. https://doi.org/10.1007/978-94-009-3049-0_4. Архивировано 25 января 2022 г. в Wayback Machine.
  34. ^ Тонг Лю (2012), Промежуточное распределение между распределениями Гаусса и Коши. https://arxiv.org/pdf/1208.5109.pdf. Архивировано 24 июня 2020 г. в Wayback Machine.

Внешние ссылки