Распределение Коши , названное в честь Огюстена Коши , представляет собой непрерывное распределение вероятностей . Оно также известно, особенно среди физиков , как распределение Лоренца (по имени Хендрика Лоренца ), распределение Коши–Лоренца , функция Лоренца (иан) или распределение Брейта–Вигнера . Распределение Коши — это распределение точки пересечения оси x луча, исходящего из под равномерно распределенным углом. Это также распределение отношения двух независимых нормально распределенных случайных величин со средним нулевым значением.
Распределение Коши часто используется в статистике как канонический пример « патологического » распределения, поскольку и его ожидаемое значение , и его дисперсия не определены (но см. § Моменты ниже). Распределение Коши не имеет конечных моментов порядка больше или равного единице; существуют только дробные абсолютные моменты. [1] Распределение Коши не имеет функции, производящей момент .
Функция, имеющая форму функции плотности распределения Коши, была геометрически изучена Ферма в 1659 году, а позже была известна как ведьма Аньези , после того как Аньези включила ее в качестве примера в свой учебник по исчислению 1748 года. Несмотря на свое название, первый явный анализ свойств распределения Коши был опубликован французским математиком Пуассоном в 1824 году, причем Коши стал ассоциироваться с ним только во время академической полемики в 1853 году. [2] Пуассон заметил, что если среднее значение наблюдений После того, как было взято такое распределение, средняя ошибка [ требуется дальнейшее объяснение ] не сходилась к какому-либо конечному числу. Таким образом, использование Лапласом центральной предельной теоремы для такого распределения было неуместным, поскольку предполагало конечное среднее значение и дисперсию. Несмотря на это, Пуассон не считал этот вопрос важным, в отличие от Бьенеме , которому предстояло вовлечь Коши в длительный спор по этому поводу.
Конструкции
Вот самые важные конструкции.
Вращательная симметрия
Если кто-то стоит перед линией и пинает мяч в случайном направлении (точнее, под углом) равномерно и случайно по направлению к линии, то распределение точки, в которой мяч попадает на линию, является распределением Коши.
Более формально, рассмотрим точку at в плоскости xy и выберем линию, проходящую через эту точку, причем ее направление (угол с осью -) будет выбрано равномерно (от -90° до +90°) случайным образом. Пересечение линии с осью X представляет собой распределение Коши с местоположением и масштабом .
Это определение дает простой способ выборки из стандартного распределения Коши. Пусть это выборка из равномерного распределения из , тогда мы можем сгенерировать выборку из стандартного распределения Коши, используя
Максимальное значение или амплитуда PDF Коши находится в точке .
Иногда удобно выразить PDF через комплексный параметр
Частный случай, когда и называется стандартным распределением Коши с функцией плотности вероятности [4] [5]
В физике часто используется трехпараметрическая функция Лоренца:
где высота вершины. Указанная трехпараметрическая функция Лоренца, вообще говоря, не является функцией плотности вероятности, поскольку она не интегрируется до 1, за исключением особого случая, когда
Отсюда следует, что первый и третий квартили равны , а значит, и межквартильный размах равен .
Для стандартного распределения кумулятивная функция распределения упрощается до функции арктангенса :
Другие конструкции
Стандартное распределение Коши представляет собой t -распределение Стьюдента с одной степенью свободы, поэтому его можно построить любым методом, позволяющим построить t-распределение Стьюдента.
Если - положительно-полуопределенная ковариационная матрица со строго положительными диагональными элементами, то для независимых и одинаково распределенных и любого случайного -вектора , независимого от и такого, что и (определяющее категориальное распределение ), справедливо то, что
[6]
Характеристики
Распределение Коши является примером распределения, для которого не определены среднее значение , дисперсия или более высокие моменты . Его мода и медиана четко определены и равны .
Если это выборки IID из стандартного распределения Коши, то их выборочное среднее также является стандартным распределением Коши. В частности, среднее значение не сходится к среднему, и поэтому стандартное распределение Коши не подчиняется закону больших чисел.
Это можно доказать путем повторного интегрирования с PDF или, что более удобно, с помощью характеристической функции стандартного распределения Коши (см. ниже):
В более общем смысле, если они независимы и распределены Коши с параметрами местоположения и масштабами и являются действительными числами, то распределены Коши с местоположением и масштабом . Мы видим, что не существует закона больших чисел для любой взвешенной суммы независимых распределений Коши.
Это показывает, что условие конечной дисперсии в центральной предельной теореме нельзя отбросить. Это также пример более обобщенной версии центральной предельной теоремы, характерной для всех устойчивых распределений , частным случаем которых является распределение Коши.
Центральная предельная теорема
Если выборки IID с PDF конечны , но ненулевые, то сходятся по распределению к распределению Коши с масштабом . [9]
Характеристическая функция
Пусть обозначает случайную величину, распределенную Коши. Характеристическая функция распределения Коши определяется выражением
что представляет собой преобразование Фурье плотности вероятности. Исходная плотность вероятности может быть выражена через характеристическую функцию, по существу, с помощью обратного преобразования Фурье:
n - й момент распределения является n- й производной характеристической функции, оцененной при . Обратите внимание, что характеристическая функция не дифференцируема в начале координат: это соответствует тому, что распределение Коши не имеет четко определенных моментов выше нулевого момента.
Расхождение Кульбака-Лейблера
Расхождение Кульбака – Лейблера между двумя распределениями Коши имеет следующую симметричную формулу в замкнутой форме: [10]
Распределение Коши обычно используется в качестве наглядного контрпримера в курсах элементарных вероятностей как распределение без четко определенных (или «неопределенных») моментов.
Примеры моментов
Если мы возьмем выборки IID из стандартного распределения Коши, то последовательность их выборочного среднего будет , которая также имеет стандартное распределение Коши. Следовательно, сколько бы членов мы ни взяли, выборочное среднее не сходится.
Аналогично, выборочная дисперсия также не сходится.
Типичная траектория выглядит как длительные периоды медленного сближения к нулю, перемежающиеся большими скачками от нуля, но никогда не уходящие слишком далеко. Типичная траектория выглядит аналогично, но скачки накапливаются быстрее, чем затухание, расходясь в бесконечность. Эти два вида траекторий изображены на рисунке.
Моменты выборки ниже порядка 1 будут сходиться к нулю. Моменты выборки выше порядка 2 будут расходиться до бесконечности даже быстрее, чем дисперсия выборки.
Мы можем вычислить этот двусторонний несобственный интеграл , вычислив сумму двух односторонних несобственных интегралов. То есть,
для произвольного действительного числа .
Чтобы интеграл существовал (даже как бесконечное значение), хотя бы одно из слагаемых этой суммы должно быть конечным, либо оба должны быть бесконечными и иметь одинаковый знак. Но в случае распределения Коши оба слагаемых в этой сумме ( 2 ) бесконечны и имеют противоположные знаки. Следовательно, ( 1 ) не определено, а значит, и среднее значение. [14]
Обратите внимание, что главное значение Коши среднего значения распределения Коши равно
Определены абсолютные моменты для . Потому что у нас есть
Высшие моменты
Распределение Коши не имеет конечных моментов любого порядка. Некоторые из высших необработанных моментов действительно существуют и имеют значение бесконечности, например, необработанный второй момент:
Переставив формулу, можно увидеть, что второй момент по сути представляет собой бесконечный интеграл от константы (здесь 1). Необработанные моменты с более высокой равномерной мощностью также будут оцениваться до бесконечности. Однако сырые моменты с нечетной силой не определены, что заметно отличается от существования со значением бесконечности. Необработанные моменты нечетной степени не определены, поскольку их значения по существу эквивалентны, поскольку две половины интеграла расходятся и имеют противоположные знаки. Первый необработанный момент — это среднее значение, которое, будучи странным, не существует. (См. также обсуждение этого вопроса выше.) Это, в свою очередь, означает, что все центральные моменты и стандартизированные моменты не определены, поскольку все они основаны на среднем значении. Дисперсия, которая является вторым центральным моментом, также не существует (несмотря на то, что исходный второй момент существует со значением бесконечности).
Результаты для более высоких моментов следуют из неравенства Гёльдера , которое означает, что более высокие моменты (или половины моментов) расходятся, если это делают более низкие.
Моменты усеченных распределений
Рассмотрим усеченное распределение , определенное путем ограничения стандартного распределения Коши интервалом [−10 100 , 10 100 ] . Такое усеченное распределение имеет все моменты (и центральная предельная теорема применима к наблюдениям из него); однако почти во всех практических целях оно ведет себя как распределение Коши. [15]
Оценка параметров
Поскольку параметры распределения Коши не соответствуют среднему значению и дисперсии, попытка оценить параметры распределения Коши с использованием выборочного среднего и выборочной дисперсии не увенчается успехом. [16] Например, если iid-выборка размером n берется из распределения Коши, среднее выборочное значение можно рассчитать как:
Хотя значения выборки будут сосредоточены вокруг центрального значения , среднее значение выборки будет становиться все более изменчивым по мере увеличения количества наблюдений из-за увеличения вероятности встретить точки выборки с большим абсолютным значением. Фактически распределение выборочного среднего будет равно распределению самих наблюдений; т. е. выборочное среднее большой выборки не является лучшим (или худшим) средством оценки, чем любое отдельное наблюдение из выборки. Аналогичным образом, вычисление выборочной дисперсии приведет к тому, что значения будут увеличиваться по мере увеличения количества наблюдений.
Следовательно, необходимы более надежные средства оценки центрального значения и параметра масштабирования . Один простой метод состоит в том, чтобы взять медианное значение выборки в качестве оценки и половину межквартильного размаха выборки в качестве оценки . Были разработаны другие, более точные и надежные методы [17] [18] Например, усеченное среднее средних 24% статистики порядка выборки дает оценку, которая более эффективна, чем использование медианы выборки или полной выборки. иметь в виду. [19] [20] Однако из-за «толстых хвостов » распределения Коши эффективность оценки снижается, если используется более 24% выборки. [19] [20]
Максимальное правдоподобие также можно использовать для оценки параметров и . Однако это имеет тенденцию усложняться тем фактом, что для этого требуется найти корни полинома высокой степени, и может быть несколько корней, которые представляют локальные максимумы. [21] Кроме того, хотя оценка максимального правдоподобия асимптотически эффективна, она относительно неэффективна для небольших выборок. [22] [23] Логарифмическая функция правдоподобия для распределения Коши для размера выборки :
Максимизация логарифмической функции правдоподобия по отношению к первой производной и путем ее получения дает следующую систему уравнений:
Обратите внимание, что
является монотонной функцией и что решение должно удовлетворять
Решение только для требует решения полинома степени , [21] и решение только для требует решения многочлена степени . Следовательно, независимо от того, решаете ли вы один параметр или оба параметра одновременно, обычно требуется численное решение на компьютере. Преимущество оценки максимального правдоподобия заключается в асимптотической эффективности; оценка с использованием выборочной медианы лишь примерно на 81% асимптотически эффективна, как оценка по максимальному правдоподобию. [20] [24] Усеченное выборочное среднее с использованием статистики среднего порядка 24% составляет около 88% в качестве асимптотически эффективной оценки оценки максимального правдоподобия. [20] Когда метод Ньютона используется для поиска решения для оценки максимального правдоподобия, статистика среднего порядка 24% может использоваться в качестве начального решения для .
Форму можно оценить с помощью медианы абсолютных значений, поскольку для местоположения 0 переменных Коши параметр формы .
Многомерное распределение Коши
Говорят, что случайный вектор имеет многомерное распределение Коши, если каждая линейная комбинация его компонентов имеет распределение Коши. То есть для любого постоянного вектора случайная величина должна иметь одномерное распределение Коши. [25] Характеристическая функция многомерного распределения Коши определяется выражением:
где и — вещественные функции с однородной функцией первой степени и положительной однородной функцией первой степени. [25] Более формально: [25]
для всех .
Пример двумерного распределения Коши может быть дан следующим образом: [26]
Обратите внимание, что в этом примере, хотя ковариация между и равна 0, они не являются статистически независимыми . [26]
Мы также можем написать эту формулу для комплексной переменной. Тогда функция плотности вероятности комплексного Коши равна:
Подобно тому, как стандартное распределение Коши представляет собой t-распределение Стьюдента с одной степенью свободы, многомерная плотность Коши представляет собой многомерное распределение Стьюдента с одной степенью свободы. Плотность распределения Стьюдента по измерению с одной степенью свободы равна:
Тогда свойства многомерного распределения Коши являются частными случаями многомерного распределения Стьюдента.
Приложения распределения Коши или его преобразования можно найти в областях, работающих с экспоненциальным ростом. В статье Уайта 1958 года [31] была получена тестовая статистика для оценок уравнения , и где оценка максимального правдоподобия находится с использованием обычных наименьших квадратов, показано, что выборочное распределение статистики представляет собой распределение Коши.
Распределение Коши часто представляет собой распределение наблюдений за вращающимися объектами. Классическая ссылка на это называется проблемой маяка Чайки [33] и, как указано в предыдущем разделе, распределением Брейта-Вигнера в физике элементарных частиц.
В гидрологии распределение Коши применяется к экстремальным явлениям, таким как годовое максимальное количество осадков за один день и речной сток. Синее изображение иллюстрирует пример подбора распределения Коши к ранжированному максимальному месячному количеству осадков за один день, демонстрируя также 90%-ный доверительный интервал , основанный на биномиальном распределении . Данные об осадках представлены в виде координат на графике в рамках кумулятивного частотного анализа .
Выражение для мнимой части комплексной электрической проницаемости согласно модели Лоренца представляет собой распределение Коши.
^ abc Н.Л. Джонсон; С. Коц; Н. Балакришнан (1994). Непрерывные одномерные распределения, Том 1 . Нью-Йорк: Уайли., Глава 16.
↑ Коши и ведьма Аньези в «Статистике на столе» , С.М. Стиглер, Гарвард, 1999, глава 18.
^ Феллер, Уильям (1971). Введение в теорию вероятностей и ее приложения, том II (2-е изд.). Нью-Йорк: John Wiley & Sons Inc., стр. 704. ISBN.978-0-471-25709-7.
^ Райли, Кен Ф.; Хобсон, Майкл П.; Бенс, Стивен Дж. (2006). Математические методы в физике и технике (3-е изд.). Кембридж, Великобритания: Издательство Кембриджского университета. стр. 1333. ISBN.978-0-511-16842-0.
^ Балакришнан, Н.; Неврозов В.Б. (2003). Учебник по статистическим распределениям (1-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons Inc., стр. 305. ISBN0-471-42798-5.
^ Пиллаи Н.; Мэн, XL (2016). «Неожиданная встреча с Коши и Леви». Анналы статистики . 44 (5): 2089–2097. arXiv : 1505.01957 . дои : 10.1214/15-AOS1407. S2CID 31582370.
^ «Обновления центрального предела Коши» . Квантовое исчисление . 13 ноября 2022 г. Проверено 21 июня 2023 г.
^ Фредерик, Чизак; Нильсен, Франк (2019). «Формула в замкнутой форме для расхождения Кульбака-Лейблера между распределениями Коши». arXiv : 1905.10965 [cs.IT].
^ Нильсен, Фрэнк; Окамура, Кадзуки (2023). «О f-расхождениях между распределениями Коши». Транзакции IEEE по теории информации . 69 (5): 3150–3171. arXiv : 2101.12459 . дои : 10.1109/TIT.2022.3231645. S2CID 231728407.
^ Васичек, Олдрич (1976). «Тест на нормальность, основанный на энтропии выборки». Журнал Королевского статистического общества, серия B. 38 (1): 54–59.
^ Пак, Сон Ю.; Бера, Анил К. (2009). «Модель условной гетероскедастичности авторегрессии с максимальной энтропией» (PDF) . Журнал эконометрики . Эльзевир. 150 (2): 219–230. doi :10.1016/j.jeconom.2008.12.014. Архивировано из оригинала (PDF) 30 сентября 2011 г. Проверено 2 июня 2011 г.
^ аб Кайл Зигрист. «Распределение Коши». Случайный . Архивировано из оригинала 9 июля 2021 года . Проверено 5 июля 2021 г.
^ Хампель, Франк (1998), «Слишком ли сложна статистика?» (PDF) , Канадский статистический журнал , 26 (3): 497–513, doi : 10.2307/3315772, hdl : 20.500.11850/145503 , JSTOR 3315772, S2CID 53117661, заархивировано из оригинала 25 января 2022 г. , получено 2019-09-25.
^ «Иллюстрация нестабильности выборочных средних». Архивировано из оригинала 24 марта 2017 г. Проверено 22 ноября 2014 г.
^ Кейн, Гвенда Дж. (1974). «Линейная оценка параметров распределения Коши на основе выборочных квантилей». Журнал Американской статистической ассоциации . 69 (345): 243–245. дои : 10.1080/01621459.1974.10480163. JSTOR 2285535.
^ аб Ротенберг, Томас Дж.; Фишер, Франклин, М.; Тиланус, CB (1964). «Заметки об оценке по выборке Коши». Журнал Американской статистической ассоциации . 59 (306): 460–463. дои : 10.1080/01621459.1964.10482170.{{cite journal}}: CS1 maint: multiple names: authors list (link)
^ abcd Блох, Дэниел (1966). «Заметка об оценке параметров местоположения распределения Коши». Журнал Американской статистической ассоциации . 61 (316): 852–855. дои : 10.1080/01621459.1966.10480912. JSTOR 2282794.
^ аб Фергюсон, Томас С. (1978). «Оценки максимального правдоподобия параметров распределения Коши для выборок размера 3 и 4». Журнал Американской статистической ассоциации . 73 (361): 211–213. дои : 10.1080/01621459.1978.10480031. JSTOR 2286549.
^ Коэн Фрой, Габриэлла В. (2007). «Оценка Питмана параметра местоположения Коши» (PDF) . Журнал статистического планирования и выводов . 137 (6): 1901. doi :10.1016/j.jspi.2006.05.002. Архивировано из оригинала (PDF) 16 августа 2011 г.
^ Уилкокс, Рэнд (2012). Введение в робастную оценку и проверку гипотез . Эльзевир.
^ Барнетт, В.Д. (1966). «Оценщики статистики порядка расположения распределения Коши». Журнал Американской статистической ассоциации . 61 (316): 1205–1218. дои : 10.1080/01621459.1966.10482205. JSTOR 2283210.
^ abc Фергюсон, Томас С. (1962). «Представление симметричного двумерного распределения Коши». Анналы математической статистики . 33 (4): 1256–1266. дои : 10.1214/aoms/1177704357 . JSTOR 2237984 . Проверено 7 января 2017 г.
^ аб Моленбергс, Герт; Лесаффр, Эммануэль (1997). «Нелинейные интегральные уравнения для аппроксимации двумерных плотностей с заданными маргинальными значениями и функцией зависимости» (PDF) . Статистика Синица . 7 : 713–738. Архивировано из оригинала (PDF) 14 сентября 2009 г.
^ Лемонс, Дон С. (2002), «Введение в стохастические процессы в физике», Американский журнал физики , Издательство Университета Джонса Хопкинса, 71 (2): 35, Бибкод : 2003AmJPh..71..191L, doi : 10.1119/1.1526134, ISBN0-8018-6866-1
^ Аб МакКаллах, П. , «Условный вывод и модели Коши», Biometrika , том 79 (1992), страницы 247–259. PDF-файл. Архивировано 10 июня 2010 г. в Wayback Machine с домашней страницы МакКалла.
^ Киприану, Андреас (2009). Процессы Леви и ветвящиеся процессы с непрерывным состоянием: часть I (PDF) . п. 11. Архивировано (PDF) из оригинала 3 марта 2016 г. Проверено 4 мая 2016 г.
^ Э. Хехт (1987). Оптика (2-е изд.). Аддисон-Уэсли . п. 603.
^ Уайт, Дж. С. (декабрь 1958 г.). «Предельное распределение серийного коэффициента корреляции во взрывоопасном случае». Анналы математической статистики . 29 (4): 1188–1197. дои : 10.1214/aoms/1177706450 .
^ «CumFreq, бесплатное программное обеспечение для кумулятивного частотного анализа и подбора распределения вероятностей» . Архивировано из оригинала 21 февраля 2018 г.
^ Галл, С.Ф. (1988) Байесовский индуктивный вывод и максимальная энтропия. Академическое издательство Kluwer, Берлин. https://doi.org/10.1007/978-94-009-3049-0_4. Архивировано 25 января 2022 г. в Wayback Machine.
^ Тонг Лю (2012), Промежуточное распределение между распределениями Гаусса и Коши. https://arxiv.org/pdf/1208.5109.pdf. Архивировано 24 июня 2020 г. в Wayback Machine.