Функция квантиля

Статистическая функция, определяющая квантили распределения вероятностей.

Пробит — это квантильная функция нормального распределения .

В теории вероятности и статистики функция квантиля выводит значение случайной величины , вероятность которого меньше или равна входному значению вероятности. Интуитивно функция квантиля связывает с диапазоном на уровне и ниже входного значения вероятности вероятность того, что случайная величина реализуется в этом диапазоне для некоторого распределения вероятности. Ее также называют процентильной функцией (после процентиля ), процентной точечной функцией , обратной кумулятивной функцией распределения (после кумулятивной функции распределения или cdf) или обратной функцией распределения .

Определение

Строго монотонная функция распределения

Ссылаясь на непрерывную и строго монотонную кумулятивную функцию распределения (cdf) случайной величины X , функция квантиля отображает свой вход p в пороговое значение x так, что вероятность того, что X будет меньше или равно x , равна p . В терминах функции распределения F , функция квантиля Q возвращает значение x, такое что ${\displaystyle F_{X}\colon \mathbb {R} \to [0,1]}$ ${\displaystyle Q\colon [0,1]\to \mathbb {R} }$

${\displaystyle F_{X}(x):=\Pr(X\leq x)=p,}$

что можно записать как обратную функцию cdf

${\displaystyle Q(p)=F_{X}^{-1}(p).}$

Кумулятивная функция распределения (показанная как F ( x )) дает значения p как функцию значений q . Функция квантиля делает противоположное: она дает значения q как функцию значений p . Обратите внимание, что часть F ( x ), выделенная красным, представляет собой горизонтальный отрезок линии.

Общая функция распределения

В общем случае функций распределения, которые не являются строго монотонными и, следовательно, не допускают обратного cdf , квантиль представляет собой (потенциально) заданный функционал функции распределения F , заданный интервалом ^[1]

${\displaystyle Q(p)={\big [}\sup\{x\colon F(x)<p\},\sup\{x\colon F(x)\leq p\}{\big ]}.}$

Часто стандартно выбирают наименьшее значение, которое можно эквивалентно записать как (используя непрерывность справа F )

${\displaystyle Q(p)=\inf\{x\in \mathbb {R} :p\leq F(x)\}.}$

Здесь мы фиксируем тот факт, что функция квантиля возвращает минимальное значение x среди всех тех значений, значение cdf которых превышает p , что эквивалентно предыдущему утверждению о вероятности в частном случае, когда распределение непрерывно. Обратите внимание, что функцию инфимума можно заменить минимальной функцией, поскольку функция распределения непрерывна справа и слабо монотонно возрастает.

Квантиль — это единственная функция, удовлетворяющая неравенствам Галуа

${\displaystyle Q(p)\leq x}$если и только если ${\displaystyle p\leq F(x).}$

Если функция F непрерывна и строго монотонно возрастает, то неравенства можно заменить равенствами, и мы имеем

${\displaystyle Q=F^{-1}.}$

В общем случае, даже если функция распределения F не имеет левой или правой обратной функции , функция квантиля Q ведет себя как «почти наверняка левая обратная» для функции распределения, в том смысле, что

${\displaystyle Q{\bigl (}F(X){\bigr )}=X}$почти наверняка.

Простой пример

Например, кумулятивная функция распределения экспоненты ( λ ) (т.е. интенсивности λ и ожидаемого значения ( среднего ) 1/ λ ) равна

${\displaystyle F(x;\lambda )={\begin{cases}1-e^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}}$

Функция квантиля для Exponential( λ ) выводится путем нахождения значения Q, для которого : ${\displaystyle 1-e^{-\lambda Q}=p}$

${\displaystyle Q(p;\lambda )={\frac {-\ln(1-p)}{\lambda }},}$

для 0 ≤  p  < 1. Таким образом, квартили равны:

первый квартиль ( p = 1/4)

${\displaystyle -\ln(3/4)/\lambda ,}$

медиана ( p = 2/4)

${\displaystyle -\ln(1/2)/\lambda ,}$

третий квартиль ( p = 3/4)

${\displaystyle -\ln(1/4)/\lambda .}$

Приложения

Квантильные функции используются как в статистических приложениях, так и в методах Монте-Карло .

Функция квантиля — это один из способов задания распределения вероятностей, и она является альтернативой функции плотности вероятности (pdf) или функции массы вероятности , кумулятивной функции распределения (cdf) и характеристической функции . Функция квантиля Q распределения вероятностей является обратной функцией ее кумулятивной функции распределения F. Производная функции квантиля, а именно функция плотности квантиля , является еще одним способом задания распределения вероятностей. Она является обратной величиной pdf, составленной с функцией квантиля.

Рассмотрим статистическое приложение, в котором пользователю необходимо знать ключевые процентные точки заданного распределения. Например, им требуются медиана и 25% и 75% квартили, как в примере выше, или уровни 5%, 95%, 2,5%, 97,5% для других приложений, таких как оценка статистической значимости наблюдения, распределение которого известно; см. запись квантиля . До популяризации компьютеров было не редкостью, когда книги имели приложения со статистическими таблицами, выбирающими функцию квантиля. ^[2] Статистические приложения функций квантиля подробно обсуждаются Гилкристом. ^[3]

Моделирование Монте-Карло использует квантильные функции для получения неравномерных случайных или псевдослучайных чисел для использования в различных типах расчетов моделирования. Выборка из заданного распределения может быть получена в принципе путем применения ее квантильной функции к выборке из равномерного распределения. Требования методов моделирования, например, в современных вычислительных финансах , фокусируют все большее внимание на методах, основанных на квантильных функциях, поскольку они хорошо работают с многомерными методами, основанными либо на методах копулы , либо на методах квази-Монте-Карло ^[4] и методах Монте-Карло в финансах .

Расчет

Оценка квантильных функций часто включает численные методы , такие как экспоненциальное распределение выше, которое является одним из немногих распределений, где можно найти выражение в замкнутой форме (другие включают равномерное , Вейбулла , лямбда Тьюки (которое включает логистическое ) и логарифмически-логистическое ). Когда сама cdf имеет выражение в замкнутой форме, всегда можно использовать численный алгоритм нахождения корня, такой как метод бисекции, чтобы инвертировать cdf. Другие методы основаны на приближении обратного с помощью методов интерполяции. ^{[5] [6]} Дополнительные алгоритмы для оценки квантильных функций приведены в серии книг Numerical Recipes . Алгоритмы для общих распределений встроены во многие статистические программные пакеты. Общие методы численного вычисления квантильных функций для общих классов распределений можно найти в следующих библиотеках:

• Библиотека C UNU.RAN ^[7]
• R-библиотека Runuran ^[8]
• Выборка подпакета Python в scipy.stats ^{[9] [10]}

Квантильные функции также могут быть охарактеризованы как решения нелинейных обыкновенных и частных дифференциальных уравнений . Были даны и решены обыкновенные дифференциальные уравнения для случаев нормального , Стьюдента , бета и гамма распределения. ^[11]

Нормальное распределение

Нормальное распределение , возможно, является наиболее важным случаем. Поскольку нормальное распределение является семейством масштаба местоположения , его квантильная функция для произвольных параметров может быть получена из простого преобразования квантильной функции стандартного нормального распределения, известной как функция пробит . К сожалению, эта функция не имеет замкнутого представления с использованием основных алгебраических функций; в результате обычно используются приближенные представления. Тщательные составные рациональные и полиномиальные приближения были даны Вичурой ^[12] и Акламом. ^[13] Несоставные рациональные приближения были разработаны Шоу. ^[14]

Обыкновенное дифференциальное уравнение для нормального квантиля

Может быть задано нелинейное обыкновенное дифференциальное уравнение для нормального квантиля w ( p ). Оно имеет вид

${\displaystyle {\frac {d^{2}w}{dp^{2}}}=w\left({\frac {dw}{dp}}\right)^{2}}$

с центральными (начальными) условиями

${\displaystyle w\left(1/2\right)=0,\,}$

${\displaystyle w'\left(1/2\right)={\sqrt {2\pi }}.\,}$

Это уравнение может быть решено несколькими методами, включая классический подход степенных рядов . Из этого могут быть разработаны решения произвольно высокой точности (см. Steinbrecher and Shaw, 2008).

Студенческийт-распределение

Это исторически было одним из наиболее трудноразрешимых случаев, поскольку наличие параметра ν, степени свободы, делает использование рациональных и других приближений неудобным. Простые формулы существуют, когда ν = 1, 2, 4, и проблема может быть сведена к решению полинома, когда ν четное. В других случаях функции квантилей могут быть развиты как степенные ряды. ^[15] Простые случаи следующие:

ν = 1 (распределение Коши)

${\displaystyle Q(p)=\tan(\pi (p-1/2))\!}$

ν = 2

${\displaystyle Q(p)=2(p-1/2){\sqrt {\frac {2}{\alpha }}}\!}$

ν = 4

${\displaystyle Q(p)=\operatorname {sign} (p-1/2)\,2\,{\sqrt {q-1}}\!}$

где

${\displaystyle q={\frac {\cos \left({\frac {1}{3}}\arccos \left({\sqrt {\alpha }}\,\right)\right)}{\sqrt {\alpha }}}\!}$

и

${\displaystyle \alpha =4p(1-p).\!}$

В приведенном выше примере функция «знака» равна +1 для положительных аргументов, −1 для отрицательных аргументов и нулю при нуле. Ее не следует путать с тригонометрической функцией синуса.

Квантильные смеси

Аналогично смесям плотностей , распределения можно определить как квантильные смеси.

${\displaystyle Q(p)=\sum _{i=1}^{m}a_{i}Q_{i}(p)}$,

где , — квантильные функции, а , — параметры модели. Параметры должны быть выбраны так, чтобы была квантильная функция. Карванен представил две четырехпараметрические квантильные смеси: нормальную полиномиальную квантильную смесь и Коши-полиномиальную квантильную смесь. ^[16] ${\displaystyle Q_{i}(p)}$ ${\displaystyle i=1,\ldots ,m}$ ${\displaystyle a_{i}}$ ${\displaystyle i=1,\ldots ,m}$ ${\displaystyle a_{i}}$ ${\displaystyle Q(p)}$

Нелинейные дифференциальные уравнения для квантильных функций

Нелинейное обыкновенное дифференциальное уравнение, заданное для нормального распределения , является частным случаем уравнения, доступного для любой функции квантиля, вторая производная которой существует. В общем случае уравнение для квантиля, Q ( p ), может быть задано. Оно

${\displaystyle {\frac {d^{2}Q}{dp^{2}}}=H(Q)\left({\frac {dQ}{dp}}\right)^{2}}$

дополненный подходящими граничными условиями, где

${\displaystyle H(x)=-{\frac {f'(x)}{f(x)}}=-{\frac {d}{dx}}\ln f(x)}$

и ƒ ( x ) — функция плотности вероятности. Формы этого уравнения и его классический анализ с помощью рядов и асимптотических решений для случаев нормального, Стьюдента, гамма- и бета-распределений были разъяснены Штейнбрехером и Шоу (2008). Такие решения обеспечивают точные ориентиры, а в случае Стьюдента — подходящие ряды для использования в реальном времени методом Монте-Карло.

Смотрите также

• Обратное преобразование выборки
• Процентный пункт
• Вероятностное интегральное преобразование
• Квантиль
• Распределение ранг-размер

Ссылки

1. Эм, В.; Гнейтинг, Т.; Джордан, А.; Крюгер, Ф. (2016). «О квантилях и ожиданиях: последовательные функции оценки, представления Шоке и прогнозные рейтинги». JR Stat. Soc. B . 78 (3): 505–562. arXiv : 1503.08195 . doi : 10.1111/rssb.12154 .
2. "Архивная копия" (PDF) . Архивировано из оригинала (PDF) 24 марта 2012 г. . Получено 25 марта 2012 г. .{{cite web}}: CS1 maint: архивная копия как заголовок ( ссылка )
3. Гилкрист, В. (2000). Статистическое моделирование с квантильными функциями . Тейлор и Фрэнсис. ISBN 1-58488-174-7.
4. Jaeckel, P. (2002). Методы Монте-Карло в финансах .
5. Hörmann, Wolfgang; Leydold, Josef (2003). «Continuous random variate generation by fast numeric inversion». ACM Transactions on Modeling and Computer Simulation . 13 (4): 347–362. doi :10.1145/945511.945517 . Получено 17 июня 2024 г. – через WU Vienna.
6. Дерфлингер, Герхард; Хёрманн, Вольфганг; Лейдольд, Йозеф (2010). «Генерация случайных величин с помощью численной инверсии, когда известна только плотность». Труды ACM по моделированию и компьютерному моделированию . 20 (4): 1–25. doi :10.1145/1842722.1842723. Статья № 18.
7. "UNU.RAN - Универсальные генераторы случайных чисел с неоднородной последовательностью".
8. «Runuran: R-интерфейс для генераторов случайных величин «UNU.RAN». 17 января 2023 г.
9. «Генераторы случайных чисел (Scipy.stats.sampling) — Руководство SciPy v1.13.0».
10. Баумгартен, Кристоф; Патель, Тирт (2022). «Автоматическая генерация случайных величин в Python». Труды 21-й конференции «Python in Science» . С. 46–51. doi : 10.25080/majora-212e5952-007 .
11. Steinbrecher, G.; Shaw, WT (2008). «Квантильная механика». European Journal of Applied Mathematics . 19 (2): 87–112. doi :10.1017/S0956792508007341. S2CID  6899308.
12. Wichura, MJ (1988). «Алгоритм AS241: процентные точки нормального распределения». Прикладная статистика . 37 (3). Blackwell Publishing: 477–484. doi :10.2307/2347330. JSTOR  2347330.
13. Алгоритм вычисления обратной нормальной кумулятивной функции распределения. Архивировано 5 мая 2007 г. на Wayback Machine.
14. Вычислительные финансы: дифференциальные уравнения для переработки Монте-Карло
15. Шоу, У. Т. (2006). «Выборка распределения Стьюдента T – Использование обратной кумулятивной функции распределения». Журнал вычислительных финансов . 9 (4): 37–73. doi :10.21314/JCF.2006.150.
16. Карванен, Дж. (2006). «Оценка квантильных смесей с помощью L-моментов и усеченных L-моментов». Computational Statistics & Data Analysis . 51 (2): 947–956. doi :10.1016/j.csda.2005.09.014.

Дальнейшее чтение

• Абернати, Роджер В. и Смит, Роберт П. (1993) *"Применение разложения ряда к обратному бета-распределению для нахождения процентилей F-распределения", ACM Trans. Math. Softw. , 9 (4), 478–480 doi :10.1145/168173.168387
• Уточнение нормального квантиля
• Новые методы управления распределением T «Студента»
• Алгоритм ACM 396: t-квантили Стьюдента