Квантильная функция

Статистическая функция, определяющая квантили распределения вероятностей.

Пробит — это квантильная функция нормального распределения .

В вероятности и статистике функция квантиля выводит значение случайной величины так, что ее вероятность меньше или равна входному значению вероятности. Интуитивно понятно, что функция квантиля связывает с диапазоном на уровне вероятностного входа и ниже вероятность того, что случайная величина реализуется в этом диапазоне для некоторого распределения вероятностей. Ее также называют процентильной функцией (после процентиля ), процентной функцией или обратной кумулятивной функцией распределения (после кумулятивной функции распределения ).

Определение

Строго монотонная функция распределения

Что касается непрерывной и строго монотонной кумулятивной функции распределения случайной величины X , функция квантиля отображает свой вход p в пороговое значение x так, что вероятность того, что X будет меньше или равна x, равна p . С точки зрения функции распределения F функция квантиля Q возвращает значение x такое, что ${\displaystyle F_{X}\colon \mathbb {R} \to [0,1]}$ ${\displaystyle Q\colon [0,1]\to \mathbb {R} }$

${\displaystyle F_{X}(x):=\Pr(X\leq x)=p\,,}$

который можно записать как обратный cdf

${\displaystyle Q(p)=F_{X}^{-1}(p)\,.}$

Кумулятивная функция распределения (показанная как F(x) ) дает значения p как функцию значений q . Функция квантиля делает противоположное: она дает значения q как функцию значений p . Обратите внимание, что часть F(x), выделенная красным, представляет собой горизонтальный отрезок.

Общая функция распределения

В общем случае функций распределения, которые не являются строго монотонными и, следовательно, не допускают обратного cdf , квантиль представляет собой (потенциально) многозначный функционал функции распределения F , заданный интервалом ^[1]

${\displaystyle Q(p)\ =\ {\boldsymbol {\biggl [}}\ \sup \left\{x\colon F(x)<p\right\}\ {\boldsymbol {,}}\ \sup \left\{x\colon F(x)\leq p\right\}\ {\boldsymbol {\biggr ]}}~.}$

Часто стандартно выбирают наименьшее значение, которое эквивалентно можно записать как (с использованием непрерывности справа F )

${\displaystyle Q(p)\ =\ \inf \left\{\ x\in \mathbb {R} \ :\ p\leq F(x)\ \right\}~.}$

Здесь мы фиксируем тот факт, что функция квантиля возвращает минимальное значение x среди всех тех значений, значение cdf которых превышает p , что эквивалентно предыдущему утверждению о вероятности в особом случае, когда распределение непрерывно. Заметим, что функцию инфимума можно заменить функцией минимума, поскольку функция распределения непрерывна справа и слабо монотонно возрастает.

Квантиль — это единственная функция, удовлетворяющая неравенствам Галуа.

${\displaystyle Q(p)\leq x\quad }$ если и только если ${\displaystyle \quad p\leq F(x)~.}$

Если функция F непрерывна и строго монотонно возрастает, то неравенства можно заменить равенствами, и мы имеем:

${\displaystyle Q=F^{-1}}$

В общем, даже несмотря на то, что функция распределения F может не обладать левой или правой инверсией , функция квантиля Q ведет себя как «почти наверняка левая инверсия» для функции распределения в том смысле, что

${\displaystyle Q{\bigl (}\ F(X)\ {\bigr )}=X\quad }$ почти наверняка.

Простой пример

Например, кумулятивная функция распределения Экспоненты( λ ) (т.е. интенсивность λ и ожидаемое значение ( среднее значение ) 1/ λ ) равна

${\displaystyle F(x;\lambda )={\begin{cases}1-e^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}}$

Функция квантиля для Exponential( λ ) получается путем нахождения значения Q, для которого : ${\displaystyle 1-e^{-\lambda Q}=p}$

${\displaystyle Q(p;\lambda )={\frac {-\ln(1-p)}{\lambda }},\!}$

для 0 ≤  p  < 1. Таким образом, квартилями являются:

первый квартиль (р = 1/4)

${\displaystyle -\ln(3/4)/\lambda \,}$

медиана (р = 2/4)

${\displaystyle -\ln(1/2)/\lambda \,}$

третий квартиль (р = 3/4)

${\displaystyle -\ln(1/4)/\lambda .\,}$

Приложения

Квантильные функции используются как в статистических приложениях, так и в методах Монте-Карло .

Функция квантиля — это один из способов задания распределения вероятностей, а также альтернатива функции плотности вероятности (pdf) или функции массы вероятности , кумулятивной функции распределения (cdf) и характеристической функции . Функция квантиля Q распределения вероятностей является обратной функцией его кумулятивной функции распределения F . Производная функции квантиля, а именно функция плотности квантиля , является еще одним способом задания распределения вероятностей. Это обратная величина PDF-файла, составленного с помощью функции квантиля.

Рассмотрим статистическое приложение, в котором пользователю необходимо знать ключевые процентные точки данного распределения. Например, им требуются медиана и квартили 25% и 75%, как в приведенном выше примере, или уровни 5%, 95%, 2,5%, 97,5% для других приложений, таких как оценка статистической значимости наблюдения, распределение которого известно; см. запись квантиля . До популяризации компьютеров книги нередко имели приложения со статистическими таблицами, определяющими функцию квантиля. ^[2] Статистические применения квантильных функций широко обсуждаются Гилкристом. ^[3]

В симуляциях Монте-Карло используются функции квантилей для получения неоднородных случайных или псевдослучайных чисел для использования в различных типах симуляционных расчетов. Выборку из заданного распределения в принципе можно получить, применив функцию квантиля к выборке из равномерного распределения. Требования к методам моделирования, например, в современных вычислительных финансах , сосредотачивают все большее внимание на методах, основанных на функциях квантилей, поскольку они хорошо работают с многомерными методами, основанными либо на методах копулы , либо на методах квази-Монте-Карло ^[4] и методах Монте-Карло в финансы .

Расчет

Для оценки квантильных функций часто используются численные методы , такие как экспоненциальное распределение, приведенное выше, которое является одним из немногих распределений, где можно найти выражение в замкнутой форме (другие включают униформу , Вейбулла , лямбду Тьюки (которая включает логистическую ) и лог-логистика ). Когда сам cdf имеет выражение в замкнутой форме, всегда можно использовать числовой алгоритм поиска корня, такой как метод деления пополам, для инвертирования cdf. Другие алгоритмы вычисления функций квантилей приведены в серии книг «Численные рецепты» . Алгоритмы распространенных распределений встроены во многие пакеты статистического программного обеспечения .

Квантильные функции также можно охарактеризовать как решения нелинейных обыкновенных уравнений и уравнений в частных производных . Даны и решены обыкновенные дифференциальные уравнения для случаев нормального , Стьюдентского , бета- и гамма - распределений. ^[5]

Нормальное распределение

Нормальное распределение, возможно, является наиболее важным случаем. Поскольку нормальное распределение представляет собой семейство масштабов местоположения , его функция квантиля для произвольных параметров может быть получена путем простого преобразования функции квантиля стандартного нормального распределения, известной как функция пробита . К сожалению, эта функция не имеет представления в замкнутой форме с использованием основных алгебраических функций; в результате обычно используются приблизительные представления. Тщательные сложные рациональные и полиномиальные аппроксимации были предложены Вичурой ^[6] и Экламом. ^[7] Некомпозитные рациональные аппроксимации были разработаны Шоу. ^[8]

Обыкновенное дифференциальное уравнение для нормального квантиля

Может быть задано нелинейное обыкновенное дифференциальное уравнение для нормального квантиля w ( p ). Это

${\displaystyle {\frac {d^{2}w}{dp^{2}}}=w\left({\frac {dw}{dp}}\right)^{2}}$

с центральными (начальными) условиями

${\displaystyle w\left(1/2\right)=0,\,}$

${\displaystyle w'\left(1/2\right)={\sqrt {2\pi }}.\,}$

Это уравнение можно решить несколькими методами, включая метод классического степенного ряда . На основе этого могут быть получены решения сколь угодно высокой точности (см. Steinbrecher and Shaw, 2008).

t -распределение Стьюдента

Исторически это был один из наиболее трудноразрешимых случаев, поскольку наличие параметра ν, степеней свободы, затрудняет использование рациональных и других приближений. Простые формулы существуют, когда ν = 1, 2, 4, и проблема может быть сведена к решению многочлена, когда ν четно. В других случаях квантильные функции могут быть представлены в виде степенных рядов. ^[9] Простыми случаями являются следующие:

ν = 1 (распределение Коши)

${\displaystyle Q(p)=\tan(\pi (p-1/2))\!}$

ν = 2

${\displaystyle Q(p)=2(p-1/2){\sqrt {\frac {2}{\alpha }}}\!}$

ν = 4

${\displaystyle Q(p)=\operatorname {sign} (p-1/2)\,2\,{\sqrt {q-1}}\!}$

где

${\displaystyle q={\frac {\cos \left({\frac {1}{3}}\arccos \left({\sqrt {\alpha }}\,\right)\right)}{\sqrt {\alpha }}}\!}$

и

${\displaystyle \alpha =4p(1-p).\!}$

В приведенном выше примере функция «знак» равна +1 для положительных аргументов, −1 для отрицательных аргументов и нулю в нуле. Ее не следует путать с тригонометрической функцией синуса.

Квантильные смеси

Аналогично смесям плотностей распределения можно определить как смеси квантилей.

${\displaystyle Q(p)=\sum _{i=1}^{m}a_{i}Q_{i}(p)}$,

где , – функции квантиля и , – параметры модели. Параметры должны быть выбраны так, чтобы это была функция квантиля. Две четырехпараметрические смеси квантилей, смесь квантилей с нормальным полиномом и смесь квантилей с полиномом Коши, представлены Карваненом. ^[10] ${\displaystyle Q_{i}(p)}$ ${\displaystyle i=1,\ldots ,m}$ ${\displaystyle a_{i}}$ ${\displaystyle i=1,\ldots ,m}$ ${\displaystyle a_{i}}$ ${\displaystyle Q(p)}$

Нелинейные дифференциальные уравнения для функций квантиля

Нелинейное обыкновенное дифференциальное уравнение, данное для нормального распределения , является частным случаем уравнения, доступного для любой функции квантиля, у которой существует вторая производная. В общем случае можно дать уравнение для квантиля Q ( p ). Это

${\displaystyle {\frac {d^{2}Q}{dp^{2}}}=H(Q)\left({\frac {dQ}{dp}}\right)^{2}}$

дополнен подходящими граничными условиями, где

${\displaystyle H(x)=-{\frac {f'(x)}{f(x)}}=-{\frac {d}{dx}}\ln f(x)}$

и ƒ ( x ) — функция плотности вероятности. Формы этого уравнения и его классический анализ с помощью рядов и асимптотических решений для случаев нормального распределения, распределения Стьюдента, гамма- и бета-распределений были разъяснены Стейнбрехером и Шоу (2008). Такие решения обеспечивают точные эталоны, а в случае Student — подходящую серию для живого использования по методу Монте-Карло.

Смотрите также

• Выборка обратного преобразования
• Процентный пункт
• Интегральное преобразование вероятности
• Квантиль
• Распределение рангов и размеров

Рекомендации

1. Эм, В.; Гнейтинг, Т.; Джордан, А.; Крюгер, Ф. (2016). «О квантилях и ожиданиях: последовательные оценочные функции, представления Шоке и рейтинги прогнозов». JR Стат. Соц. Б. _ 78 (3): 505–562. arXiv : 1503.08195 . дои : 10.1111/rssb.12154 .
2. «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 24 марта 2012 года . Проверено 25 марта 2012 г.{{cite web}}: CS1 maint: archived copy as title (link)
3. Гилкрист, В. (2000). Статистическое моделирование с использованием квантильных функций . ISBN 1-58488-174-7.
4. Джекель, П. (2002). Методы Монте-Карло в финансах .
5. Штайнбрехер, Г., Шоу, WT (2008). «Квантильная механика». Европейский журнал прикладной математики . 19 (2): 87–112. дои : 10.1017/S0956792508007341. S2CID  6899308.{{cite journal}}: CS1 maint: multiple names: authors list (link)
6. Вичура, MJ (1988). «Алгоритм AS241: Процентные точки нормального распределения». Прикладная статистика . Издательство Блэквелл. 37 (3): 477–484. дои : 10.2307/2347330. JSTOR  2347330.
7. Алгоритм вычисления обратной нормальной функции кумулятивного распределения. Архивировано 5 мая 2007 г., в Wayback Machine.
8. Вычислительные финансы: дифференциальные уравнения для переработки Монте-Карло
9. Шоу, WT (2006). «Выборочное Т-распределение Стьюдента - использование обратной кумулятивной функции распределения». Журнал вычислительных финансов . 9 (4): 37–73. дои : 10.21314/JCF.2006.150.
10. Карванен, Дж. (2006). «Оценка квантильных смесей с помощью L-моментов и обрезанных L-моментов». Вычислительная статистика и анализ данных . 51 (2): 947–956. дои : 10.1016/j.csda.2005.09.014.

дальнейшее чтение

• Абернати, Роджер В. и Смит, Роберт П. (1993) * «Применение разложения ряда к обратному бета-распределению для нахождения процентилей F-распределения», ACM Trans. Математика. Программное обеспечение , 9 (4), 478–480 дои : 10.1145/168173.168387
• Уточнение нормального квантиля
• Новые методы управления распределением T «студентов»
• Алгоритм ACM 396: t-квантили Стьюдента