Распределение металогов

Трехчленные металоговые распределения

Четырехчленное металог-распределение, когда ${\displaystyle a_{3}=0}$

Распределение металога представляет собой гибкое непрерывное распределение вероятностей, разработанное для простоты использования на практике. Вместе со своими преобразованиями семейство непрерывных распределений металога является уникальным, поскольку оно воплощает все следующие свойства: практически неограниченная гибкость формы; выбор между неограниченными, полуограниченными и ограниченными распределениями; простота подгонки к данным с помощью линейных наименьших квадратов; простые уравнения квантильной функции в замкнутой форме (обратная CDF ), которые облегчают моделирование ; простая PDF в замкнутой форме ; и байесовское обновление в замкнутой форме в свете новых данных. Более того, как и ряд Тейлора , распределения металога могут иметь любое количество членов в зависимости от желаемой степени гибкости формы и других потребностей приложения.

Приложения, в которых металоговые распределения могут быть полезны, обычно включают в себя подгонку эмпирических данных, смоделированных данных или экспертно-выявленных квантилей для сглаживания непрерывных распределений вероятностей. Области применения широки и включают экономику, науку, инженерию и множество других областей. Металоговые распределения, также известные как распределения Килина, были впервые опубликованы в 2016 году ^[1] Томом Килином. ^[2]

История

Историю вероятностных распределений можно рассматривать, отчасти, как прогрессию разработок в направлении большей гибкости в форме и границах при подгонке к данным . Нормальное распределение было впервые опубликовано в 1756 году, ^[3] а теорема Байеса в 1763 году. ^[4] Нормальное распределение заложило основу для большей части развития классической статистики. Напротив, теорема Байеса заложила основу для представлений вероятности, основанных на состоянии информации и убеждениях . Поскольку вероятности, основанные на убеждениях, могут принимать любую форму и могут иметь естественные границы, были необходимы распределения вероятностей, достаточно гибкие, чтобы вместить оба. Более того, многие эмпирические и экспериментальные наборы данных демонстрировали формы, которые не могли хорошо соответствовать нормальным или другим непрерывным распределениям . Так начался поиск непрерывных распределений вероятностей с гибкими формами и границами.

В начале 20-го века семейство распределений Пирсона ^{[5] , которое включает} нормальное , бета , равномерное , гамма , t-распределение Стьюдента , хи-квадрат , F и пять других, ^[6] появилось как крупный шаг вперед в гибкости формы. За ними последовали распределения Джонсона ^{[7] [8]} . Оба семейства могут представлять первые четыре момента данных ( среднее , дисперсия , асимметрия и эксцесс ) с помощью гладких непрерывных кривых. Однако они не способны сопоставлять моменты пятого или более высокого порядка. Более того, для заданной асимметрии и эксцесса нет выбора границ. Например, сопоставление первых четырех моментов набора данных может дать распределение с отрицательной нижней границей, даже если может быть известно, что рассматриваемая величина не может быть отрицательной. Наконец, их уравнения включают трудноразрешимые интегралы и сложные статистические функции, поэтому подгонка к данным обычно требует итерационных методов.

В начале 21 века аналитики решений начали работать над разработкой непрерывных распределений вероятностей, которые бы точно соответствовали любым указанным трем точкам на кумулятивной функции распределения для неопределенной величины (например, выявленные экспертами и квантили). Распределения семейств Пирсона и Джонсона, как правило, были неадекватны для этой цели. Кроме того, аналитики решений также искали распределения вероятностей, которые было бы легко параметризовать с помощью данных (например, с помощью линейных наименьших квадратов или, что эквивалентно, множественной линейной регрессии ). Введенный в 2011 году класс распределений с квантильными параметрами (QPD) достиг обеих целей. Будучи значительным шагом вперед по этой причине, QPD, первоначально использовавшийся для иллюстрации этого класса распределений, простое Q-нормальное распределение ^[9] , имел меньшую гибкость формы, чем семейства Пирсона и Джонсона, и не обладал способностью представлять полуограниченные и ограниченные распределения. Вскоре после этого Килин ^[1] разработал семейство распределений металогарифмов, еще один экземпляр класса QPD, который более гибок в плане формы, чем семейства Пирсона и Джонсона, предлагает выбор ограниченности, имеет уравнения в замкнутой форме, которые можно подогнать к данным с помощью линейного метода наименьших квадратов, и имеет функции квантилей в замкнутой форме , которые облегчают моделирование методом Монте-Карло . ${\displaystyle 0.10,0.50}$ ${\displaystyle 0.90}$

Определение и квантильная функция

Распределение металога является обобщением логистического распределения , где термин «металлог» является сокращением от «металогистика». Начиная с функции логистического квантиля , Килин заменил разложения степенного ряда в кумулятивной вероятности для параметров и , которые контролируют местоположение и масштаб, соответственно. ^[10] ${\displaystyle x=Q(y)=\mu +s{\mbox{ }}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}}$ ${\displaystyle y=F(x)}$ ${\displaystyle \mu }$ ${\displaystyle s}$

${\displaystyle \mu =a_{1}+a_{4}(y-0.5)+a_{5}(y-0.5)^{2}+a_{7}(y-0.5)^{3}+a_{9}(y-0.5)^{4}+\dots }$

${\displaystyle s=a_{2}+a_{3}(y-0.5)+a_{6}(y-0.5)^{2}+a_{8}(y-0.5)^{3}+a_{10}(y-0.5)^{4}+\dots }$

Обоснование Килина для этой замены было пятикратным. ^[10] Во-первых, результирующая функция квантиля будет иметь значительную гибкость формы, управляемую коэффициентами . Во-вторых, она будет иметь простую замкнутую форму, которая является линейной по этим коэффициентам, подразумевая, что они могут быть легко определены из данных CDF с помощью линейных наименьших квадратов . В-третьих, результирующая функция квантиля будет гладкой, дифференцируемой и аналитической , гарантируя, что будет доступна гладкая, замкнутая форма PDF . В-четвертых, моделирование будет облегчено за счет результирующей замкнутой формы обратной CDF . В-пятых, подобно ряду Тейлора , можно будет использовать любое количество членов в зависимости от желаемой степени гибкости формы и других потребностей приложения. ${\displaystyle a_{i}}$ ${\displaystyle k}$

Обратите внимание, что индексы -коэффициентов таковы, что и находятся в разложении, и находятся в разложении, а индексы чередуются после этого. Этот порядок был выбран таким образом, чтобы первые два члена в результирующей функции квантиля металога соответствовали логистическому распределению в точности; добавление третьего члена с корректирует асимметрию; добавление четвертого члена с корректирует в первую очередь эксцесс; и добавление последующих ненулевых членов дает более тонкие уточнения формы. ^{[10] : стр.252} ${\displaystyle a}$ ${\displaystyle a_{1}}$ ${\displaystyle a_{4}}$ ${\displaystyle \mu }$ ${\displaystyle a_{2}}$ ${\displaystyle a_{3}}$ ${\displaystyle s}$ ${\displaystyle a_{3}\neq 0}$ ${\displaystyle a_{4}\neq 0}$

Переписывая функцию логистического квантиля с учетом указанных выше замен , получаем функцию металогарифмического квантиля для кумулятивной вероятности . ${\displaystyle \mu }$ ${\displaystyle s}$ ${\displaystyle 0<y<1}$

${\displaystyle M_{k}(y)=\left\{{\begin{array}{ll}a_{1}+a_{2}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}&{\mbox{for }}k=2\\a_{1}+a_{2}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}+a_{3}(y-0.5)\ln {\Bigl (}{y \over {1-y}}{\Bigr )}&{\mbox{for }}k=3\\a_{1}+a_{2}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}+a_{3}(y-0.5)\ln {\Bigl (}{y \over {1-y}}{\Bigr )}+a_{4}(y-0.5)&{\mbox{for }}k=4\\M_{k-1}(y)+a_{k}(y-0.5)^{k-1 \over 2}&{\mbox{for odd }}k\geq 5\\M_{k-1}(y)+a_{k}(y-0.5)^{{k \over 2}-1}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}&{\mbox{for even }}k\geq 6\\\end{array}}\right.}$

Эквивалентно, функция металога квантиля может быть выражена в терминах базисных функций: , где базисные функции металога являются , а каждая последующая определяется как выражение, которое умножается на в уравнении для выше. Обратите внимание, что коэффициент является медианой , поскольку все остальные члены равны нулю, когда . Частными случаями функции металога квантиля являются логистическое распределение ( ) и равномерное распределение ( в противном случае). ${\displaystyle M_{k}(y)=\sum _{i=1}^{k}a_{i}g_{i}(y)}$ ${\displaystyle g_{1}(y)=1,{\mbox{ }}g_{2}(y)=\ln {\Bigl (}{y \over {1-y}}{\Bigr )},}$ ${\displaystyle g_{i}(y)}$ ${\displaystyle a_{i}}$ ${\displaystyle M_{k}(y)}$ ${\displaystyle a_{1}}$ ${\displaystyle y=0.5}$ ${\displaystyle k=2}$ ${\displaystyle k\geq 4,a_{1}=0.5,a_{4}=1,a_{i}=0}$

Функция плотности вероятности

Дифференцирование по дает функцию плотности квантиля ^[11] . Обратная величина этой величины, , является функцией плотности вероятности, выраженной как p-PDF, ^[12] ${\displaystyle x=M_{k}(y)}$ ${\displaystyle y}$ ${\displaystyle q(y)=dx/dy}$ ${\displaystyle (q(y))^{-1}=dy/dx=f(Q(y))}$

${\displaystyle m_{k}(y)=\left\{{\begin{array}{ll}{y(1-y) \over {a_{2}}}&{\mbox{for }}k=2\\{\Bigl (}{a_{2} \over {y(1-y)}}+a_{3}{\Bigl (}{y-0.5 \over {y(1-y)}}+\ln {y \over {1-y}}{\Bigr )}{\Bigr )}^{-1}&{\mbox{for }}k=3\\{\Bigl (}{a_{2} \over {y(1-y)}}+a_{3}{\Bigl (}{y-0.5 \over {y(1-y)}}+\ln {y \over {1-y}}{\Bigr )}+a_{4}{\Bigr )}^{-1}&{\mbox{for }}k=4\\{\Bigl (}{1 \over {m_{k-1}(y)}}+a_{k}{k-1 \over 2}(y-0.5)^{(k-3)/2}{\Bigr )}^{-1}&{\mbox{for odd }}k\geq 5\\{\Bigl (}{1 \over {m_{k-1}(y)}}+a_{k}{\Bigl (}{(y-0.5)^{k/2-1} \over {y(1-y)}}+({k \over 2}-1)(y-0.5)^{(k/2-2)}\ln {y \over {1-y}}{\Bigr )}{\Bigr )}^{-1}&{\mbox{for even }}k\geq 6,\\\end{array}}\right.}$

что может быть эквивалентно выражено в терминах базисных функций как

${\displaystyle m_{k}(y)=\left(\sum _{i=1}^{k}a_{i}{{dg_{i}(y)} \over {dy}}\right)^{-1}}$где . ${\displaystyle 0<y<1}$

Обратите внимание, что эта PDF выражена как функция кумулятивной вероятности, , а не как интересующая переменная, . Чтобы построить PDF (например, как показано на рисунках на этой странице), можно варьировать параметрически, а затем построить график на горизонтальной оси и на вертикальной оси. ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle y\in (0,1)}$ ${\displaystyle x=M_{k}(y)}$ ${\displaystyle m_{k}(y)}$

На основе приведенных выше уравнений и следующих преобразований, которые позволяют выбирать границы, семейство распределений металогов состоит из неограниченных, полуограниченных и ограниченных металогов, а также их специальных случаев симметрично-процентильных триплетов (SPT).

Неограниченные, полуограниченные и ограниченные распределения металогов

Как определено выше, распределение металога не ограничено, за исключением необычного особого случая, когда для всех членов, содержащих . Однако для многих приложений требуются гибкие распределения вероятностей, которые имеют нижнюю границу , верхнюю границу или обе. Чтобы удовлетворить эту потребность, Килин использовал преобразования для вывода полуограниченных и ограниченных распределений металога. ^[1] Такие преобразования регулируются общим свойством функций квантилей: для любой функции квантиля и возрастающей функции также является функция квантиля . ^[13] Например, функция квантиля нормального распределения равна ; поскольку натуральный логарифм, , является возрастающей функцией, является функцией квантиля логнормального распределения . Аналогично, применение этого свойства к функции квантиля металога с использованием преобразований ниже дает полуограниченные и ограниченные члены семейства металога. Если считать, что все члены семейства металогов распределены по принципу металога, то они соответствуют определению Килина и Поули ^[9] квантильно-параметризованного распределения и, таким образом, обладают его свойствами. ${\displaystyle a_{i}=0}$ ${\displaystyle \ln {\Bigl (}{y \over {1-y}}{\Bigr )}}$ ${\displaystyle b_{l}}$ ${\displaystyle b_{u}}$ ${\displaystyle x=Q(y)}$ ${\displaystyle z(x),x=z^{-1}(Q(y))}$ ${\displaystyle x=\mu +\sigma \Phi ^{-1}(y)}$ ${\displaystyle z(x)=\ln(x-b_{l})}$ ${\displaystyle x=b_{l}+e^{\mu +\sigma \Phi ^{-1}(y)}}$ ${\displaystyle M_{k}(y)}$ ${\displaystyle z(x)}$

${\displaystyle {\begin{array}{l|c|c|c|c|c}&&&&&{\mbox{shape}}\\&{\mbox{transformation}}&{\mbox{quantile function}}&{\mbox{PDF}}&{\mbox{where}}&{\mbox{parameters}}\\\hline {\mbox{Metalog (unbounded)}}&z(x)=x&M_{k}(y)&m_{k}(y)&0<y<1&k-2\\\hline {\mbox{Log metalog}}&z(x)=\ln(x-b_{l})&M_{k}^{\log }(y)=b_{l}+e^{M_{k}(y)}&m_{k}^{\log }(y)=m_{k}(y)e^{-M_{k}(y)}&0<y<1&k-1\\{\mbox{(bounded below)}}&&=b_{l}&=0&y=0\\\hline {\mbox{Negative-log metalog}}&z(x)=-\ln(b_{u}-x)&M_{k}^{\operatorname {nlog} }(y)=b_{u}-e^{-M_{k}(y)}&m_{k}^{\operatorname {nlog} }(y)=m_{k}(y)e^{M_{k}(y)}&0<y<1&k-1\\{\mbox{(bounded above)}}&&=b_{u}&=0&y=1\\\hline {\mbox{Logit metalog}}&z(x)=\ln {\Bigl (}{x-b_{l} \over {b_{u}-x}}{\Bigr )}&M_{k}^{\operatorname {logit} }(y)={b_{l}+b_{u}e^{M_{k}(y)} \over {1+e^{M_{k}(y)}}}&m_{k}^{\operatorname {logit} }(y)=m_{k}(y){{\bigl (}1+e^{M_{k}(y)}{\bigr )}^{2} \over {(b_{u}-b_{l})e^{M_{k}(y)}}}&0<y<1&k\\{\mbox{(bounded)}}&&=b_{l}&=0&y=0\\&&=b_{u}&=0&y=1\end{array}}}$

Обратите внимание, что число параметров формы в семействе металогов линейно увеличивается с числом членов . Таким образом, любой из приведенных выше металогов может иметь любое число параметров формы. Напротив, семейства распределений Пирсона и Джонсона ограничены двумя параметрами формы. ${\displaystyle k}$

Распределения металогов SPT

Ограниченный металог SPT, параметризованный с данными CDF и с нижними и верхними границами и соответственно. ${\displaystyle (20,0.1),(30,0.5),}$ ${\displaystyle (50,0.9)}$ ${\displaystyle 0}$ ${\displaystyle 100}$

Симметрично-процентильные триплетные (SPT) металоговые распределения являются трехчленным частным случаем неограниченных, полуограниченных и ограниченных металоговых распределений. ^[14] Они параметризуются тремя точками вне кривой CDF , вида , и , где . Металоги SPT полезны, когда, например, квантили, соответствующие вероятностям CDF (например ), извлекаются из эксперта и используются для параметризации трехчленных металоговых распределений. Как отмечено ниже, некоторые математические свойства упрощаются параметризацией SPT. ${\displaystyle (k=3)}$ ${\displaystyle (x,y)}$ ${\displaystyle (x_{1},\alpha )}$ ${\displaystyle (x_{2},0.5)}$ ${\displaystyle (x_{3},1-\alpha )}$ ${\displaystyle 0<\alpha <0.5}$ ${\displaystyle (x_{1},x_{2},x_{3})}$ ${\displaystyle 0.1,0.5,0.9}$

Характеристики

Семейство распределений вероятностей металог обладает следующими свойствами.

Осуществимость

Функция вида или любого из ее приведенных выше преобразований является допустимым распределением вероятностей тогда и только тогда, когда ее плотность вероятности больше нуля для всех ^[9]. Это подразумевает ограничение допустимости на набор коэффициентов , ${\displaystyle M_{k}(y)}$ ${\displaystyle y\in (0,1).}$ ${\displaystyle {\boldsymbol {a}}=(a_{1},...,a_{k})\in \mathbb {R} ^{k}}$

${\displaystyle m_{k}(y)>0}$для всех . ${\displaystyle y\in (0,1)}$

В практических приложениях осуществимость обычно должна быть проверена, а не предположена. Для , обеспечивает осуществимость. Для (включая металоги SPT) условие осуществимости равно и . ^[14] Для , была выведена похожая замкнутая форма. ^[15] Для , осуществимость обычно проверяется графически или численно. ${\displaystyle k=2}$ ${\displaystyle a_{2}>0}$ ${\displaystyle k=3}$ ${\displaystyle a_{2}>0}$ ${\displaystyle {|a_{3}|/a_{2}}<1.66711}$ ${\displaystyle k=4}$ ${\displaystyle k\geq 5}$

Неограниченный металог и его приведенные выше преобразования имеют один и тот же набор допустимых коэффициентов. ^[16] Следовательно, для заданного набора коэффициентов достаточно подтвердить, что для всех независимо от используемого преобразования. ${\displaystyle m_{k}(y)>0}$ ${\displaystyle y\in (0,1)}$

Выпуклость

Набор допустимых коэффициентов металога для всех является выпуклым . Поскольку выпуклые задачи оптимизации требуют выпуклых допустимых множеств, это свойство может упростить задачи оптимизации, включающие металоги. Более того, это свойство гарантирует, что любая выпуклая комбинация векторов допустимых металогов является допустимой, что полезно, например, при объединении мнений нескольких экспертов ^[17] или интерполяции среди допустимых металогов. ^[18] Подразумевается, что любая вероятностная смесь распределений металогов сама по себе является металогом. ${\displaystyle S_{\boldsymbol {a}}=\{{\boldsymbol {a}}\in \mathbb {R} ^{k}|m_{k}(y)>0}$ ${\displaystyle y\in (0,1)\}}$ ${\displaystyle {\boldsymbol {a}}}$

Соответствие данным

10-членное логарифмическое распределение металога по максимальной годовой высоте водомерного поста (футы) с 1920 по 2014 год для реки Уильямсон ниже слияния с рекой Спраг, Чилоквин, Орегон. Источник данных: USGS .

Коэффициенты могут быть определены из данных с помощью линейных наименьших квадратов . Учитывая точки данных , которые предназначены для характеристики металога CDF, и матрицу , элементы которой состоят из базисных функций , то, пока является обратимым, вектор-столбец коэффициентов задается как , где и вектор-столбец . Если , это уравнение сводится к , где результирующий металог CDF проходит через все точки данных точно. Для металогов SPT оно далее сводится к выражениям в терминах трех точек напрямую. ^[14] ${\displaystyle {\boldsymbol {a}}}$ ${\displaystyle n}$ ${\displaystyle (x_{i},y_{i})}$ ${\displaystyle n\times k}$ ${\displaystyle {\boldsymbol {Y}}}$ ${\displaystyle g_{j}(y_{i})}$ ${\displaystyle {\boldsymbol {Y}}^{T}{\boldsymbol {Y}}}$ ${\displaystyle {\boldsymbol {a}}}$ ${\displaystyle a_{i}}$ ${\displaystyle {\boldsymbol {a}}=({\boldsymbol {Y}}^{T}{\boldsymbol {Y}})^{-1}{\boldsymbol {Y}}^{T}{\boldsymbol {z}}}$ ${\displaystyle n\geq k}$ ${\displaystyle {\boldsymbol {z}}=(z(x_{1}),\ldots ,z(x_{n}))}$ ${\displaystyle n=k}$ ${\displaystyle {\boldsymbol {a}}={\boldsymbol {Y}}^{-1}{\boldsymbol {z}}}$ ${\displaystyle (x_{i},y_{i})}$

Альтернативный метод подгонки, реализованный в виде линейной программы, определяет коэффициенты путем минимизации суммы абсолютных расстояний между CDF и данными с учетом ограничений осуществимости. ^[19]

Как металоги сходятся к стандартному нормальному распределению при увеличении от 2 до 10 ${\displaystyle k}$

Распределения Вейбулла (синие), близко аппроксимированные девятичленными полуограниченными металогарифмическими распределениями (пунктирные, желтые)

Гибкость формы

Согласно теореме о гибкости металога ^[17], любое распределение вероятностей с непрерывной функцией квантиля может быть аппроксимировано металогом сколь угодно близко. Более того, в оригинальной статье Килин показал, что десятичленные распределения металога, параметризованные 105 точками CDF из 30 традиционных исходных распределений (включая нормальное, t-распределение Стьюдента, логнормальное, гамма-распределение, бета-распределение и распределение экстремальных значений), аппроксимируют каждое такое исходное распределение в пределах расстояния KS 0,001 или меньше. ^[20] Таким образом, гибкость формы металога практически неограниченна.

Анимированный рисунок справа иллюстрирует это для стандартного нормального распределения, где металоги с различным количеством членов параметризуются одним и тем же набором из 105 точек из стандартной нормальной CDF. Металог PDF сходится к стандартной нормальной PDF по мере увеличения количества членов. С двумя членами металог приближается к нормальному с логистическим распределением. С каждым увеличением количества членов соответствие становится ближе. С 10 членами металог PDF и стандартная нормальная PDF визуально неразличимы.

Аналогично, девятичленные полуограниченные металоговые PDF с визуально неотличимы от ряда распределений Вейбулла . Шесть случаев, показанных справа, соответствуют параметрам формы Вейбулла 0,5, 0,8, 1,0, 1,5, 2 и 4. В каждом случае металог параметризуется девятью точками из Вейбулловой CDF, которые соответствуют кумулятивным вероятностям . ${\displaystyle b_{l}=0}$ ${\displaystyle x}$ ${\displaystyle y=(0.001,0.02,0.10,0.25,0.5,0.75,0.9,0.98,0.999)}$

Такая сходимость не является уникальной для нормального распределения и распределения Вейбулла. Килин первоначально показал аналогичные результаты для широкого диапазона распределений ^[20] и с тех пор предоставил дополнительные иллюстрации. ^{[17] [21]}

Медиана

Медиана любого распределения в семействе металогов имеет простую замкнутую форму. Обратите внимание, что определяет медиану, и (так как все последующие члены равны нулю для ). Из этого следует, что медианы распределений неограниченного металога, логарифмического металога, отрицательного логарифма металога и логит-металога равны , , , и , соответственно. ${\displaystyle y=0.5}$ ${\displaystyle M_{k}(0.5)=a_{1}}$ ${\displaystyle y=0.5}$ ${\displaystyle a_{1}}$ ${\displaystyle b_{l}+e^{a_{1}}}$ ${\displaystyle b_{u}-e^{-a_{1}}}$ ${\displaystyle {b_{l}+b_{u}e^{a_{1}} \over {1+e^{a_{1}}}}}$

Моменты

Момент неограниченного распределения металога, , является частным случаем более общей формулы для QPD. ^[9] Для неограниченного металога такие интегралы оцениваются в моменты замкнутой формы, которые являются полиномами порядка от коэффициентов . Первые четыре центральных момента четырехчленного неограниченного металога следующие: ${\displaystyle m^{th}}$ ${\displaystyle E[x^{m}]=\int _{y=0}^{1}{M_{k}(y)}^{m}\,dy}$ ${\displaystyle m^{th}}$ ${\displaystyle a_{i}}$

${\displaystyle {\begin{aligned}{\text{mean}}={}&a_{1}+{a_{3} \over 2}\\[6pt]{\text{variance}}={}&\pi ^{2}{{a_{2}}^{2} \over 3}+{{a_{3}}^{2} \over {12}}+\pi ^{2}{{a_{3}}^{2} \over {36}}+a_{2}a_{4}+{{a_{4}}^{2} \over {12}}\\[6pt]{\text{skewness}}={}&\pi ^{2}{a_{2}}^{2}{a_{3}}+\pi ^{2}{{a_{3}}^{3} \over {24}}+{{{a_{2}}{a_{3}}{a_{4}}} \over {2}}+\pi ^{2}{{{a_{2}}{a_{3}}{a_{4}}} \over {6}}+{{{a_{3}}{a_{4}}^{2}} \over {8}}\\[6pt]{\text{kurtosis}}={}&7\pi ^{4}{{a_{2}}^{4} \over {15}}+3\pi ^{2}{{{a_{2}}^{2}{a_{3}}^{2}} \over {24}}+7\pi ^{4}{{{a_{2}}^{2}{a_{3}}^{2}} \over {30}}+{{{a_{3}}^{4}} \over {80}}+\pi ^{2}{{a_{3}}^{4} \over {24}}+7\pi ^{4}{{a_{3}}^{4} \over {1200}}+2\pi ^{2}{a_{2}}^{3}{a_{4}}\\[6pt]&{}+{{{a_{2}}{a_{3}}^{2}{a_{4}}} \over {2}}+2\pi ^{2}{{{a_{2}}{a_{3}}^{2}{a_{4}}} \over {3}}+2{{a_{2}}^{2}{a_{4}}^{2}}+\pi ^{2}{{{a_{2}}^{2}{a_{4}}^{2}} \over {6}}+{{{a_{3}}^{2}{a_{4}}^{2}} \over {8}}+\pi ^{2}{{{a_{3}}^{2}{a_{4}}^{2}} \over {40}}+{{{a_{2}}{a_{4}}^{3}} \over {3}}+{{a_{4}}^{4} \over {80}}\end{aligned}}}$

Моменты для меньшего числа членов включены в эти уравнения. Например, моменты трехчленного металога можно получить, установив его равным нулю. Также доступны моменты для металогов с большим числом членов и моменты более высокого порядка ( ). ^[22] Моменты для полуограниченных и ограниченных металогов недоступны в замкнутой форме. ${\displaystyle a_{4}}$ ${\displaystyle m>4}$

Параметризация с моментами

Трехчленные неограниченные металоги могут быть параметризованы в замкнутой форме с их первыми тремя центральными моментами . Пусть и будут средним значением, дисперсией и асимметрией, и пусть будет стандартизированной асимметрией, . Эквивалентные выражения моментов в терминах коэффициентов и коэффициентов в терминах моментов следующие: ${\displaystyle m,v,}$ ${\displaystyle s}$ ${\displaystyle s_{s}}$ ${\displaystyle s_{s}=s/v^{3/2}}$

${\displaystyle {\begin{array}{ll}m=a_{1}+{a_{3} \over 2}&&a_{1}=m-{a_{3} \over 2}\\[6pt]v=\pi ^{2}{{a_{2}}^{2} \over 3}+{{a_{3}}^{2} \over {12}}+\pi ^{2}{{a_{3}}^{2} \over {36}}&&a_{2}={1 \over {\pi }}{\Bigl [}3{\Bigl (}v-{\Bigl (}{1 \over {12}}+{{\pi }^{2} \over {36}}{\Bigr )}{a_{3}}^{2}{\Bigr )}{\Bigr ]}^{1 \over {2}}\\[6pt]s=\pi ^{2}{a_{2}}^{2}{a_{3}}+\pi ^{2}{{a_{3}}^{3} \over {24}}&&a_{3}=4{\Bigl (}{6v \over {6+\pi ^{2}}}{\Bigr )}^{1 \over {2}}\cos {\Bigl [}{1 \over {3}}{\Bigl (}\cos ^{-1}{\Bigl (}-{s_{s} \over {4}}{\Bigl (}1+{{\pi }^{2} \over {6}}{\Bigr )}^{1 \over {2}}{\Bigr )}+4\pi {\Bigr )}{\Bigr ]}\\[6pt]\end{array}}}$

Эквивалентность этих двух наборов выражений можно вывести, заметив, что уравнения моментов слева определяют кубический полином в терминах коэффициентов и , который может быть решен в замкнутой форме как функции и . Более того, это решение является единственным. ^[23] В терминах моментов условием осуществимости является , что можно показать эквивалентным следующему условию осуществимости в терминах коэффициентов: ; и . ^[23] ${\displaystyle a_{1},a_{2},}$ ${\displaystyle a_{3}}$ ${\displaystyle m,v,}$ ${\displaystyle s}$ ${\displaystyle |s_{s}|\leq 2.07093}$ ${\displaystyle a_{2}>0}$ ${\displaystyle {|a_{3}|/a_{2}}<1.66711}$

Это свойство может быть использовано, например, для представления суммы независимых, неидентично распределенных случайных величин . На основе кумулянтов известно, что для любого набора независимых случайных величин среднее значение, дисперсия и асимметрия суммы являются суммами соответствующих средних значений, дисперсий и асимметрий. Параметризация трехчленного металога с этими центральными моментами дает непрерывное распределение, которое точно сохраняет эти три момента и, соответственно, обеспечивает разумное приближение к форме распределения суммы независимых случайных величин.

Моделирование

Поскольку их квантильные функции выражены в замкнутой форме, металоги облегчают моделирование Монте-Карло . Подстановка равномерно распределенных случайных выборок в квантильную функцию металога (обратная CDF) дает случайные выборки в замкнутой форме, тем самым устраняя необходимость инвертировать CDF. Ниже приведены приложения для моделирования. ${\displaystyle y}$ ${\displaystyle x}$

Выявление и объединение мнений экспертов

Благодаря гибкости формы распределения металогов могут быть привлекательным выбором для выявления и представления экспертного мнения. ^[24] Более того, если мнения нескольких экспертов выражены как -терм металоги, консенсусное мнение может быть рассчитано как -терм металог в замкнутой форме, где -коэффициенты консенсусного металога являются просто средневзвешенным значением значений отдельных экспертов. ^[17] Этот результат следует из Винцентизации , где функция консенсусного квантиля является средневзвешенным значением отдельных квантильных функций. ${\displaystyle k}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {a}}}$

Байесовское обновление в закрытой форме

В классической статье Говард (1970) ^[25] показывает, как бета-биномиальное распределение может быть использовано для обновления, согласно правилу Байеса в замкнутой форме, неопределенности относительно долгосрочной частоты выпадения «орла» при подбрасывании монеты в свете новых данных о подбрасывании монеты. Напротив, если интересующая неопределенность, подлежащая обновлению, определяется не скалярной вероятностью относительно дискретного события (например, результата подбрасывания монеты), а функцией плотности вероятности относительно непрерывной переменной, может быть использовано байесовское обновление металога. При определенных условиях параметры квантиля металога и -коэффициенты могут быть обновлены в замкнутой форме в свете новых данных согласно правилу Байеса . ^[17] ${\displaystyle \phi }$ ${\displaystyle {\boldsymbol {a}}}$

Приложения

Для 3474 особей стальноголовой форели, пойманных и выпущенных на волю на реке Бабин в Британской Колумбии в период с 2006 по 2010 год, эмпирические данные о весе (гистограмма) и 10-членная логарифмическая металогическая плотность распределения плотности (синяя кривая) соответствуют этим данным методом наименьших квадратов.

Благодаря гибкости своей формы и границ металоги могут использоваться для представления эмпирических или других данных практически в любой области человеческой деятельности.

• Астрономия . Металоги применялись для оценки рисков столкновения с астероидом. ^[26]
• Кибербезопасность . Металоги использовались при оценке рисков кибербезопасности. ^{[19] [27]}
• Получение и объединение экспертных мнений . Статистическое управление Канады получило экспертные мнения о будущих канадских показателях рождаемости от 18 экспертов, что включало использование электронных таблиц на основе обратной связи в формате PDF в режиме реального времени на основе пятичленных металогов. Затем индивидуальные экспертные мнения были взвешены и объединены в общий прогноз на основе металогов. ^[24]
• Исследование и визуализация эмпирических данных . В биологии рыб 10-членное логарифмическое распределение металога (ограниченное снизу 0) было подогнано к весу 3474 форелей стальноголового лосося, пойманных и выпущенных на реке Бабин в Британской Колумбии в 2006–2010 годах. Бимодальность полученного распределения объясняется наличием в реке как впервые, так и повторно нерестящихся особей, последние из которых, как правило, весят больше. ^[28]
• Гидрология . Для моделирования распределения вероятностей годовых высот речных постов использовался 10-членный полуограниченный металог. ^[29]
• Добыча нефти на месторождении . Полуограниченные металоги SPT использовались для анализа смещений в прогнозах добычи нефти по сравнению с наблюдаемой добычей после факта. ^[30]
• Управление портфелем . Металоги SPT использовались для моделирования коммерческой ценности новых продуктов и портфелей продуктов. ^[31]
• Распределения входных данных моделирования . Для поддержки решения о торгах неопределенность относительно будущей стоимости каждого из 259 финансовых активов была представлена ​​в виде металога SPT. Было показано, что моделирование общей стоимости портфеля дает более реалистичные результаты, чем соответствующее моделирование, основанное на дискретных низких, средних и высоких значениях для каждого актива. ^[32]
• Распределения выходных данных моделирования . Металоги также использовались для подгонки выходных данных моделирования с целью представления этих выходных данных в виде непрерывных распределений замкнутой формы (как CDF, так и PDF). При использовании таким образом они обычно более стабильны и гладкие, чем гистограммы. ^[32]
• Суммы логнормальных функций . Металоги позволяют представить в замкнутой форме известные распределения, чьи CDF не имеют выражения в замкнутой форме. Килин и др. (2019) ^[18] применяют это к сумме независимых одинаково распределенных логнормальных распределений, где квантили суммы могут быть определены большим количеством симуляций. Девять таких квантилей используются для параметризации полуограниченного распределения металогов, которое точно проходит через каждый из этих девяти квантилей. Параметры квантилей хранятся в таблице, которую затем можно интерполировать для получения промежуточных значений; эти значения гарантированно достижимы благодаря свойству выпуклости, указанному выше.

Панель Metalog для данных о весе стальной головки

Выбор количества терминов

Для данного приложения и набора данных выбор количества терминов металога зависит от контекста и может потребовать суждения. Для экспертного выявления обычно достаточно от трех до пяти терминов. Для исследования данных и сопоставления других распределений вероятностей, таких как сумма логнормальных распределений, обычно достаточно от восьми до 12 терминов. Панель металога, которая отображает PDF металога, соответствующие различному количеству терминов для данного набора данных, может помочь в этом суждении. Например, в панели металога веса Steelhead ^[1] использование менее семи терминов, возможно, недооценивает данные, скрывая присущую им бимодальность. Использование более 11 терминов не является необходимым и, в принципе, может переоценить данные. Случай с 16 терминами невозможен для этого набора данных, на что указывает пустая ячейка в панели металога. Другие инструменты, такие как регуляризация и выбор модели ( критерий информации Акаике и критерий информации Байеса ), также могут быть полезны. Например, применительно к данным о весе стальной головки ранжирование AIC распределений металогов от 2 до 16 членов вместе с широким диапазоном классических распределений определяет 11-членный логарифмический металог как наилучшее соответствие этим данным. Подобный ранжирование BIC определяет 10-членный логарифмический металог как наилучшее соответствие. Keelin (2016) ^[1] предлагает дополнительные перспективы выбора распределения в пределах семейства металогов. ^[33] ${\displaystyle k}$ ${\displaystyle k}$

Связанные дистрибутивы

Распределения металогов относятся к группе распределений, определяемых в терминах функции квантиля , которая включает в себя распределения с квантильными параметрами , лямбда-распределение Тьюки , его обобщение, GLD, ^[34] распределение Говиндараджулу ^[35] и другие. ^[13] Следующие распределения включены в семейство металогов:

• Логистическое распределение является частным случаем неограниченного металога, где для всех . ${\displaystyle a_{i}=0}$ ${\displaystyle i>2}$
• Равномерное распределение является частным случаем: 1) неограниченного металога, где , , и в противном случае; и 2) ограниченного металога, где , , , , и в противном случае. ${\displaystyle k\geq 4}$ ${\displaystyle a_{1}=0.5}$ ${\displaystyle a_{4}=1}$ ${\displaystyle a_{i}=0}$ ${\displaystyle k\geq 2}$ ${\displaystyle b_{l}=0}$ ${\displaystyle b_{u}=1}$ ${\displaystyle a_{2}=1}$ ${\displaystyle a_{i}=0}$
• Логарифмически -логистическое распределение , также известное в экономике как распределение Фиска, является частным случаем логарифмически-логистического распределения, где , и для всех . ${\displaystyle b_{l}=0}$ ${\displaystyle a_{i}=0}$ ${\displaystyle i>2}$
• Логарифмически равномерное распределение является частным случаем логарифмического металога, где , , , и в противном случае. ${\displaystyle k\geq 4}$ ${\displaystyle a_{1}=0.5}$ ${\displaystyle a_{4}=1}$ ${\displaystyle a_{i}=0}$
• Логит-логистическое распределение ^[36] является частным случаем логит-металога, где для всех . ${\displaystyle a_{i}=0}$ ${\displaystyle i>2}$

Программное обеспечение

Для работы с дистрибутивами metalog можно использовать свободно распространяемые программные средства:

• Книги Excel. Вставляя или вводя данные CDF, металоги (с выбором границ) мгновенно отображаются.
  • Рабочая книга металогов SPT ^[37] вычисляет 2–3-членные металоги, определяемые тремя данными CDF. ${\displaystyle (x_{i},y_{i})}$
  • Рабочая книга Metalogs ^[38] вычисляет 2–16-термные металоги (включая панель металогов), определенные по 2–10 000 данным CDF. ${\displaystyle (x_{i},y_{i})}$
  • Рабочие книги ELD (равновеликие данные) Metalog ^[39] вычисляют 2–16-термные металоги, определяемые 2–10 000 данными CDF, где 's и панель metalog рассчитываются автоматически. ${\displaystyle (x_{i})}$ ${\displaystyle y_{i}}$
• R. rmetalog ^[40] (в сети комплексных архивов R, CRAN ).
• Python. Pymetalog ^[41] очень похож на пакет R. Metalogistic ^[42] использует преимущества платформы SciPy .
• MakeDistribution.com ^[43] облегчает эксперименты с металогами, параметризованными несколькими точками данных CDF. Калькулятор металога SPT, ^[44] калькулятор металога ^[45] и калькулятор металога ELD ^[46] являются онлайн-версиями рабочих книг Excel.
• Инструменты моделирования SIPmath ^[47] поддерживают распределения металогов в надстройке Excel для моделирования.
• Программное обеспечение Analytica Free 101 компании Lumina ^[48] для моделирования и принятия сложных решений.
• Metalog Builder ^[49] от BayesFusion позволяет интерактивно строить распределения металогов. GeNIe ^[50] от BayesFusion (академическая версия программного обеспечения бесплатна для академических исследований и обучения) реализует распределения металогов.

Коммерчески доступные пакеты также поддерживают использование дистрибутивов metalog:

• FrontLine Solvers: Analytic Solver, RASON и Solver SDK, ^[51] программное обеспечение для оптимизации. Автоматически подгоняет пользовательские данные под полный диапазон (ограниченных и неограниченных, многочленных) распределений металогов и предоставляет возможность сравнивать распределения металогов с классическими распределениями на основе выбранных пользователем критериев соответствия.
• Анализ Lone Star: программное обеспечение TruNavigator и AnalyticsOS ^[52] для предиктивной и предписывающей аналитики.

Ссылки

1. Keelin, Thomas W. (2016). "The Metalog Distributions" (PDF) . Decision Analysis . 13 (4): 243–277. doi :10.1287/deca.2016.0338. ISSN  1545-8490. Архивировано из оригинала 28.11.2016.
2. "Об авторе". www.metalogdistributions.com . Получено 2021-02-13 .
3. Де Муавр, А. (1756). Доктрина шансов: или Метод вычисления вероятностей событий в игре (т. 1). Chelsea Publishing Company.
4. Байес, Т. (1763). LII. Очерк о решении проблемы в учении о шансах. Покойного преподобного г-на Байеса, FRS, сообщенный г-ном Прайсом в письме Джону Кантону, AMFR S. Философские труды Лондонского королевского общества, (53), стр. 370–418.
5. Джонсон Н. Л., Коц С., Балакришнан Н. Непрерывные одномерные распределения, том 1, второе издание, John Wiley & Sons, Ltd, 1994, стр. 15–25.
6. Орд, Дж. К., 1972. Семейства распределений частот. Charles Griffin & Co, Ltd, Лондон. Таблица 1.1, стр. 6.
7. Джонсон, Н. Л. (1949). «Системы частотных кривых, созданных методами трансляции». Biometrika . 36 (1/2): 149–176. doi :10.2307/2332539. JSTOR  2332539. PMID  18132090.
8. Тадикамалла, Панду Р.; Джонсон, Норман Л. (1982). «Системы частотных кривых, генерируемых преобразованиями логистических переменных». Biometrika . 69 (2): 461–465. doi :10.1093/biomet/69.2.461. JSTOR  2335422.
9. Keelin, Thomas W.; Powley, Bradford W. (2011-08-04). "Quantile-Parameterized Distributions" (PDF) . Decision Analysis . 8 (3): 206–219. doi :10.1287/deca.1110.0213. ISSN  1545-8490. Архивировано из оригинала 2011-09-01.
10. Keelin TW (2016). «Распределения металогов». Анализ решений. 13 (4): 243–277.
11. Парзен, Э., 1979, Непараметрическое статистическое моделирование данных, Журнал Американской статистической ассоциации,7, 105–131
12. p-PDF: Функция плотности вероятности , выраженная как функция кумулятивной вероятности, а не как интересующая переменная ; эквивалентно, «функция квантиля плотности», как определено Парзеном, Э., 1979, Непараметрическое статистическое моделирование данных, Журнал Американской статистической ассоциации, 7, 105–131 ${\displaystyle y}$ ${\displaystyle x}$
13. Gilchrist, Warren (2000-05-15). Статистическое моделирование с квантильными функциями. Chapman and Hall/CRC. doi :10.1201/9781420035919. ISBN 978-0-429-11920-0.
14. Keelin, Thomas W. (2016). «Распределения металогов». Анализ решений . 13 (4): 243–277. doi :10.1287/deca.2016.0338.
15. "Возможность распределения металогов". www.metalogdistributions.com . Получено 13.02.2021 .
16. Powley, BW (2013). «Методы квантильных функций для анализа решений». Следствие 12, стр. 30. Докторская диссертация, Стэнфордский университет
17. Килин, Томас У. и Рональд А. Ховард. (2021). «Распределения металогов: практически неограниченная гибкость формы, объединение экспертного мнения в закрытой форме и байесовское обновление в закрытой форме». Препринты OSF. doi:10.31219/osf.io/xdg5e.
18. Keelin, TW, Chrisman, L. и Savage, SL (2019). «Распределения металогарифмов и чрезвычайно точные суммы логнормальных величин в замкнутой форме». WSC '19: Труды Зимней конференции по моделированию. 3074–3085.
19. Faber, IJ (2019). Управление киберрисками: предупреждения об угрозах, генерируемые искусственным интеллектом (докторская диссертация, Стэнфордский университет).
20. Keelin, Thomas W. (2016). «Распределения металогов». Анализ решений . 13 (4): 243–277. doi :10.1287/deca.2016.0338.
21. "Гибкость формы распределений металогов". www.metalogdistributions.com . Получено 13.02.2021 .
22. "Моменты распространения Metalog". www.metalogdistributions.com . Получено 2021-02-13 .
23. "Эквивалентность параметризаций коэффициентов и моментов трехчленного металога". www.metalogdistributions.com . Получено 28.03.2021 .
24. Dion, P., Galbraith, N., Sirag, E. (2020). «Использование экспертных мнений для построения долгосрочных прогнозных предположений». В Developments in Demographic Forecasting, Глава 3, стр. 43–62. Springer
25. Говард, Рональд А. (1970). «Анализ решений: Перспективы вывода, принятия решений и экспериментирования». Труды IEEE . 58 (5): 632–643. doi :10.1109/PROC.1970.7719.
26. Рейнхардт, Джейсон С.; Чэнь, Си; Лю, Вэньхао; Манчев, Петар; Пате-Корнелл, М. Элизабет (2016). «Оценка риска астероидов: вероятностный подход». Анализ риска . 36 (2): 244–261. Bibcode : 2016RiskA..36..244R. doi : 10.1111/risa.12453. PMID  26215051. S2CID  23308354.
27. Ван, Джиали; Нил, Мартин; Фентон, Норман (2020). «Байесовский сетевой подход к оценке рисков кибербезопасности, реализующий и расширяющий модель FAIR». Компьютеры и безопасность . 89 : 101659. doi : 10.1016/j.cose.2019.101659. S2CID  209099797.
28. Килин, Томас В. (2016). «Распределения металогов». Анализ решений . 13 (4): 243–277. doi :10.1287/deca.2016.0338.
29. Килин, Томас В. (2016). «Распределения металогов». Анализ решений . 13 (4): 243–277. doi :10.1287/deca.2016.0338.
30. Братволд, Рейдар Б.; Мохус, Эрленд; Петушниг, Дэвид; Бикель, Эрик (2020). «Прогнозирование добычи: оптимистично и самоуверенно — снова и снова». Spe Reservoir Evaluation & Engineering . 23 (3): 0799–0810. doi :10.2118/195914-PA. S2CID  219661316.
31. "SmartOrg Portfolio Manager". www.smartorg.com . Получено 2021-02-13 .
32. Keelin, Thomas W. (2016). «Распределения металогов». Анализ решений . 13 (4): 243–277. doi :10.1287/deca.2016.0338.
33. Килин, Томас В. (2016). «Распределения металогов». Анализ решений . 13 (4). Раздел 6.3, стр. 274–275. doi :10.1287/deca.2016.0338.
34. Ramberg, John S.; Schmeiser, Bruce W. (1974-02-01). «Приближенный метод генерации асимметричных случайных величин». Communications of the ACM . 17 (2): 78–82. doi : 10.1145/360827.360840 . ISSN  0001-0782. S2CID  2640548.
35. Наир, Н. Унникришнан; Санкаран, ПГ; Винешкумар, Б. (2012-12-15). «Распределение Говиндараджулу: некоторые свойства и приложения». Communications in Statistics - Theory and Methods . 41 (24): 4391–4406. doi :10.1080/03610926.2011.573168. ISSN  0361-0926. S2CID  121096603.
36. Ван, Минлян; Реннолс, Кейт (2005). «Моделирование распределения диаметра дерева: введение в логарифмическое распределение». Канадский журнал лесных исследований . 35 (6): 1305–1313. doi :10.1139/x05-057.
37. "SPT metalogs Excel workbook". www.metalogdistributions.com . Получено 2021-02-13 .
38. "Metalogs workbook". www.metalogdistributions.com . Получено 2021-02-13 .
39. "Рабочая книга ELD metalogs". www.metalogdistributions.com . Получено 2021-02-13 .
40. rmetalog R-пакет
41. Пакет Python Pymetalog
42. Пакет Python Metalogistic
43. Сайт MakeDistribution.com, поддерживающий эксперименты с металогами.
44. Онлайн-калькулятор металога SPT.
45. Онлайн-калькулятор металога.
46. Онлайн-калькулятор металога ELD.
47. Надстройка Excel для SIPmath Modeler Tools
48. Программное обеспечение Analytica Free 101 помогает моделировать сложные решения.
49. Metalog Builder компании BayesFusion для интерактивного построения распределений metalog
50. BayesFusion's GeNIe
51. FrontLine Solvers: аналитическое решающее устройство, RASON и программное обеспечение Solver SDK для оптимизации.
52. Анализ Lone Star: TruNavigator и AnalyticsOS для предиктивной и предписывающей аналитики.

Внешние ссылки

• Сайт Metalog Distributions, www.metalogs.org
• Канал Metalog Distributions на YouTube, обучающие видео