stringtranslate.com

Распределение Парето

Распределение Парето , названное в честь итальянского инженера-строителя , экономиста и социолога Вильфредо Парето , [2] представляет собой степенное распределение вероятностей , которое используется при описании социальных , контрольных , научных , геофизических , актуарных и многих других видов деятельности. наблюдаемые явления; Этот принцип первоначально применялся для описания распределения богатства в обществе, что соответствует тенденции, согласно которой большая часть богатства принадлежит небольшой части населения. [3] [4] Принцип Парето или «правило 80-20», утверждающий, что 80% результатов обусловлены 20% причин, был назван в честь Парето, но концепции различны, и только распределения Парето имеют значение формы ( α ) log 4 5 ≈ 1,16 точно это отражает. Эмпирические наблюдения показали, что это распределение 80-20 соответствует широкому кругу случаев, включая природные явления [5] и деятельность человека. [6] [7]

Определения

Если X является случайной величиной с распределением Парето (тип I), [8] тогда вероятность того, что X больше некоторого числа x , т. е. функция выживания (также называемая функцией хвоста), определяется выражением

где x m — (обязательно положительное) минимально возможное значение X , а α — положительный параметр. Распределение Парето типа I характеризуется параметром масштаба x m и параметром формы α , который известен как индекс хвоста . Если это распределение используется для моделирования распределения богатства, то параметр α называется индексом Парето .

Кумулятивная функция распределения

Из определения кумулятивная функция распределения случайной величины Парето с параметрами α и x m равна

Функция плотности вероятности

Отсюда следует (путем дифференцирования ), что функция плотности вероятности равна

При построении графика по линейным осям распределение принимает знакомую J-образную кривую, которая асимптотически приближается к каждой из ортогональных осей . Все сегменты кривой самоподобны (с учетом соответствующих масштабных коэффициентов). При построении логарифмического графика распределение представляется прямой линией.

Характеристики

Моменты и характеристическая функция

(Если α ≤ 1, дисперсия не существует.)

Таким образом, поскольку математическое ожидание не сходится на открытом интервале , содержащем, мы говорим, что производящая функция момента не существует.

где Γ( ax ) — неполная гамма-функция .

Параметры можно решить методом моментов . [9]

Условные распределения

Условное распределение вероятностей случайной величины, распределенной по Парето, при условии, что она больше или равна определенному числу,  превышающему , представляет собой распределение Парето с тем же индексом Парето,  но с минимумом  вместо . Это означает, что условное математическое ожидание (если оно конечно, т.е. ) пропорционально . В случае случайных величин, описывающих время жизни объекта, это означает, что ожидаемая продолжительность жизни пропорциональна возрасту и называется эффектом Линди или законом Линди. [10]

Теорема о характеризации

Предположим , что это независимые одинаково распределенные случайные величины , распределение вероятностей которых поддерживается на интервале для некоторого . Предположим, что для всех две случайные величины и независимы. Тогда общее распределение является распределением Парето. [ нужна цитата ]

Среднее геометрическое

Среднее геометрическое ( G ) равно [11]

Гармоническое среднее

Гармоническое среднее ( H ) равно [11]

Графическое представление

Характерное изогнутое распределение « длинный хвост » при построении в линейном масштабе маскирует основную простоту функции при построении на логарифмическом графике , который затем принимает форму прямой линии с отрицательным градиентом: Это следует из формулы для функции плотности вероятности, что для xx m ,

Поскольку α положительное значение, градиент −( α  + 1) отрицательен.

Связанные дистрибутивы

Обобщенные распределения Парето

Существует иерархия [8] [12] распределений Парето, известная как распределения Парето типа I, II, III, IV и Феллера – Парето. [8] [12] [13] Тип Парето IV включает типы Парето I–III в качестве особых случаев. Распределение Феллера–Парето [12] [14] обобщает тип Парето IV.

Типы Парето I – IV.

Иерархия распределения Парето обобщена в следующей таблице, в которой сравниваются функции выживания (дополнительный CDF).

Когда μ = 0, распределение Парето типа II также известно как распределение Ломакса . [15]

В этом разделе символ x m , использовавшийся ранее для обозначения минимального значения x , заменяется на  σ .

Параметр формы α — индекс хвоста, μ — местоположение, σ — масштаб, γ — параметр неравенства. Некоторые особые случаи типа Парето (IV):

Конечность среднего, а также существование и конечность дисперсии зависят от индекса хвоста α (индекса неравенства γ ). В частности, дробные δ -моменты конечны для некоторого δ > 0, как показано в таблице ниже, где δ не обязательно является целым числом.

Распределение Феллера – Парето

Феллер [12] [14] определяет переменную Парето путем преобразования U  =  Y −1  − 1 бета-случайной величины Y , функция плотности вероятности которой равна

где B ( ) – бета-функция . Если

тогда W имеет распределение Феллера–Парето FP( µ , σ , γ , γ 1 , γ 2 ). [8]

Если и являются независимыми гамма-переменными , другая конструкция переменной Феллера – Парето (FP) — [16]

и пишем W ~ FP( μ , σ , γ , δ1 , δ2 ) . Особыми случаями распределения Феллера – Парето являются

Обратное распределение Парето / Распределение мощности

Когда случайная величина подчиняется распределению Парето, то ее обратная величина следует обратному распределению Парето. Обратное распределение Парето эквивалентно распределению Степени [17]

Связь с экспоненциальным распределением

Распределение Парето связано с экспоненциальным распределением следующим образом. Если X распределен по Парето с минимумом x m и индексом  α , то

экспоненциально распределяется с параметром скорости  α . Эквивалентно, если Y экспоненциально распределяется со скоростью  α , тогда

распределено по Парето с минимумом x m и индексом  α .

Это можно показать, используя стандартные методы замены переменных:

Последнее выражение представляет собой кумулятивную функцию распределения экспоненциального распределения со скоростью  α .

Распределение Парето может быть построено с помощью иерархических показательных распределений. [18] Пусть и . Тогда имеем и, как следствие, .

В более общем смысле, если (параметризация скорости формы) и , то .

Эквивалентно, если и , то .

Связь с логнормальным распределением

Распределение Парето и логарифмически нормальное распределение являются альтернативными распределениями для описания одних и тех же типов величин. Одна из связей между ними заключается в том, что они оба являются распределениями экспоненциального распределения случайных величин, распределенных в соответствии с другими общими распределениями, соответственно экспоненциальным распределением и нормальным распределением . (См. предыдущий раздел.)

Связь с обобщенным распределением Парето

Распределение Парето — это частный случай обобщенного распределения Парето , которое представляет собой семейство распределений аналогичного вида, но содержащее дополнительный параметр таким образом, что носитель распределения либо ограничен снизу (в переменной точке), либо ограничено как сверху, так и снизу (где оба являются переменными), причем распределение Ломакса является особым случаем. Это семейство также содержит как несмещенные, так и смещенные экспоненциальные распределения .

Распределение Парето с масштабом и формой эквивалентно обобщенному распределению Парето с местоположением , масштабом и формой , и, наоборот, можно получить распределение Парето из GPD, взяв и if .

Ограниченное распределение Парето

Ограниченное (или усеченное) распределение Парето имеет три параметра : α , L и H. Как и в стандартном распределении Парето, α определяет форму. L обозначает минимальное значение, а H обозначает максимальное значение.

Функция плотности вероятности

,

где L  ≤  x  ≤  H и α  > 0.

Генерация ограниченных случайных величин Парето

Если U равномерно распределено на (0, 1), то применяя метод обратного преобразования [19]

является ограниченной по Парето.

Симметричное распределение Парето

Целью симметричного и нуль-симметричного распределений Парето является получение некоторого специального статистического распределения с острым пиком вероятности и симметричными длинными хвостами вероятности. Эти два распределения получены из распределения Парето. Длинные хвосты вероятности обычно означают, что вероятность медленно убывает, и их можно использовать для подбора различных наборов данных. Но если распределение имеет симметричную структуру с двумя медленно затухающими хвостами, Парето не смог бы этого сделать. Тогда вместо этого применяется симметричное распределение Парето или нулевое симметричное распределение Парето. [20]

Кумулятивная функция распределения (CDF) симметричного распределения Парето определяется следующим образом: [20]

Соответствующая функция плотности вероятности (PDF): [20]

Это распределение имеет два параметра: a и b. Оно симметрично по b. Тогда математическое ожидание равно b. Когда он имеет следующую дисперсию:

CDF нулевого симметричного распределения Парето (ZSP) определяется следующим образом:

Соответствующий PDF-файл:

Это распределение симметрично нулю. Параметр a связан со скоростью затухания вероятности, а (a/2b) представляет собой пиковую величину вероятности. [20]

Многомерное распределение Парето

Одномерное распределение Парето было расширено до многомерного распределения Парето . [21]

Статистические выводы

Оценка параметров

Функция правдоподобия для параметров распределения Парето α и x m с учетом независимой выборки x = ( x 1x 2 , ...,  x n ) равна

Следовательно, логарифмическая функция правдоподобия равна

Видно, что монотонно увеличивается с ростом x m , то есть чем больше значение x m , тем больше значение функции правдоподобия. Следовательно, поскольку xx m , заключаем, что

Чтобы найти оценку α , мы вычисляем соответствующую частную производную и определяем, где она равна нулю :

Таким образом, оценка максимального правдоподобия для α равна:

Ожидаемая статистическая ошибка составляет: [22]

Малик (1970) [23] дает точное совместное распределение . В частности , и независимы и являются Парето с параметром масштаба x m и параметром формы , тогда как имеют обратное гамма-распределение с параметрами формы и масштаба n  - 1 и соответственно.

Возникновение и применение

Общий

Вильфредо Парето первоначально использовал это распределение для описания распределения богатства между людьми, поскольку оно, казалось, довольно хорошо показывает, что большая часть богатства любого общества принадлежит меньшему проценту людей в этом обществе. Он также использовал его для описания распределения доходов. [4] Эту идею иногда выражают проще, как принцип Парето или «правило 80-20», которое гласит, что 20% населения контролирует 80% богатства. [24] Как указывает Майкл Хадсон ( The Collapse of Antiquity [2023], стр. 85 и № 7), «математическое следствие [таково], что 10% будут владеть 65% богатства, а 5% будут владеть половиной национального богатства». богатство." Однако правило 80-20 соответствует определенному значению α , и фактически данные Парето о британских подоходных налогах в его Cours d'économie politique указывают на то , что около 30% населения имели около 70% дохода . необходимо ] График функции плотности вероятности (PDF) в начале этой статьи показывает, что «вероятность» или доля населения, владеющего небольшим количеством богатства на человека, довольно высока, а затем неуклонно снижается по мере увеличения богатства. Однако распределение Парето не является реалистичным для богатства нижнего уровня . от «маленького» к «большому». Следующие примеры иногда рассматриваются как примерно распределенные по Парето:

Подобрано кумулятивное распределение Парето (Lomax) для максимального количества осадков за один день с использованием CumFreq , см. также подбор распределения.

Связь с законом Ципфа

Распределение Парето представляет собой непрерывное распределение вероятностей. Закон Ципфа , также иногда называемый дзета-распределением , представляет собой дискретное распределение, разделяющее значения на простой ранжирование. Оба представляют собой простой степенной закон с отрицательным показателем степени, масштабированный так, чтобы их совокупные распределения равнялись 1. Распределения Ципфа можно получить из распределения Парето, если значения (доходы) разбиты на ранги так, чтобы количество людей в каждом интервале соответствовало 1. /шаблон ранга. Распределение нормализуется путем определения так, что где – номер обобщенной гармоники . Это делает функцию плотности вероятности Ципфа выводимой из функции Парето.

где и — целое число, обозначающее ранг от 1 до N, где N — группа с самым высоким доходом. Таким образом, случайно выбранный человек (или слово, ссылка на веб-сайт или город) из совокупности (или языка, Интернета или страны) имеет вероятность ранжирования .

Связь с «принципом Парето»

« Закон 80–20 », согласно которому 20% всех людей получают 80% всех доходов, а 20% самых богатых 20% получают 80% из этих 80% и так далее, справедлив именно тогда, когда индекс Парето является . Этот результат можно получить из формулы кривой Лоренца , приведенной ниже. Более того, было показано [34] , что следующие математически эквивалентны:

Это относится не только к доходу, но и к богатству или ко всему остальному, что можно смоделировать с помощью этого распределения.

Это исключает распределения Парето, в которых 0 <  α  ≤ 1, которые, как отмечалось выше, имеют бесконечное математическое ожидание и поэтому не могут разумно моделировать распределение дохода.

Связь с законом Прайса

Закон квадратного корня Прайса иногда предлагается как свойство распределения Парето или как его аналог. Однако закон действует только в том случае, если . Обратите внимание, что в этом случае общая и ожидаемая сумма богатства не определены, и правило асимптотически применяется только к случайным выборкам. Расширенный принцип Парето, упомянутый выше, является гораздо более общим правилом.

Кривая Лоренца и коэффициент Джини

Кривые Лоренца для ряда распределений Парето. Случай α  = ∞ соответствует совершенно равному распределению ( G  = 0), а линия α  = 1 соответствует полному неравенству ( G  = 1).

Кривая Лоренца часто используется для характеристики распределения доходов и богатства. Для любого распределения кривая Лоренца L ( F ) записывается в терминах PDF f или CDF F как

где x ( F ) является обратным CDF. Для распределения Парето

и кривая Лоренца рассчитывается как

Поскольку знаменатель бесконечен, что дает L = 0. Примеры кривой Лоренца для ряда распределений Парето показаны на графике справа.

По данным Oxfam (2016), 62 самых богатых человека обладают таким же богатством, как и беднейшая половина населения мира. [35] Мы можем оценить индекс Парето, применимый к этой ситуации. Полагая ε равным, мы имеем:

или

Решение состоит в том, что α равно примерно 1,15, и около 9% богатства принадлежит каждой из двух групп. Но на самом деле беднейшие 69% взрослого населения мира владеют лишь около 3% богатства. [36]

Коэффициент Джини является мерой отклонения кривой Лоренца от линии равнораспределения, которая представляет собой линию, соединяющую [0, 0] и [1, 1], которая показана черным цветом ( α  = ∞) на графике Лоренца на графике. верно. В частности, коэффициент Джини в два раза превышает площадь между кривой Лоренца и линией равнораспределения. Затем рассчитывается коэффициент Джини для распределения Парето (для ) как

(см. Оберге, 2005).

Генерация случайной переменной

Случайные выборки могут быть сгенерированы с помощью выборки с обратным преобразованием . Учитывая случайную величину U , взятую из равномерного распределения на единичном интервале (0, 1), переменная T, определяемая выражением

является распределенной по Парето. [37] Если U равномерно распределено на [0, 1), его можно заменить на (1 −  U ).

Смотрите также

Рекомендации

  1. ^ аб Нортон, Мэтью; Хохлов, Валентин; Урясев, Стэн (2019). «Расчет CVaR и bPOE для распространенных распределений вероятностей с применением для оптимизации портфеля и оценки плотности» (PDF) . Анналы исследования операций . Спрингер. 299 (1–2): 1281–1315. arXiv : 1811.11301 . дои : 10.1007/s10479-019-03373-1. S2CID  254231768 . Проверено 27 февраля 2023 г.
  2. ^ Аморосо, Луиджи (1938). «ВИЛЬФРЕДО ПАРЕТО». Эконометрика (до 1986 г.); январь 1938 г.; 6, 1; ПроКвест . 6 .
  3. ^ Парето, Вильфредо (1898). «Кур политической экономики». Журнал политической экономии . 6 . дои : 10.1086/250536.
  4. ^ ab Pareto, Вильфредо, Cours d'Economie Politique: Nouvelle édition par G.-H. Bousquet et G. Busino , Librairie Droz, Женева, 1964, стр. 299–345. Оригинал книги в архиве
  5. ^ ВАН МОНТФОРТ, майор (1986). «Обобщенное распределение Парето применительно к глубине осадков». Журнал гидрологических наук . 31 (2): 151–162. Бибкод : 1986HydSJ..31..151V. дои : 10.1080/02626668609491037 .
  6. ^ Оанча, Богдан (2017). «Неравенство доходов в Румынии: экспоненциальное распределение Парето». Физика А: Статистическая механика и ее приложения . 469 : 486–498. Бибкод : 2017PhyA..469..486O. doi :10.1016/j.physa.2016.11.094.
  7. ^ Морелла, Маттео. «Распределение Парето». academia.edu .
  8. ^ abcd Барри К. Арнольд (1983). Распределения Парето . Международное кооперативное издательство. ISBN 978-0-89974-012-6.
  9. ^ С. Хуссейн, С.Х. Бхатти (2018). Оценка параметров распределения Парето: некоторые модифицированные оценки момента. Международный журнал науки и технологий Маэджо 12 (1): 11-27.
  10. ^ Элиазар, Иддо (ноябрь 2017 г.). «Закон Линди». Физика А: Статистическая механика и ее приложения . 486 : 797–805. Бибкод : 2017PhyA..486..797E. doi :10.1016/j.physa.2017.05.077. S2CID  125349686.
  11. ^ ab Джонсон Н.Л., Коц С., Балакришнан Н. (1994) Непрерывные одномерные распределения Том 1. Ряды Вили по вероятности и статистике.
  12. ^ abcd Джонсон, Коц и Балакришнан (1994), (20.4).
  13. ^ Кристиан Кляйбер и Сэмюэл Коц (2003). Статистическое распределение размеров в экономике и актуарных науках. Уайли . ISBN 978-0-471-15064-0.
  14. ^ Аб Феллер, В. (1971). Введение в теорию вероятностей и ее приложения . Том. II (2-е изд.). Нью-Йорк: Уайли. п. 50.«Плотности (4.3) иногда называют в честь экономиста Парето . Считалось (довольно наивно с современной статистической точки зрения), что распределение доходов должно иметь хвост с плотностью ~ Ax α при x  → ∞».
  15. ^ Ломакс, К.С. (1954). «Бизнес-провалы. Еще один пример анализа данных об отказах». Журнал Американской статистической ассоциации . 49 (268): 847–52. дои : 10.1080/01621459.1954.10501239.
  16. Чотикапанич, Дуангкамон (16 сентября 2008 г.). «Глава 7: Парето и обобщенные распределения Парето». Моделирование распределения доходов и кривые Лоренца . Спрингер. стр. 121–22. ISBN 9780387727967.
  17. ^ Даллас, AC «Характеристика Парето и распределения власти». Анналы Института статистической математики 28.1 (1976): 491-497.
  18. ^ Уайт, Джентри (2006). Байесовское полупараметрическое пространственное и совместное пространственно-временное моделирование (Диссертация). Университет Миссури – Колумбия.раздел 5.3.1.
  19. ^ «Метод обратного преобразования». Архивировано из оригинала 17 января 2012 г. Проверено 27 августа 2012 г.
  20. ^ abcd Хуан, Сяо-дун (2004). «Мультимасштабная модель видеотрафика MPEG-4 с различной скоростью передачи данных». Транзакции IEEE в области вещания . 50 (3): 323–334. дои : 10.1109/TBC.2004.834013.
  21. ^ Руцен, Хольгер; Тайвиди, Надер (2006). «Многомерные обобщенные распределения Парето». Бернулли . 12 (5): 917–30. CiteSeerX 10.1.1.145.2991 . дои : 10.3150/bj/1161614952. S2CID  16504396. 
  22. ^ МЭД Ньюман (2005). «Степенные законы, распределения Парето и закон Ципфа». Современная физика . 46 (5): 323–51. arXiv : cond-mat/0412004 . Бибкод : 2005ConPh..46..323N. дои : 10.1080/00107510500052444. S2CID  202719165.
  23. ^ HJ Малик (1970). «Оценка параметров распределения Парето». Метрика . 15 : 126–132. дои : 10.1007/BF02613565. S2CID  124007966.
  24. ^ Для двухквантильного населения, где примерно 18% населения владеет 82% богатства, индекс Тейла принимает значение 1.
  25. ^ Гайяр, Александр; Хеллвиг, Кристиан; Вангнер, Филипп; Веркен, Николас (2023). «Потребление, богатство и неравенство доходов: история о решке». ССНН  4636704.
  26. ^ abcde Рид, Уильям Дж.; и другие. (2004). «Двойное логарифмически нормальное распределение Парето - новая параметрическая модель распределения размеров». Коммуникации в статистике – теория и методы . 33 (8): 1733–53. CiteSeerX 10.1.1.70.4555 . doi : 10.1081/sta-120037438. S2CID  13906086. 
  27. ^ Рид, Уильям Дж. (2002). «О ранговом распределении населенных пунктов». Журнал региональной науки . 42 (1): 1–17. Бибкод : 2002JRegS..42....1R. дои : 10.1111/1467-9787.00247. S2CID  154285730.
  28. ^ Шредер, Бьянка; Дамурас, Сотириос; Гилл, Филиппа (24 февраля 2010 г.). «Понимание скрытых ошибок секторов и способы защиты от них» (PDF) . 8-я конференция Usenix по файловым технологиям и технологиям хранения (FAST 2010) . Проверено 10 сентября 2010 г. Мы экспериментировали с 5 различными распределениями (геометрическим, Вейбулла, Рэлея, Парето и логнормальным), которые обычно используются в контексте надежности системы, и оценивали их соответствие посредством общих квадратов различий между фактическими и гипотетическими частотами (статистика χ 2 ). . Во всех моделях мы последовательно обнаружили, что геометрическое распределение плохо подходит, тогда как распределение Парето обеспечивает наилучшее соответствие.
  29. ^ Юджи Иджири; Саймон, Герберт А. (май 1975 г.). «Некоторые распределения, связанные со статистикой Бозе – Эйнштейна». Учеб. Натл. акад. наук. США . 72 (5): 1654–57. Бибкод : 1975PNAS...72.1654I. дои : 10.1073/pnas.72.5.1654 . ПМК 432601 . ПМИД  16578724. 
  30. ^ Харчол-Балтер, Мор ; Дауни, Аллен (август 1997 г.). «Использование распределения времени жизни процесса для динамической балансировки нагрузки» (PDF) . Транзакции ACM в компьютерных системах . 15 (3): 253–258. дои : 10.1145/263326.263344. S2CID  52861447.
  31. ^ Кляйбер и Коц (2003): с. 94.
  32. ^ Сил, Х. (1980). «Вероятности выживания, основанные на распределениях утверждений Парето». Бюллетень АСТИН . 11 : 61–71. дои : 10.1017/S0515036100006620 .
  33. ^ CumFreq, программное обеспечение для кумулятивного частотного анализа и подбора распределения вероятностей [1]
  34. ^ Харди, Майкл (2010). «Закон Парето». Математический интеллект . 32 (3): 38–43. дои : 10.1007/s00283-010-9159-2. S2CID  121797873.
  35. ^ «62 человека владеют тем же, что и половина мира, согласно отчету Oxfam в Давосе» . Оксфам. Январь 2016.
  36. ^ «Отчет о мировом благосостоянии за 2013 год» . Кредит Свисс. Октябрь 2013 г. с. 22. Архивировано из оригинала 14 февраля 2015 г. Проверено 24 января 2016 г.
  37. ^ Танизаки, Хисаши (2004). Вычислительные методы в статистике и эконометрике. ЦРК Пресс. п. 133. ИСБН 9780824750886.

Примечания

Внешние ссылки