В статистическом выводе понятие доверительного распределения ( CD ) часто свободно упоминается как функция распределения в пространстве параметров, которая может представлять доверительные интервалы всех уровней для интересующего параметра. Исторически, оно обычно строилось путем инвертирования верхних пределов нижних доверительных интервалов всех уровней, и оно также обычно ассоциировалось с фидуциальным [1] толкованием ( фидуциальным распределением ), хотя это чисто частотная концепция. [2] Доверительное распределение НЕ является функцией распределения вероятностей интересующего параметра, но все еще может быть функцией, полезной для выводов. [3]
В последние годы наблюдается всплеск возрожденного интереса к доверительным распределениям. [3] В более поздних разработках концепция доверительного распределения возникла как чисто частотная концепция, без какой-либо фидуциальной интерпретации или обоснования. Концептуально доверительное распределение ничем не отличается от точечной оценки или интервальной оценки ( доверительного интервала ), но оно использует зависящую от выборки функцию распределения в пространстве параметров (вместо точки или интервала) для оценки интересующего параметра.
Простым примером доверительного распределения, широко используемого в статистической практике, является распределение bootstrap . [4] Разработка и интерпретация распределения bootstrap не требуют никаких фидуциальных рассуждений; то же самое относится и к концепции распределения stake. Но понятие распределения trust гораздо шире, чем распределение bootstrap. В частности, недавние исследования показывают, что оно охватывает и объединяет широкий спектр примеров, от обычных параметрических случаев (включая большинство примеров классической разработки распределения fitucial Фишера) до распределений bootstrap, функций p-value , [5] нормализованных функций правдоподобия и, в некоторых случаях, байесовских априорных и байесовских апостериорных . [6]
Так же, как байесовское апостериорное распределение содержит массу информации для любого типа байесовского вывода , доверительное распределение содержит массу информации для построения почти всех типов частотных выводов, включая точечные оценки , доверительные интервалы , критические значения, статистическую мощность и p-значения, [7] среди прочего. Некоторые недавние разработки высветили многообещающий потенциал концепции CD как эффективного инструмента вывода. [3]
История
Нейман (1937) [8] ввел идею «уверенности» в своей основополагающей статье о доверительных интервалах, которая прояснила свойство частотного повторения. По словам Фрейзера [9] , семя (идея) распределения уверенности может быть прослежено даже до Байеса (1763) [10] и Фишера (1930). [1] Хотя эта фраза, кажется, впервые была использована у Кокса (1958). [11] Некоторые исследователи рассматривают распределение уверенности как «неймановскую интерпретацию фидуциальных распределений Фишера», [12] которая «яростно оспаривалась Фишером». [13] Также считается, что эти «непродуктивные споры» и «упрямая настойчивость» Фишера [13] могут быть причиной того, что концепция распределения уверенности долгое время неверно истолковывалась как фидуциальная концепция и не была полностью разработана в рамках частотной теории. [6] [14] Действительно, распределение уверенности является чисто частотной концепцией с чисто частотной интерпретацией, хотя оно также связано с байесовскими и фидуциарными концепциями вывода.
Определение
Классическое определение
Классически доверительное распределение определяется путем инвертирования верхних пределов ряда нижних доверительных интервалов. [15] [16] [ нужна страница ] В частности,
Для каждого α из (0, 1) пусть (−∞, ξ n ( α )] будет 100α% нижним доверительным интервалом для θ , где ξ n ( α ) = ξ n ( X n ,α) является непрерывным и возрастает по α для каждой выборки X n . Тогда H n (•) = ξ n −1 (•) является доверительным распределением для θ .
Эфрон заявил, что это распределение «присваивает вероятность 0,05 значению θ, лежащему между верхними конечными точками доверительного интервала 0,90 и 0,95 и т. д .», и «оно имеет мощную интуитивную привлекательность». [16]
В классической литературе [3] функция распределения доверия интерпретируется как функция распределения параметра θ , что невозможно, если не задействовано фидуциальное рассуждение, поскольку в частотной обстановке параметры фиксированы и неслучайны.
Интерпретировать функцию CD полностью с частотной точки зрения и не интерпретировать ее как функцию распределения (фиксированного/неслучайного) параметра является одним из основных отклонений недавнего развития по отношению к классическому подходу. Хорошая вещь в трактовке доверительных распределений как чисто частотной концепции (подобной точечной оценке) заключается в том, что теперь она свободна от тех ограничительных, если не спорных, ограничений, установленных Фишером для фидуциальных распределений. [6] [14]
Современное определение
Применяется следующее определение; [12] [17] [18] Θ — это параметрическое пространство неизвестного интересующего параметра θ , а χ — это выборочное пространство, соответствующее данным X n ={ X 1 , ..., X n }:
Функция H n (•) = H n ( X n , •) от χ × Θ → [0, 1] называется доверительным распределением (КР) для параметра θ , если она удовлетворяет двум требованиям:
(R1) Для каждого заданного X n ∈ χ , H n (•) = H n ( X n , •) является непрерывной кумулятивной функцией распределения на Θ ;
(R2) При истинном значении параметра θ = θ 0 , H n ( θ 0 ) ≡ H n ( X n , θ 0 ), как функция выборки X n , следует равномерному распределению U [0, 1].
Кроме того, функция H является асимптотическим CD ( aCD ), если требование U [0, 1] выполняется только асимптотически, а требование непрерывности для H n (•) опускается.
В нетехнических терминах доверительное распределение является функцией как параметра, так и случайной выборки с двумя требованиями. Первое требование (R1) просто требует, чтобы CD было распределением в пространстве параметров. Второе требование (R2) устанавливает ограничение на функцию, чтобы выводы (точечные оценщики, доверительные интервалы и проверка гипотез и т. д.), основанные на доверительном распределении, имели желаемые частотные свойства. Это похоже на ограничения в точечной оценке для обеспечения определенных желаемых свойств, таких как беспристрастность, согласованность, эффективность и т. д. [6] [19]
Распределение доверительности, полученное путем инвертирования верхних границ доверительных интервалов (классическое определение), также удовлетворяет требованиям приведенного выше определения, и эта версия определения согласуется с классическим определением. [18]
В отличие от классического фидуциального вывода, для оценки параметра при любой конкретной настройке может быть доступно более одного распределения доверия. Кроме того, в отличие от классического фидуциального вывода, оптимальность не является частью требования. В зависимости от настройки и используемого критерия иногда существует уникальное «лучшее» (с точки зрения оптимальности) распределение доверия. Но иногда оптимального распределения доверия не существует или, в некоторых крайних случаях, мы даже не сможем найти осмысленное распределение доверия. Это не отличается от практики точечной оценки.
Определение с измеримыми пространствами
Распределение доверия [20] для параметра в измеримом пространстве является оценщиком распределения с для семейства областей доверия для с уровнем для всех уровней . Семейство областей доверия не является уникальным. [21] Если существует только для , то является распределением доверия с набором уровней . Оба и все являются измеримыми функциями данных. Это означает, что является случайной мерой и является случайным множеством. Если определяющее требование выполняется с равенством, то распределение доверия по определению является точным. Если, кроме того, является действительным параметром, то определение теории меры совпадает с приведенным выше классическим определением.
Примеры
Пример 1: Нормальное среднее и дисперсия
Предположим, что дана нормальная выборка X i ~ N ( μ , σ 2 ), i = 1, 2, ..., n .
(1) Дисперсия σ 2 известна .
Пусть Φ — кумулятивная функция распределения стандартного нормального распределения, а кумулятивная функция распределения Стьюдента . Обе функции и заданы как
удовлетворяют двум требованиям в определении CD, и они являются функциями распределения уверенности для μ . [3] Кроме того,
удовлетворяет определению асимптотического распределения доверия при n →∞, и это асимптотическое распределение доверия для μ . Использование и эквивалентно утверждению, что мы используем и для оценки , соответственно.
(2) Дисперсия σ 2 неизвестна.
Для параметра μ , поскольку включает неизвестный параметр σ и нарушает два требования в определении CD, он больше не является «оценщиком распределения» или доверительным распределением для μ . [3] Однако, по-прежнему является CD для μ и является aCD для μ .
Для параметра σ 2 кумулятивная функция распределения, зависящая от выборки,
— доверительная функция распределения для σ 2 . [6] Здесь — кумулятивная функция распределения распределения .
В случае, когда дисперсия σ 2 известна, является оптимальным с точки зрения получения кратчайших доверительных интервалов на любом заданном уровне. В случае, когда дисперсия σ 2 неизвестна, является оптимальным доверительным распределением для μ .
имеет предельное распределение с быстрой скоростью сходимости, где r — выборочная корреляция, а n — размер выборки.
Функция
является асимптотическим доверительным распределением для ρ . [22]
Точная плотность доверия для ρ равна [23] [24]
где — гауссова гипергеометрическая функция и . Это также апостериорная плотность байесовского соответствия для пяти параметров в бинормальном распределении. [25]
Самая последняя формула в классической книге Фишера дает
Пусть данные генерируются с помощью , где — неизвестный вектор на плоскости и имеет бинормальное и известное распределение на плоскости. Распределение определяет распределение доверия для . Области доверия могут быть выбраны как внутренняя часть эллипсов с центром в и осями, заданными собственными векторами ковариационной матрицы . Распределение доверия в этом случае является бинормальным со средним , и области доверия могут быть выбраны многими другими способами. [21] Распределение доверия совпадает в этом случае с байесовским апостериорным распределением с использованием правого априорного распределения Хаара. [27] Аргумент обобщается на случай неизвестного среднего в бесконечномерном гильбертовом пространстве , но в этом случае распределение доверия не является байесовским апостериорным распределением. [28]
Использование доверительных распределений для вывода
Доверительный интервал
Из определения CD очевидно, что интервал и обеспечивает 100(1 − α )%-ный доверительный интервал различных видов для θ для любого α ∈ (0, 1). Также есть уровень 100(1 − α 1 − α 2 )% доверительный интервал для параметра θ для любого α 1 > 0, α 2 > 0 и α 1 + α 2 < 1. Здесь есть 100 β % квантиль или он решает для θ в уравнении . То же самое справедливо для CD, где уровень доверия достигается в пределе. Некоторые авторы предложили использовать их для графического просмотра того, какие значения параметров согласуются с данными, вместо целей покрытия или производительности. [29] [30]
Оценка точки
Точечные оценщики также могут быть построены с учетом доверительного распределения оценки для интересующего параметра. Например, если задано H n ( θ ) CD для параметра θ , естественный выбор точечных оценщиков включает медиану M n = H n −1 (1/2), среднее значение и максимальную точку плотности CD
При некоторых скромных условиях, среди прочих свойств, можно доказать, что все эти точечные оценки являются согласованными. [6] [22] Определенные распределения доверия могут дать оптимальные частотные оценки. [28]
Проверка гипотез
Можно вывести p-значение для теста, как одностороннего, так и двустороннего, относительно параметра θ , из его распределения уверенности H n ( θ ). [6] [22] Обозначим через массу вероятности множества C под функцией распределения уверенности Это p s (C) называется «поддержкой» в выводе CD и также известно как «убеждение» в фидуциальной литературе. [31] Мы имеем
(1) Для одностороннего теста K 0 : θ ∈ C против K 1 : θ ∈ C c , где C имеет тип (−∞, b ] или [ b , ∞), можно показать из определения CD, что sup θ ∈ C P θ ( p s ( C ) ≤ α ) = α . Таким образом, p s ( C ) = H n ( C ) является соответствующим p-значением теста.
(2) Для теста синглтона K 0 : θ = b против K 1 : θ ≠ b , P { K 0 : θ = b } (2 min{ p s ( C lo ), можно показать из определения CD, что p s ( C up )} ≤ α ) = α . Таким образом, 2 min{ p s ( C lo ), p s ( C up )} = 2 min{ H n ( b ), 1 − H n ( b )} является соответствующим p-значением теста. Здесь C lo = (−∞, b ] и C up = [ b , ∞).
Графическую иллюстрацию вывода CD см. на рисунке 1 из работы Се и Сингха (2011) [6].
Реализации
В нескольких статистических программах реализована возможность построения и графического отображения доверительных распределений.
R , через пакеты concurve, [32] [33]pvaluefunctions , [34] и episheet[35]
^ ab Фишер, РА (1930). «Обратная вероятность». Proc. cambridge Pilos. Soc. 26 , 528–535.
^ Кокс, DR (1958). "Некоторые проблемы, связанные со статистическим выводом", " Анналы математической статистики ", "29" 357-372 (Раздел 4, Страница 363) doi :10.1214/aoms/1177706618
^ abcdef Xie, M. (2013). "Reactionder of Confidence Distribution, the Frequentist Distribution Estimator of a Parameter – a Review". International Statistical Review , 81 , 68-77. doi :10.1111/insr.12001
^ Эфрон, Б. (1998). «RAFisher в 21 веке» Статистическая наука. 13 95–122. JSTOR 2290557
^ abcdefgh Xie, M. и Singh, K. (2013). "Распределение доверия, оценка частотного распределения параметра – обзор (с обсуждением)". International Statistical Review , 81 , 3-39. doi :10.1111/insr.12000
^ Фрейзер, DAS (2019-03-29). «Функция p-значения и статистический вывод». The American Statistician . 73 (sup1): 135–147. doi : 10.1080/00031305.2018.1556735 . ISSN 0003-1305.
^ Нейман, Дж. (1937). «Очерк теории статистической оценки, основанной на классической теории вероятности». Phil. Trans. Roy. Soc A237 333–380
^ Фрейзер, DAS (2011). «Является ли апостериорная оценка Байеса просто быстрой и грязной уверенностью?» Статистическая наука 26 , 299-316. JSTOR 23059129
^ Кокс, DR (июнь 1958 г.). «Некоторые проблемы, связанные со статистическим выводом». Анналы математической статистики . 29 (2): 357–372. doi : 10.1214/aoms/1177706618 . ISSN 0003-4851.
^ ab Шведер, Т. и Хьорт, Н. Л. (2002). «Уверенность и вероятность», Scandinavian Journal of Statistics. 29 309–332. doi :10.1111/1467-9469.00285
^ ab Zabell, SL (1992). "RAFisher и фидуциальный аргумент", Stat. Sci. , 7 , 369–387
^ ab Singh, K. и Xie, M. (2011). "Обсуждения "Является ли апостериорная оценка Байеса просто быстрой и грязной уверенностью?" DAS Fraser". Статистическая наука. Т. 26, 319-321. JSTOR 23059131
^ ab Эфрон, Б. (1993). «Байес и расчеты правдоподобия из доверительных интервалов». Биометрика , 80 3–26.
^ Сингх, К. Кси, М. и Страудерман, У. Э. (2001). «Распределения уверенности — концепция, теория и приложения». Технический отчет, Департамент статистики, Ратгерский университет. Пересмотрено в 2004 году.
^ ab Singh, K. Xie, M. и Strawderman, WE (2005). «Объединение информации из независимых источников посредством распределения достоверности» Annals of Statistics , 33 , 159–183. JSTOR 3448660
^ Xie, M., Liu, R., Daramuju, CV, Olsan, W. (2012). «Включение экспертных мнений в информацию из биномиальных клинических испытаний». Annals of Applied Statistics. В печати.
^ Таралдсен, Гуннар (2021). «Совместные доверительные распределения». doi : 10.13140/RG.2.2.33079.85920.{{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ ab Liu, Dungang; Liu, Regina Y.; Xie, Min-ge (2021-04-30). «Непараметрическое слияние обучения для многопараметрических данных: синтез выводов из различных источников с использованием глубины данных и распределения достоверности». Журнал Американской статистической ассоциации . 117 (540): 2086–2104. doi : 10.1080/01621459.2021.1902817. ISSN 0162-1459. S2CID 233657455.
^ abc Singh, K. Xie, M. и Strawderman, WE (2007). "Распределение доверия (CD)-оценщик распределения параметра", в Complex Datasets and Inverse Problems IMS Lecture Notes—Monograph Series , 54 , (редакторы R. Liu и др.) 132–150. JSTOR 20461464
^ Таралдсен, Гуннар (2021). «Плотность уверенности для корреляции». Санкхья А. 85 : 600–616. doi : 10.1007/s13171-021-00267-y . ISSN 0976-8378. S2CID 244594067.
^ Таральдсен, Гуннар (2020). «Уверенность в корреляции». дои : 10.13140/RG.2.2.23673.49769.{{cite journal}}: Цитировать журнал требует |journal=( помощь )
^ Бергер, Джеймс О.; Сан, Донгчу (2008-04-01). "Объективные априорные данные для двумерной нормальной модели". Анналы статистики . 36 (2). arXiv : 0804.0987 . doi : 10.1214/07-AOS501 . ISSN 0090-5364. S2CID 14703802.
^ Фишер, Рональд Эйлмер, сэр (1973). Статистические методы и научный вывод ([3-е изд., перераб. и прим. ред.]). Нью-Йорк: Hafner Press. ISBN0-02-844740-9. OCLC 785822.{{cite book}}: CS1 maint: multiple names: authors list (link)
^ Итон, Моррис Л.; Саддерт, Уильям Д. (2012). «Инвариантность, сопоставление моделей и сопоставление вероятностей». Санкхья: Индийский журнал статистики, серия A (2008-) . 74 (2): 170–193. doi :10.1007/s13171-012-0018-4. ISSN 0976-836X. JSTOR 42003718. S2CID 120705955.
^ ab Taraldsen, Gunnar; Lindqvist, Bo Henry (2013-02-01). "Теория доверительных отношений и оптимальный вывод". Анналы статистики . 41 (1). arXiv : 1301.1717 . doi : 10.1214/13-AOS1083 . ISSN 0090-5364. S2CID 88520957.
^ Кокс, DR; Хинкли, DV (1979-09-06). Теоретическая статистика. Chapman and Hall/CRC. doi :10.1201/b14832. ISBN978-0-429-17021-8.
^ Рафи, Зад; Гринланд, Сандер (30.09.2020). «Семантические и когнитивные инструменты для помощи статистической науке: замените уверенность и значимость на совместимость и неожиданность». BMC Medical Research Methodology . 20 (1): 244. arXiv : 1909.08579 . doi : 10.1186/s12874-020-01105-9 . ISSN 1471-2288. PMC 7528258. PMID 32998683 .
^ Кендалл, М. и Стюарт, А. (1974). Продвинутая теория статистики , том ?. (Глава 21). Wiley.
^ ab Rafi [aut, Zad; cre; Vigotsky, Andrew D. (2020-04-20), concurve: Computes and Plots Compatibility (Confidence) Intervals, P-Values, S-Values, & Likelihood Intervals to Form Consonance, Surprisal, & Likelihood Functions , получено 2020-05-05
^ "Concurve строит кривые консонанса, функции p-значения и функции S-значения «Статистическое моделирование, причинно-следственные связи и социальные науки". statmodeling.stat.columbia.edu . Получено 15.04.2020 .
^ Инфангер, Денис (29.11.2019), pvaluefunctions: создает и строит графики функций P-значения, функций S-значения, доверительных распределений и плотностей доверительных распределений , получено 15.04.2020
Xie, M. и Singh, K. (2013). [1] «Распределение уверенности, оценка частотного распределения параметра: обзор». International Statistical Review , 81 , 3–39.
Шведер, Т. и Хьорт, Н. Л. (2016). [2] Уверенность, правдоподобие, вероятность: статистический вывод с доверительными распределениями . Лондон: Cambridge University Press. ISBN 9781139046671
Фишер, Р. А. (1956). Статистические методы и научный вывод . Нью-Йорк: Hafner. ISBN 0-02-844740-9 .
Фишер, РА (1955). «Статистические методы и научная индукция» Дж. Рой. Statist. Soc. Ser. B. 17, 69—78. (критика статистических теорий Ежи Неймана и Абрахама Вальда с точки зрения доверия)
Лоулесс, Ф. и Фредетт, М. (2005). «Частотные интервалы прогнозирования и предсказательные распределения». Biometrika. 92(3) 529–542.
Леманн, Э. Л. (1993). «Теории проверки гипотез Фишера, Неймана–Пирсона: одна теория или две?» Журнал Американской статистической ассоциации 88 1242–1249.
Нейман, Ежи (1956). «Заметка о статье сэра Рональда Фишера». Журнал Королевского статистического общества . Серия B (Методологическая) 18 (2): 288–294. JSTOR 2983716. (ответ Фишеру 1955, который диагностирует ошибку «фидуциального вывода»)
Шведер Т., Садыкова Д., Руф Д. и Коски В. (2010) «Оценки популяции по данным аэрофотосъемки гренландских китов с естественными и изменчивыми метками» Журнал сельскохозяйственной биологической и экологической статистики 2010 15: 1–19
Битюков С., Красников Н., Надараджа С. и Смирнова В. (2010) «Распределения доверия в статистических выводах». Труды конференции AIP, 1305 , 346-353.
Сингх, К. и Кси, М. (2012). «CD-постериорная --- объединение априорных и данных посредством доверительных распределений». Современные разработки в байесовском анализе и статистической теории принятия решений: юбилейный сборник для Уильяма Э. Страудермана. (Д. Фурдринье и др., ред.). Коллекция IMS, том 8, 200-214.