Джеффрис Прайор

Неинформативное априорное распределение

В байесовской статистике априорное распределение Джеффриса — это неинформативное априорное распределение для пространства параметров . Названное в честь сэра Гарольда Джеффриса , ^[1] его функция плотности пропорциональна квадратному корню из определителя информационной матрицы Фишера :

$${\displaystyle p\left(\theta \right)\propto \left|I(\theta )\right|^{1/2}.\,}$$

Его ключевой особенностью является то, что он инвариантен относительно изменения координат для вектора параметров . То есть относительная вероятность, назначенная объему вероятностного пространства с использованием априорной вероятности Джеффриса, будет той же самой независимо от параметризации, используемой для определения априорной вероятности Джеффриса. Это делает его особенно интересным для использования с параметрами масштаба . ^[2] В качестве конкретного примера, распределение Бернулли может быть параметризовано вероятностью появления p или отношением шансов . Наивная равномерная априорная вероятность в этом случае не инвариантна к этой перепараметризации, но априорная вероятность Джеффриса инвариантна. ${\textstyle \theta }$

При оценке максимального правдоподобия экспоненциальных семейных моделей было показано, что штрафные условия, основанные на априорной вероятности Джеффриса, уменьшают асимптотическое смещение в точечных оценках. ^{[3] [4]}

Репараметризация

Однопараметрический случай

Если и являются двумя возможными параметризациями статистической модели, а является непрерывно дифференцируемой функцией от , мы говорим, что априорная переменная «инвариантна» относительно репараметризации , то есть если априорные переменные и связаны обычной теоремой о замене переменных . ${\textstyle \theta }$ ${\textstyle \varphi }$ ${\textstyle \theta }$ ${\textstyle \varphi }$ ${\textstyle p_{\theta }(\theta )}$ $${\displaystyle p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|{\frac {d\theta }{d\varphi }}\right|,}$$ ${\textstyle p_{\theta }(\theta )}$ ${\textstyle p_{\varphi }(\varphi )}$

Поскольку информация Фишера преобразуется при репараметризации, как определяющая априорные данные, как и дает нам желаемую «инвариантность». ^[5] $${\displaystyle I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2},}$$ ${\textstyle p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}}$ ${\textstyle p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}}$

Многопараметрический случай

Аналогично однопараметрическому случаю, пусть и будут двумя возможными параметризациями статистической модели с непрерывно дифференцируемой функцией . Мы называем априорную информацию «инвариантной» относительно репараметризации, если где — матрица Якоби с элементами Поскольку информационная матрица Фишера преобразуется при репараметризации, как мы имеем, то и, таким образом, определение априорных данных как и дает нам желаемую «инвариантность». ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\varphi }}}$ ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\varphi }}}$ ${\textstyle p_{\theta }({\vec {\theta }})}$ $${\displaystyle p_{\varphi }({\vec {\varphi }})=p_{\theta }({\vec {\theta }})~|\det J|\,,}$$ ${\textstyle J}$ $${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \varphi _{j}}}.}$$ $${\displaystyle I_{\varphi }({\vec {\varphi }})=J^{T}I_{\theta }({\vec {\theta }})J,}$$ $${\displaystyle \det I_{\varphi }(\varphi )=\det I_{\theta }(\theta )(\det J)^{2}}$$ ${\textstyle p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}}$ ${\textstyle p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta }})}}}$

Атрибуты

С практической и математической точки зрения, веской причиной использования этого неинформативного априорного распределения вместо других, например, полученных с помощью предела в сопряженных семействах распределений, является то, что относительная вероятность объема вероятностного пространства не зависит от набора переменных параметров, выбранных для описания пространства параметров.

Иногда априорное распределение Джеффриса не может быть нормализовано , и, таким образом, является неправильным априорным распределением . Например, априорное распределение Джеффриса для среднего распределения является равномерным по всей действительной линии в случае гауссовского распределения с известной дисперсией.

Использование априорной вероятности Джеффриса нарушает сильную версию принципа правдоподобия , которая принимается многими, но далеко не всеми статистиками. При использовании априорной вероятности Джеффриса выводы о зависят не только от вероятности наблюдаемых данных как функции , но и от совокупности всех возможных экспериментальных результатов, определяемых экспериментальным планом, поскольку информация Фишера вычисляется из ожидания по выбранной совокупности. Соответственно, априорная вероятность Джеффриса, а следовательно, и выводы, сделанные с ее использованием, могут быть разными для двух экспериментов, включающих один и тот же параметр, даже если функции правдоподобия для двух экспериментов одинаковы — нарушение принципа сильного правдоподобия. ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\theta }}}$

Минимальная длина описания

В подходе минимальной длины описания к статистике цель состоит в том, чтобы описать данные как можно компактнее, где длина описания измеряется в битах используемого кода. Для параметрического семейства распределений сравнивается код с лучшим кодом, основанным на одном из распределений в параметризованном семействе. Главный результат заключается в том, что в экспоненциальных семействах , асимптотически для большого размера выборки, код, основанный на распределении, которое является смесью элементов в экспоненциальном семействе с априорным распределением Джеффриса, является оптимальным. Этот результат сохраняется, если ограничить набор параметров компактным подмножеством внутри полного пространства параметров ^{[ необходима цитата ]} . Если используется полный параметр, следует использовать модифицированную версию результата.

Примеры

Априорное распределение Джеффриса для параметра (или набора параметров) зависит от статистической модели.

Распределение Гаусса со средним параметром

Для гауссовского распределения действительного значения с фиксированным априором Джеффриса для среднего является То есть априор Джеффриса для не зависит от ; это ненормализованное равномерное распределение на действительной прямой — распределение, которое равно 1 (или некоторой другой фиксированной константе) для всех точек. Это несобственное априорное распределение , и, с точностью до выбора константы, это уникальное распределение, инвариантное относительно трансляции для действительных чисел ( мера Хаара относительно сложения действительных чисел), соответствующее среднему значению, являющемуся мерой местоположения , и инвариантность относительно трансляции, соответствующая отсутствию информации о местоположении. ${\textstyle x}$ $${\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}}$$ ${\textstyle \sigma }$ ${\textstyle \mu }$ $${\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\sigma ^{2}/\sigma ^{4}}}\propto 1.\end{aligned}}}$$ ${\textstyle \mu }$ ${\textstyle \mu }$

Распределение Гаусса со стандартным отклонением параметра

Для гауссовского распределения действительного значения с фиксированным априорным распределением Джеффриса для стандартного отклонения является Эквивалентно, априорное распределение Джеффриса для представляет собой ненормализованное равномерное распределение на действительной прямой, и, таким образом, это распределение также известно как ${\textstyle x}$ $${\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},}$$ ${\textstyle \mu }$ ${\textstyle \sigma >0}$ $${\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}}$$ ${\textstyle \log \sigma =\int d\sigma /\sigma }$Логарифмическое априорное распределение . Аналогично, априорное распределение Джеффриса длятакже однородно. Это уникальное (с точностью до кратного) априорное распределение (на положительных действительных числах), которое являетсямасштабно-инвариантным (мера Хаараотносительно умножения положительных действительных чисел), что соответствует стандартному отклонению, являющемуся мероймасштаба, а масштабно-инвариантность соответствует отсутствию информации о масштабе. Как и в случае с равномерным распределением на действительных числах, этонеправильное априорное распределение. ${\textstyle \log \sigma ^{2}=2\log \sigma }$

Распределение Пуассона с параметром скорости

Для распределения Пуассона неотрицательного целого числа априорное распределение Джеффриса для параметра скорости равно Эквивалентно, априорное распределение Джеффриса для — это ненормализованное равномерное распределение на неотрицательной действительной прямой. ${\textstyle n}$ $${\displaystyle f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},}$$ ${\textstyle \lambda \geq 0}$ $${\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}}$$ ${\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}$

процесс Бернулли

Для монеты, которая выпадает с вероятностью "орёл" и с вероятностью "решка" , для заданного значения вероятность равна . Априорное распределение Джеффриса для параметра равно ${\textstyle \gamma \in [0,1]}$ ${\textstyle 1-\gamma }$ ${\textstyle (H,T)\in \{(0,1),(1,0)\}}$ ${\textstyle \gamma ^{H}(1-\gamma )^{T}}$ ${\textstyle \gamma }$

$${\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}}$$

Это распределение арксинуса и является бета-распределением с . Более того, если то То есть, априорное распределение Джеффриса для равномерно в интервале . Эквивалентно, равномерно на всей окружности . ${\textstyle \alpha =\beta =1/2}$ ${\textstyle \gamma =\sin ^{2}(\theta )}$ $${\displaystyle \Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.}$$ ${\textstyle \theta }$ ${\textstyle [0,\pi /2]}$ ${\textstyle \theta }$ ${\textstyle [0,2\pi ]}$

Н-гранная кость со смещенными вероятностями

Аналогично, для броска -гранной кости с вероятностями исходов , каждая из которых неотрицательна и удовлетворяет , априорная вероятность Джеффриса для является распределением Дирихле со всеми (альфа) параметрами, установленными на одну половину. Это равносильно использованию псевдосчета в одну половину для каждого возможного результата. ${\textstyle N}$ ${\textstyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})}$ ${\textstyle \sum _{i=1}^{N}\gamma _{i}=1}$ ${\textstyle {\vec {\gamma }}}$

Эквивалентно, если мы запишем для каждого , то априорное распределение Джеффриса для будет равномерным на -мерной единичной сфере ( т.е. оно будет равномерным на поверхности -мерного единичного шара ). ${\textstyle \gamma _{i}=\varphi _{i}^{2}}$ ${\textstyle i}$ ${\textstyle {\vec {\varphi }}}$ ${\textstyle (N-1)}$ ${\textstyle N}$

Обобщения

Вероятностное сопоставление априорных

В 1963 году Уэлч и Пирс показали, что для скалярного параметра θ априорное распределение Джеффриса является «вероятностно-согласованным» в том смысле, что апостериорные предсказательные вероятности согласуются с частотными вероятностями, а достоверные интервалы выбранной ширины совпадают с частотными доверительными интервалами . ^[6] В дальнейшем Пирс показал, что это неверно для многопараметрического случая, ^[7] вместо этого приведя к понятию вероятностно-согласованных априорных распределений, которые только неявно определяются как распределение вероятностей, решающее определенное уравнение в частных производных, включающее информацию Фишера . ^[8]

α-параллельный априорный

Используя инструменты информационной геометрии , априор Джеффриса можно обобщить для получения априорных данных, которые кодируют геометрическую информацию статистической модели, чтобы быть инвариантными при изменении координат параметров. ^[9] Особый случай, так называемый априор Вейля, определяется как объемная форма на многообразии Вейля . ^[10] 

Ссылки

1. Джеффрис Х (1946). «Инвариантная форма для априорной вероятности в задачах оценки». Труды Лондонского королевского общества . Серия A, Математические и физические науки. 186 (1007): 453–461. Bibcode : 1946RSPSA.186..453J. doi : 10.1098/rspa.1946.0056. JSTOR  97883. PMID  20998741.
2. Jaynes ET (сентябрь 1968 г.). «Априорные вероятности» (PDF) . IEEE Transactions on Systems Science and Cybernetics . 4 (3): 227–241. doi :10.1109/TSSC.1968.300117.
3. Firth, David (1992). "Снижение смещения, априорная вероятность Джеффри и GLIM". В Fahrmeir, Ludwig; Francis, Brian; Gilchrist, Robert; Tutz, Gerhard (ред.). Advances in GLIM and Statistical Modelling . New York: Springer. pp. 91–100. doi :10.1007/978-1-4612-2952-0_15. ISBN 0-387-97873-9.
4. Мэджис, Дэвид (2015). «Заметка о взвешенном правдоподобии и модальной оценке Джеффриса уровней квалификации в моделях ответов на политомические элементы». Психометрика . 80 : 200–204. doi :10.1007/s11336-013-9378-5.
5. Роберт CP, Шопен N, Руссо J (2009). «Пересмотр теории вероятностей Гарольда Джеффриса». Статистическая наука . 24 (2). arXiv : 0804.3173 . doi : 10.1214/09-STS284 .
6. Уэлч, BL; Пирс, HW (1963). «О формулах для точек доверия на основе интегралов взвешенных правдоподобий». Журнал Королевского статистического общества . Серия B (Методологическая). 25 (2): 318–329. doi :10.1111/j.2517-6161.1963.tb00512.x.
7. Пирс, Х. У. (1965). «О точках доверия и байесовских точках вероятности в случае нескольких параметров». Журнал Королевского статистического общества . Серия B (Методологическая). 27 (1): 9–16. doi :10.1111/j.2517-6161.1965.tb00581.x.
8. Scricciolo, Catia (1999). «Вероятность соответствия априорных распределений: обзор». Журнал Итальянского статистического общества . 8. 83. doi :10.1007/BF03178943.
9. Takeuchi, J.; Amari, S. (2005). "α-параллельный априор и его свойства". IEEE Transactions on Information Theory . 51 (3): 1011–1023. doi :10.1109/TIT.2004.842703.
10. Цзян, Жуйчао; Таваколи, Джавад; Чжао, Ицян (2020). «Вейлевская априорная статистика и байесовская статистика». Энтропия . 22 (4). 467. doi : 10.3390/e22040467 . PMC 7516948 . 

Дальнейшее чтение

• Касс Р. Э., Вассерман Л. (1996). «Выбор априорных распределений по формальным правилам». Журнал Американской статистической ассоциации . 91 (435): 1343–1370. doi :10.1080/01621459.1996.10477003.
• Ли, Питер М. (2012). «Правило Джеффри». Байесовская статистика: Введение (4-е изд.). Wiley. С. 96–102. ISBN 978-1-118-33257-3.