Джеффрис приор

Неинформативное предварительное распределение

В байесовской статистике априорное распределение Джеффриса является неинформативным априорным распределением для пространства параметров . Названная в честь сэра Гарольда Джеффриса , ^[1] ее функция плотности пропорциональна квадратному корню из определителя информационной матрицы Фишера :

$${\displaystyle p\left(\theta \right)\propto \left|I(\theta )\right|^{1/2}.\,}$$

Его ключевой особенностью является то, что он инвариантен при изменении координат вектора параметров . То есть относительная вероятность, присвоенная объему вероятностного пространства с использованием априора Джеффриса, будет одинаковой независимо от параметризации, используемой для определения априора Джеффриса. Это делает его особенно интересным для использования с параметрами масштаба . ^[2] В качестве конкретного примера: распределение Бернулли может быть параметризовано вероятностью появления p или отношением шансов . Наивный однородный априор в этом случае не инвариантен к этой репараметризации, а априор Джеффриса инвариантен. ${\textstyle \theta }$

Было показано, что при оценке максимального правдоподобия экспоненциальных семейных моделей штрафные члены, основанные на априоре Джеффриса, уменьшают асимптотическую погрешность в точечных оценках. ^{[3] [4]}

Репараметризация

Однопараметрический случай

Если и являются двумя возможными параметризациями статистической модели и является непрерывно дифференцируемой функцией от , мы говорим, что априор «инвариантен» относительно репараметризации, если это так, если априорные значения и связаны обычной теоремой о замене переменных . ${\textstyle \theta }$ ${\textstyle \varphi }$ ${\textstyle \theta }$ ${\textstyle \varphi }$ ${\textstyle p_{\theta }(\theta )}$ $${\displaystyle p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|{\frac {d\theta }{d\varphi }}\right|,}$$ ${\textstyle p_{\theta }(\theta )}$ ${\textstyle p_{\varphi }(\varphi )}$

Поскольку информация Фишера трансформируется при репараметризации, определяя априоры как и дает нам желаемую «инвариантность». ^[5] $${\displaystyle I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2},}$$ ${\textstyle p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}}$ ${\textstyle p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}}$

Многопараметрический случай

Аналогично однопараметрическому случаю, пусть и будут двумя возможными параметризациями статистической модели с непрерывно дифференцируемой функцией . Мы называем априорный «инвариант» при репараметризации, если где - матрица Якобиана с записями. Поскольку информационная матрица Фишера трансформируется при репараметризации, как у нас есть, и, таким образом, определяя априоры как и дает нам желаемую «инвариантность». ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\varphi }}}$ ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\varphi }}}$ ${\textstyle p_{\theta }({\vec {\theta }})}$ $${\displaystyle p_{\varphi }({\vec {\varphi }})=p_{\theta }({\vec {\theta }})~|\det J|\,,}$$ ${\textstyle J}$ $${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \varphi _{j}}}.}$$ $${\displaystyle I_{\varphi }({\vec {\varphi }})=J^{T}I_{\theta }({\vec {\theta }})J,}$$ $${\displaystyle \det I_{\varphi }(\varphi )=\det I_{\theta }(\theta )(\det J)^{2}}$$ ${\textstyle p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}}$ ${\textstyle p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta }})}}}$

Атрибуты

С практической и математической точки зрения, веская причина использовать этот неинформативный априор вместо других, например, полученных с помощью предела в сопряженных семействах распределений, заключается в том, что относительная вероятность объема вероятностного пространства не зависит от набор переменных параметров, выбранный для описания пространства параметров.

Иногда априор Джеффриса не может быть нормализован и, таким образом, является неправильным априором . Например, априор Джеффриса для среднего распределения является однородным по всей действительной линии в случае гауссовского распределения с известной дисперсией.

Использование априора Джеффриса нарушает строгую версию принципа правдоподобия , которую принимают многие, но далеко не все статистики. При использовании априора Джеффриса выводы о зависят не только от вероятности наблюдаемых данных как функции , но и от совокупности всех возможных экспериментальных результатов, определяемых планом эксперимента, поскольку информация Фишера вычисляется на основе ожидания над выбранной вселенной. Соответственно, априор Джеффриса и, следовательно, выводы, сделанные с его помощью, могут быть разными для двух экспериментов с одним и тем же параметром, даже если функции правдоподобия для двух экспериментов одинаковы, что является нарушением принципа сильного правдоподобия. ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\theta }}}$ ${\textstyle {\vec {\theta }}}$

Минимальная длина описания

В подходе к статистике с минимальной длиной описания цель состоит в том, чтобы описать данные как можно более компактно, при этом длина описания измеряется в битах используемого кода. Для параметрического семейства распределений код сравнивается с лучшим кодом, основанным на одном из распределений параметризованного семейства. Основной результат состоит в том, что в экспоненциальных семействах , асимптотически для большого размера выборки, оптимальным является код, основанный на распределении, представляющем собой смесь элементов экспоненциального семейства с априором Джеффриса. Этот результат ^{справедлив ,} если ограничить набор параметров компактным подмножеством внутри полного пространства ^{параметров} . Если используется полный параметр, следует использовать модифицированную версию результата.

Примеры

Априор Джеффриса для параметра (или набора параметров) зависит от статистической модели.

Распределение Гаусса со средним параметром

Для гауссовского распределения действительного значения с фиксированным априорным значением Джеффриса для среднего является То есть априорное значение Джеффриса для не зависит от ; это ненормализованное равномерное распределение на реальной линии — распределение, равное 1 (или некоторой другой фиксированной константе) для всех точек. Это неправильный априор и, с точностью до выбора константы, является уникальным трансляционно -инвариантным распределением действительных чисел ( мера Хаара относительно сложения действительных чисел), соответствующим среднему значению, являющемуся мерой местоположения и трансляционной инвариантности. соответствует отсутствию информации о местоположении. ${\textstyle x}$ $${\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}}$$ ${\textstyle \sigma }$ ${\textstyle \mu }$ $${\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\sigma ^{2}/\sigma ^{4}}}\propto 1.\end{aligned}}}$$ ${\textstyle \mu }$ ${\textstyle \mu }$

Распределение Гаусса с параметром стандартного отклонения

Для гауссовского распределения действительного значения с фиксированным априорным значением Джеффриса для стандартного отклонения является эквивалентно априорное значение Джеффриса для ненормализованного равномерного распределения на реальной линии, и поэтому это распределение также известно как ${\textstyle x}$ $${\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},}$$ ${\textstyle \mu }$ ${\textstyle \sigma >0}$ $${\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}}$$ ${\textstyle \log \sigma =\int d\sigma /\sigma }$логарифмический априор . Точно так же априор Джеффрисатакже однороден. Это уникальный (вплоть до кратного) априор (в положительных действительных числах), который являетсямасштабно-инвариантным (мера Хаараотносительно умножения положительных действительных чисел), что соответствует стандартному отклонению, являющемуся мерой масштаба,имасштабной инвариантности, соответствующей нет информации о масштабе. Как и в случае с равномерным распределением действительных чисел, этонеправильный априор. ${\textstyle \log \sigma ^{2}=2\log \sigma }$

Распределение Пуассона с параметром скорости

Для распределения Пуассона неотрицательного целого числа априорное значение Джеффриса для параметра скорости равно . Эквивалентно априорное значение Джеффриса для является ненормализованным равномерным распределением на неотрицательной действительной линии. ${\textstyle n}$ $${\displaystyle f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},}$$ ${\textstyle \lambda \geq 0}$ $${\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}}$$ ${\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}$

Суд над Бернулли

Для монеты, у которой с вероятностью «орёл» и с вероятностью «решка» , для данного значения вероятность равна . Приор Джеффриса для параметра равен ${\textstyle \gamma \in [0,1]}$ ${\textstyle 1-\gamma }$ ${\textstyle (H,T)\in \{(0,1),(1,0)\}}$ ${\textstyle \gamma ^{H}(1-\gamma )^{T}}$ ${\textstyle \gamma }$

$${\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}}$$

Это распределение арксинуса и бета-распределение с . Более того, если то То есть априорное значение Джеффриса для однородно на интервале . Эквивалентно, равномерно по всему кругу . ${\textstyle \alpha =\beta =1/2}$ ${\textstyle \gamma =\sin ^{2}(\theta )}$ $${\displaystyle \Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.}$$ ${\textstyle \theta }$ ${\textstyle [0,\pi /2]}$ ${\textstyle \theta }$ ${\textstyle [0,2\pi ]}$

Ндвусторонний кубик со смещенными вероятностями

Аналогично, для броска односторонней игральной кости с вероятностями результата , каждая из которых неотрицательна и удовлетворяет , априорное распределение Джеффриса для является распределением Дирихле со всеми (альфа) параметрами, равными половине. Это равносильно использованию псевдосчета , равного половине для каждого возможного результата. ${\textstyle N}$ ${\textstyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})}$ ${\textstyle \sum _{i=1}^{N}\gamma _{i}=1}$ ${\textstyle {\vec {\gamma }}}$

Эквивалентно, если мы пишем для каждого , то априор Джеффриса для является однородным на -мерной единичной сфере ( т. е . он однороден на поверхности -мерного единичного шара ). ${\textstyle \gamma _{i}=\varphi _{i}^{2}}$ ${\textstyle i}$ ${\textstyle {\vec {\varphi }}}$ ${\textstyle (N-1)}$ ${\textstyle N}$

Обобщения

Предварительное сопоставление вероятностей

В 1963 году Уэлч и Пирс показали, что для скалярного параметра θ априор Джеффриса является «вероятностным сопоставлением» в том смысле, что апостериорные прогностические вероятности согласуются с частотными вероятностями, а достоверные интервалы выбранной ширины совпадают с частотными доверительными интервалами . ^[6] В дальнейшем Пирс показал, что это неверно для многопараметрического случая, ^[7] вместо этого привело к идее вероятностного сопоставления априорных значений, которые лишь неявно определяются как распределение вероятностей, решающее определенный частный дифференциал. уравнение , включающее информацию Фишера . ^[8]

α-параллельный априор

Используя инструменты информационной геометрии , априор Джеффриса можно обобщить с целью получения априоров, кодирующих геометрическую информацию статистической модели, чтобы быть инвариантными при изменении координаты параметров. ^[9] Особый случай, так называемый априор Вейля, определяется как форма объема на многообразии Вейля . ^[10] 

Рекомендации

1. Джеффрис Х (1946). «Инвариантная форма априорной вероятности в задачах оценки». Труды Лондонского королевского общества . Серия А, Математические и физические науки. 186 (1007): 453–461. Бибкод : 1946RSPSA.186..453J. дои : 10.1098/rspa.1946.0056. JSTOR  97883. PMID  20998741.
2. Джейнс ET (сентябрь 1968 г.). «Априорные вероятности» (PDF) . Транзакции IEEE по системным наукам и кибернетике . 4 (3): 227–241. дои : 10.1109/TSSC.1968.300117.
3. Ферт, Дэвид (1992). «Уменьшение предвзятости, приор Джеффриса и GLIM». В Фармейре, Людвиг; Фрэнсис, Брайан; Гилкрист, Роберт; Тутц, Герхард (ред.). Достижения в области GLIM и статистического моделирования . Нью-Йорк: Спрингер. стр. 91–100. дои : 10.1007/978-1-4612-2952-0_15. ISBN 0-387-97873-9.
4. Магис, Дэвид (2015). «Заметка о взвешенном правдоподобии и модальной оценке Джеффриса уровней квалификации в моделях ответов на политомические задания». Психометрика . 80 : 200–204. дои : 10.1007/s11336-013-9378-5.
5. Роберт CP, Шопен Н, Руссо Дж (2009). «Возвращение к теории вероятностей Гарольда Джеффриса». Статистическая наука . 24 (2). arXiv : 0804.3173 . дои : 10.1214/09-STS284 .
6. Уэлч, БЛ; Пирс, HW (1963). «О формулах для точек уверенности на основе интегралов взвешенных правдоподобий». Журнал Королевского статистического общества . Серия Б (Методическая). 25 (2): 318–329. doi :10.1111/j.2517-6161.1963.tb00512.x.
7. Пирс, HW (1965). «О точках уверенности и точках байесовской вероятности в случае нескольких параметров». Журнал Королевского статистического общества . Серия Б (Методическая). 27 (1): 9–16. doi :10.1111/j.2517-6161.1965.tb00581.x.
8. Скриччоло, Катя (1999). «Априоры вероятностного соответствия: обзор». Журнал Итальянского статистического общества . 8 . 83. дои : 10.1007/BF03178943.
9. Такеучи, Дж.; Амари, С. (2005). «α-параллельный приор и его свойства». Транзакции IEEE по теории информации . 51 (3): 1011–1023. дои : 10.1109/TIT.2004.842703.
10. Цзян, Жуйчао; Таваколи, Джавад; Чжао, Ицян (2020). «Вейль Прайор и байесовская статистика». Энтропия . 22 (4). 467. дои : 10.3390/e22040467 . ПМЦ 7516948 . 

дальнейшее чтение

• Касс Р.Э., Вассерман Л. (1996). «Выбор предшествующих распределений по формальным правилам». Журнал Американской статистической ассоциации . 91 (435): 1343–1370. дои : 10.1080/01621459.1996.10477003.
• Ли, Питер М. (2012). «Правило Джеффриса». Байесовская статистика: Введение (4-е изд.). Уайли. стр. 96–102. ISBN 978-1-118-33257-3.