Относительная вероятность

Инструмент статистического моделирования

В статистике при выборе статистической модели для заданных данных относительное правдоподобие сравнивает относительные правдоподобия различных моделей-кандидатов или различных значений параметра одной модели.

Относительная вероятность значений параметров

Предположим, что нам даны некоторые данные x , для которых у нас есть статистическая модель с параметром θ . Предположим, что максимальная оценка правдоподобия для θ равна . Относительные правдоподобия других значений θ могут быть найдены путем сравнения правдоподобий этих других значений с правдоподобием . Относительное правдоподобие θ определяется как ^{[1] ​​[2] [3] [4] [5]} ${\displaystyle {\hat {\theta }}}$ ${\displaystyle {\hat {\theta }}}$

${\displaystyle {\frac {~{\mathcal {L}}(\theta \mid x)~}{~{\mathcal {L}}({\hat {\theta }}\mid x)~}},}$

где обозначает функцию правдоподобия . Таким образом, относительное правдоподобие — это отношение правдоподобия с фиксированным знаменателем . ${\displaystyle {\mathcal {L}}(\theta \mid x)}$ ${\displaystyle {\mathcal {L}}({\hat {\theta }}\mid x)}$

Функция

${\displaystyle \theta \mapsto {\frac {~{\mathcal {L}}(\theta \mid x)~}{~{\mathcal {L}}({\hat {\theta }}\mid x)~}}}$

— это функция относительного правдоподобия .

Область вероятности

Область правдоподобия — это множество всех значений θ , относительная вероятность которых больше или равна заданному порогу. В процентном отношении область правдоподобия p % для θ определяется как. ^{[1] [3] [6]}

${\displaystyle \left\{\theta :{\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta \,}}\mid x)}}\geq {\frac {p}{100}}\right\}.}$

Если θ — это один действительный параметр, область правдоподобия p % обычно будет включать интервал действительных значений. Если область включает интервал, то она называется интервалом правдоподобия . ^{[1] [3] [7]}

Интервалы правдоподобия и, в более общем смысле, области правдоподобия используются для оценки интервалов в статистике, основанной на правдоподобии (статистика «likelihoodist»): Они похожи на доверительные интервалы в частотной статистике и достоверные интервалы в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно в терминах относительного правдоподобия, а не в терминах вероятности покрытия (частотности) или апостериорной вероятности (байесианства).

При наличии модели интервалы правдоподобия можно сравнить с доверительными интервалами. Если θ — один действительный параметр, то при определенных условиях интервал правдоподобия 14,65% (вероятность около 1:7) для θ будет таким же, как доверительный интервал 95% (вероятность покрытия 19/20). ^{[1] [6]} В несколько иной формулировке, подходящей для использования логарифмических правдоподобий (см. теорему Уилкса ), тестовая статистика в два раза больше разницы в логарифмических правдоподобиях, а распределение вероятностей тестовой статистики приблизительно равно распределению хи -квадрат со степенями свободы (df), равными разнице в df-s между двумя моделями (следовательно, интервал правдоподобия e ⁻² такой же, как доверительный интервал 0,954; предполагая, что разница в df-s равна 1). ^{[6] [7]}

Относительная вероятность моделей

Определение относительного правдоподобия можно обобщить для сравнения различных статистических моделей . Это обобщение основано на AIC (критерий информации Акаике) или иногда на AICc (критерий информации Акаике с коррекцией).

Предположим, что для некоторых данных у нас есть две статистические модели, M ₁ и M ₂ . Также предположим, что AIC( M ₁ ) ≤ AIC( M ₂ ) . Тогда относительное правдоподобие M ₂ по отношению к M ₁ определяется следующим образом. ^[8]

${\displaystyle \exp \left({\frac {\operatorname {AIC} (M_{1})-\operatorname {AIC} (M_{2})}{2}}\right)}$

Чтобы увидеть, что это обобщение более раннего определения, предположим, что у нас есть некоторая модель M с (возможно, многомерным) параметром θ . Затем для любого θ положим M ₂ = M ( θ ) , а также положим M ₁ = M ( ) . Общее определение теперь дает тот же результат, что и более раннее определение. ${\displaystyle {\hat {\theta }}}$

Смотрите также

• Выбор статистической модели
• Спецификация статистической модели
• Статистическая проверка модели

Примечания

1. Kalbfleisch, JG (1985), Вероятность и статистический вывод , Springer, §9.3
2. Azzalini, A. (1996), Статистический вывод — основанный на правдоподобии, Chapman & Hall , §1.4.2, ISBN 9780412606502
3. Sprott, DA (2000), Статистический вывод в науке , Springer, глава 2
4. Дэвисон, AC (2008), Статистические модели , Cambridge University Press , §4.1.2
5. Хельд, Л.; Сабанес Бове, Д.С. (2014), Прикладной статистический вывод — правдоподобие и Байес , Springer, §2.1
6. Rossi, RJ (2018), Математическая статистика , Wiley , стр. 267
7. Hudson, DJ (1971), «Интервальная оценка с помощью функции правдоподобия», Журнал Королевского статистического общества, Серия B , 33 : 256–262
8. Бернхэм, К. П.; Андерсон, Д. Р. (2002), Выбор модели и многомодельный вывод: практический информационно-теоретический подход , Springer, §2.8