Байесовский фактор

Statistical factor used to compare competing hypotheses

Фактор Байеса представляет собой соотношение двух конкурирующих статистических моделей , представленных их доказательствами , и используется для количественной оценки поддержки одной модели над другой. ^[1] Рассматриваемые модели могут иметь общий набор параметров, например нулевую гипотезу и альтернативу, но это не обязательно; например, это также может быть нелинейная модель по сравнению с ее линейной аппроксимацией . Фактор Байеса можно рассматривать как байесовский аналог теста отношения правдоподобия , хотя он использует (интегрированное) предельное правдоподобие, а не максимальное правдоподобие. Таким образом, обе величины совпадают только при простых гипотезах (например, двух конкретных значениях параметров). ^[2] Кроме того, в отличие от проверки значимости нулевой гипотезы , факторы Байеса поддерживают оценку доказательств в пользу нулевой гипотезы, а не только позволяют отклонить или не отвергнуть нулевую гипотезу. ^[3]

Несмотря на концептуальную простоту, вычисление фактора Байеса может оказаться сложной задачей в зависимости от сложности модели и гипотез. ^[4] Поскольку выражения предельного правдоподобия в закрытой форме, как правило, недоступны, были предложены численные аппроксимации, основанные на выборках MCMC . ^[5] В некоторых особых случаях можно получить упрощенные алгебраические выражения; например, соотношение плотности Сэвиджа – Дики в случае точной (ограниченной равенством) гипотезы против неограниченной альтернативы. ^{[6] [7]} Другое приближение, полученное путем применения приближения Лапласа к интегрированному правдоподобию, известно как байесовский информационный критерий (BIC); ^[8] в больших наборах данных фактор Байеса будет приближаться к BIC по мере того, как влияние априорных значений ослабевает. В небольших наборах данных априорные значения обычно имеют значение и не должны быть неправильными , поскольку фактор Байеса будет неопределенным, если любой из двух интегралов в его отношении не конечен.

Определение

Фактор Байеса — это соотношение двух предельных правдоподобий; то есть вероятности двух статистических моделей, интегрированные по априорным вероятностям их параметров. ^[9]

Апостериорная вероятность модели M с учетом данных D определяется теоремой Байеса : ${\displaystyle \Pr(M|D)}$

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

Ключевой термин, зависящий от данных, представляет собой вероятность того, что некоторые данные будут получены в соответствии с предположением модели M ; правильная его оценка является ключом к сравнению байесовских моделей. ${\displaystyle \Pr(D|M)}$

Учитывая задачу выбора модели , в которой нужно выбрать одну из двух моделей на основе наблюдаемых данных D , правдоподобие двух разных моделей M ₁ и M ₂ , параметризованных векторами параметров модели и , оценивается с помощью байесовского фактора K , заданного к ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Когда две модели имеют одинаковую априорную вероятность, так что фактор Байеса равен отношению апостериорных вероятностей M ₁ и M ₂ . Если вместо интеграла фактора Байеса используется правдоподобие, соответствующее оценке максимального правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия . В отличие от теста отношения правдоподобия, это сравнение байесовских моделей не зависит от какого-либо отдельного набора параметров, поскольку оно интегрируется по всем параметрам в каждой модели (по отношению к соответствующим априорным значениям). Преимущество использования факторов Байеса состоит в том, что оно автоматически и вполне естественно включает штраф за включение слишком большой структуры модели. ^[10] Таким образом, это защищает от переобучения . Для моделей, в которых явная версия правдоподобия недоступна или слишком дорога для численной оценки, для выбора модели в байесовской структуре можно использовать приближенные байесовские вычисления ^[11] с оговоркой, что приближенные байесовские оценки байесовских факторов часто являются смещенными. . ^[12] ${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$

Другие подходы:

• рассматривать сравнение моделей как проблему принятия решения , вычисляя ожидаемую ценность или стоимость каждого выбора модели;
• использовать минимальную длину сообщения (MML).
• использовать минимальную длину описания (MDL).

Интерпретация

Значение K > 1 означает, что M ₁ более сильно подтверждается рассматриваемыми данными, чем M ₂ . Обратите внимание, что классическая проверка гипотез дает одной гипотезе (или модели) предпочтительный статус («нулевая гипотеза») и рассматривает только доказательства против нее. Гарольд Джеффрис дал шкалу интерпретации K : ^[13]

Во втором столбце приведены соответствующие веса доказательств в децихартлеях (также известных как децибаны ); биты добавлены в третий столбец для ясности. По мнению И. Дж. Гуда, изменение веса доказательств на 1 децибан или 1/3 бита (т. е. изменение отношения шансов с четов примерно до 5:4) примерно настолько точно, насколько люди могут разумно воспринимать степень своей веры. в гипотезе в повседневном использовании. ^[14]

Альтернативная таблица, широко цитируемая, представлена ​​Кассом и Рафтери (1995): ^[10]

Пример

Предположим, у нас есть случайная величина , которая приводит либо к успеху, либо к неудаче. Мы хотим сравнить модель M ₁ , где вероятность успеха равна q = 1 ⁄ 2 , и другую модель M ₂ , где q неизвестно, и мы берем априорное распределение для q , равномерное на [0,1]. Мы берем выборку из 200 человек и находим 115 успешных и 85 неудачных. Вероятность можно рассчитать в соответствии с биномиальным распределением :

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Таким образом, мы имеем для M ₁

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006}$

тогда как для M ₂ имеем

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005}$

Тогда это соотношение равно 1,2, о котором «едва ли стоит упоминать», даже если оно очень незначительно указывает на M ₁ .

Проверка частотной гипотезы M 1 ( _здесь рассматриваемая как нулевая гипотеза ) дала бы совсем другой результат. Такой тест говорит, что M ₁ следует отклонить при уровне значимости 5%, поскольку вероятность получения 115 или более успехов из выборки из 200, если q = 1/2 , равна 0,02 , а в качестве двустороннего теста получения экстремальное значение, равное или более экстремальное, чем 115, составляет 0,04. Обратите внимание, что 115 отличается от 100 более чем на два стандартных отклонения. Таким образом, хотя проверка частотной гипотезы даст значимые результаты на уровне значимости 5%, фактор Байеса вряд ли считает это экстремальным результатом. Однако обратите внимание, что неравномерный априор (например, тот, который отражает тот факт, что вы ожидаете, что количество успехов и неудач будет одного и того же порядка) может привести к тому, что байесовский фактор будет более согласовываться с частотным коэффициентом. проверка гипотезы.

Классический тест отношения правдоподобия нашел бы оценку максимального правдоподобия для q , а именно , откуда ${\displaystyle {\hat {q}}={\frac {115}{200}}=0.575}$

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06}$

(вместо усреднения по всем возможным q ). Это дает отношение правдоподобия 0,1 и указывает на M ₂ .

M ₂ — более сложная модель, чем M ₁ , поскольку у нее есть свободный параметр, который позволяет более точно моделировать данные. Способность факторов Байеса учитывать это является причиной того, что байесовский вывод был выдвинут в качестве теоретического обоснования и обобщения бритвы Оккама , уменьшающей ошибки типа I. ^[15]

С другой стороны, современный метод относительного правдоподобия учитывает количество свободных параметров в моделях, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M ₁ имеет 0 параметров, поэтому ее значение информационного критерия Акаике (AIC) равно . Модель M ₂ имеет 1 параметр, поэтому ее значение AIC равно . Следовательно, M ₁ примерно в раз более вероятен, чем M ₂ , чтобы минимизировать потерю информации. Таким образом, М ₂ несколько предпочтительнее, но М ₁ нельзя исключать. ${\displaystyle 2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467}$ ${\displaystyle 2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297}$ ${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$

Смотрите также

• Математический портал

• Информационный критерий Акаике
• Приблизительное байесовское вычисление
• Байесовский информационный критерий
• Информационный критерий отклонения
• Парадокс Линдли
• Минимальная длина сообщения
• Выбор модели
• E-значение

Статистические коэффициенты

• Коэффициент шансов
• Относительный риск

Рекомендации

1. Мори, Ричард Д.; Ромейн, Ян-Виллем; Рудер, Джеффри Н. (2016). «Философия байесовских факторов и количественная оценка статистических данных». Журнал математической психологии . 72 : 6–18. дои : 10.1016/j.jmp.2015.11.001 .
2. Лесаффр, Эммануэль; Лоусон, Эндрю Б. (2012). «Проверка байесовской гипотезы». Байесовская биостатистика . Сомерсет: Джон Уайли и сыновья. стр. 72–78. дои : 10.1002/9781119942412.ch3. ISBN 978-0-470-01823-1.
3. Ли, Александр; и другие. (2020). «Байесовская методология сэра Гарольда Джеффриса как практическая альтернатива проверке гипотезы о значении P». Вычислительный мозг и поведение . 3 (2): 153–161. дои : 10.1007/s42113-019-00070-x .
4. Льоренте, Фернандо; и другие. (2023). «Вычисление предельного правдоподобия для выбора модели и проверки гипотез: обширный обзор». Обзор СИАМ . появиться: 3–58. arXiv : 2005.08334 . дои : 10.1137/20M1310849. S2CID  210156537.
5. Конгдон, Питер (2014). «Оценка вероятностей модели или предельной вероятности на практике». Прикладное байесовское моделирование (2-е изд.). Уайли. стр. 38–40. ISBN 978-1-119-95151-3.
6. Куп, Гэри (2003). «Сравнение моделей: соотношение плотности Сэвиджа – Дики». Байесовская эконометрика . Сомерсет: Джон Уайли и сыновья. стр. 69–71. ISBN 0-470-84567-8.
7. Вагенмейкерс, Эрик-Ян; Лодевикс, Том; Куриял, Химаншу; Грасман, Рауль (2010). «Проверка байесовских гипотез для психологов: учебное пособие по методу Сэвиджа – Дики» (PDF) . Когнитивная психология . 60 (3): 158–189. doi : 10.1016/j.cogpsych.2009.12.001. PMID  20064637. S2CID  206867662.
8. Ибрагим, Джозеф Г.; Чен, Мин-Хуэй; Синха, Дебаджьоти (2001). «Сравнение моделей». Байесовский анализ выживания . Серия Спрингера по статистике. Нью-Йорк: Спрингер. стр. 246–254. дои : 10.1007/978-1-4757-3447-8_6. ISBN 0-387-95277-2.
9. Гилл, Джефф (2002). «Проверка байесовской гипотезы и фактор Байеса». Байесовские методы: подход социальных и поведенческих наук . Чепмен и Холл. стр. 199–237. ISBN 1-58488-288-3.
10. Роберт Э. Касс и Адриан Э. Рафтери (1995). «Факторы Байеса» (PDF) . Журнал Американской статистической ассоциации . 90 (430): 791. дои : 10.2307/2291091. JSTOR  2291091.
11. Тони, Т.; Штумпф, магистр здравоохранения (2009). «Выбор модели динамических систем на основе моделирования в системной и популяционной биологии». Биоинформатика . 26 (1): 104–10. arXiv : 0911.1705 . doi : 10.1093/биоинформатика/btp619. ПМЦ 2796821 . ПМИД  19880371. 
12. Роберт, CP; Ж. Корнюэ; Дж. Марин и Н.С. Пиллаи (2011). «Недостаток уверенности в выборе приближенной байесовской модели вычислений». Труды Национальной академии наук . 108 (37): 15112–15117. Бибкод : 2011PNAS..10815112R. дои : 10.1073/pnas.1102900108 . ПМК 3174657 . ПМИД  21876135. 
13. Джеффрис, Гарольд (1998) [1961]. Теория вероятностей (3-е изд.). Оксфорд, Англия. п. 432. ИСБН 9780191589676.{{cite book}}: CS1 maint: location missing publisher (link)
14. Хорошо, IJ (1979). «Исследования по истории вероятности и статистики. XXXVII Статистическая работа Тьюринга во Второй мировой войне». Биометрика . 66 (2): 393–396. дои : 10.1093/биомет/66.2.393. МР  0548210.
15. Затачивание бритвы Оккама на байесовском ремне

дальнейшее чтение

• Бернардо, Дж.; Смит, AFM (1994). Байесовская теория . Джон Уайли. ISBN 0-471-92416-4.
• Денисон, DGT; Холмс, CC; Маллик, Британская Колумбия; Смит, AFM (2002). Байесовские методы нелинейной классификации и регрессии . Джон Уайли. ISBN 0-471-49036-9.
• Динес, З. (2019). Откуда мне знать, что предсказывает моя теория? Достижения в методах и практике психологической науки doi : 10.1177/2515245919876960
• Дуда, Ричард О.; Харт, Питер Э.; Сторк, Дэвид Г. (2000). «Раздел 9.6.5». Классификация узоров (2-е изд.). Уайли. стр. 487–489. ISBN 0-471-05669-3.
• Гельман А.; Карлин, Дж.; Стерн, Х.; Рубин, Д. (1995). Байесовский анализ данных . Лондон: Чепмен и Холл . ISBN 0-412-03991-5.
• Джейнс, ET (1994), Теория вероятностей: логика науки , глава 24.
• Кадане, Джозеф Б.; Дики, Джеймс М. (1980). «Байесова теория принятия решений и упрощение моделей». В Кменте, Ян; Рэмси, Джеймс Б. (ред.). Оценка эконометрических моделей . Нью-Йорк: Академическая пресса. стр. 245–268. ISBN 0-12-416550-8.
• Ли, премьер-министр (2012). Байесовская статистика: введение . Уайли. ISBN 9781118332573.
• Винклер, Роберт (2003). Введение в байесовский вывод и принятие решений (2-е изд.). Вероятностный. ISBN 0-9647938-4-9.

Внешние ссылки

• BayesFactor — пакет R для расчета факторов Байеса в распространенных исследовательских проектах.
• Калькулятор коэффициента Байеса — онлайн-калькулятор для расчета коэффициентов Байеса
• Калькуляторы коэффициентов Байеса. Архивировано 7 мая 2015 г. на Wayback Machine — веб-версия большей части пакета BayesFactor.