Байесовская статистика

Теория в области статистики

Байесовская статистика ( / ˈ b eɪ z i ə n / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) ^[1] — теория в области статистики , основанная на байесовской интерпретации вероятности , где вероятность выражает степень веры в событие . Степень веры может быть основана на предшествующих знаниях о событии, таких как результаты предыдущих экспериментов, или на личных убеждениях о событии. Это отличается от ряда других интерпретаций вероятности , таких как частотная интерпретация, которая рассматривает вероятность как предел относительной частоты события после многих испытаний. ^[2] Более конкретно, анализ в байесовских методах кодифицирует предшествующие знания в форме априорного распределения .

Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе данных, а также предшествующей информации или убеждений о событии или условиях, связанных с событием. ^{[3] [4]} Например, в байесовском выводе теорему Байеса можно использовать для оценки параметров распределения вероятностей или статистической модели . Поскольку байесовская статистика рассматривает вероятность как степень убеждения, теорема Байеса может напрямую назначить распределение вероятностей, которое количественно определяет убеждение, параметру или набору параметров. ^{[2] [3]}

Байесовская статистика названа в честь Томаса Байеса , который сформулировал конкретный случай теоремы Байеса в статье , опубликованной в 1763 году. В нескольких работах, охватывающих период с конца 18-го по начало 19-го века, Пьер-Симон Лаплас разработал байесовскую интерпретацию вероятности. ^[5] Лаплас использовал методы, которые сейчас считаются байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но этот термин не использовался для описания таких методов до 1950-х годов. В течение большей части 20-го века байесовские методы рассматривались многими статистиками неодобрительно из-за философских и практических соображений. Многие байесовские методы требовали больших вычислений для завершения, и большинство методов, которые широко использовались в течение столетия, были основаны на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмов, таких как Монте-Карло с цепями Маркова , байесовские методы стали все чаще использоваться в статистике в 21-м веке. ^{[2] [6]}

Теорема Байеса

Теорема Байеса используется в байесовских методах для обновления вероятностей, которые являются степенями доверия, после получения новых данных. При наличии двух событий и условная вероятность того, что дано, что является истинным, выражается следующим образом: ^[7] ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$

$${\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}$$

где . Хотя теорема Байеса является фундаментальным результатом теории вероятностей , она имеет специфическую интерпретацию в байесовской статистике. В приведенном выше уравнении обычно представляет собой утверждение (например, утверждение, что монета выпадает орлом в пятидесяти процентах случаев) и представляет собой доказательство или новые данные, которые следует принять во внимание (например, результат серии подбрасываний монеты). — это априорная вероятность того , что выражает чьи-либо убеждения относительно до того, как будут приняты во внимание доказательства. Априорная вероятность может также количественно определять априорные знания или информацию о . — это функция правдоподобия , которую можно интерпретировать как вероятность того, что данное доказательство является истинным. Правдоподобие количественно определяет степень, в которой доказательства подтверждают утверждение . — это апостериорная вероятность , вероятность утверждения после учета доказательств . По сути, теорема Байеса обновляет чьи-либо априорные убеждения после рассмотрения новых доказательств . ^[2] ${\displaystyle P(B)\neq 0}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle P(B\mid A)}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle P(A\mid B)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle B}$

Вероятность доказательства может быть рассчитана с использованием закона полной вероятности . Если — это разбиение выборочного пространства , которое является множеством всех результатов эксперимента, то, ^{[2] [7]} ${\displaystyle P(B)}$ ${\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}$

$${\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}$$

Когда существует бесконечное количество результатов, необходимо интегрировать по всем результатам для расчета с использованием закона полной вероятности. Часто бывает трудно подсчитать, так как расчет будет включать суммы или интегралы, оценка которых займет много времени, поэтому часто рассматривается только произведение априорной вероятности и вероятности, поскольку доказательства не меняются в том же анализе. Апостериорная вероятность пропорциональна этому произведению: ^[2] ${\displaystyle P(B)}$ ${\displaystyle P(B)}$

$${\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}$$

Максимум апостериори , который является модой апостериорной вероятности и часто вычисляется в байесовской статистике с использованием методов математической оптимизации , остается тем же самым. Апостериорную вероятность можно аппроксимировать даже без вычисления точного значения с помощью таких методов, как Монте-Карло Маркова или вариационные байесовские методы . ^[2] ${\displaystyle P(B)}$

Байесовские методы

Общий набор статистических методов можно разделить на ряд видов деятельности, многие из которых имеют специальные байесовские версии.

Байесовский вывод

Байесовский вывод относится к статистическому выводу , где неопределенность в выводах количественно определяется с использованием вероятности. ^[8] В классическом частотном выводе параметры модели и гипотезы считаются фиксированными. Вероятности не назначаются параметрам или гипотезам в частотном выводе. Например, в частотном выводе не имело бы смысла напрямую назначать вероятность событию, которое может произойти только один раз, например, результату следующего подбрасывания честной монеты. Однако имело бы смысл утверждать, что доля орлов приближается к половине по мере увеличения числа подбрасываний монеты. ^[9]

Статистические модели определяют набор статистических предположений и процессов, которые представляют, как генерируются данные выборки. Статистические модели имеют ряд параметров, которые можно изменять. Например, монету можно представить в виде выборок из распределения Бернулли , которое моделирует два возможных результата. Распределение Бернулли имеет один параметр, равный вероятности одного результата, который в большинстве случаев является вероятностью выпадения орла. Разработка хорошей модели для данных является центральной в байесовском выводе. В большинстве случаев модели только приближают истинный процесс и могут не учитывать определенные факторы, влияющие на данные. ^[2] В байесовском выводе вероятности могут быть назначены параметрам модели. Параметры могут быть представлены как случайные величины . Байесовский вывод использует теорему Байеса для обновления вероятностей после того, как получены или известны дополнительные доказательства. ^{[2] [10]}

Статистическое моделирование

Формулировка статистических моделей с использованием байесовской статистики имеет отличительную черту, требующую спецификации априорных распределений для любых неизвестных параметров. Действительно, параметры априорных распределений сами могут иметь априорные распределения, что приводит к байесовскому иерархическому моделированию , ^{[11] [12] [13]} также известному как многоуровневое моделирование. Особым случаем являются байесовские сети .

Для проведения байесовского статистического анализа лучшие практики обсуждаются ван де Скут и др. ^[14]

Для представления результатов байесовского статистического анализа в статье Джона К. Крушке, находящейся в открытом доступе, приведены руководящие принципы отчетности по байесовскому анализу (BARG) . ^[15]

Планирование экспериментов

Байесовский дизайн экспериментов включает концепцию, называемую «влияние предшествующих убеждений». Этот подход использует последовательные методы анализа для включения результатов более ранних экспериментов в дизайн следующего эксперимента. Это достигается путем обновления «убеждений» с помощью априорного и апостериорного распределения . Это позволяет дизайну экспериментов эффективно использовать ресурсы всех типов. Примером этого является задача о многоруком бандите .

Исследовательский анализ байесовских моделей

Исследовательский анализ байесовских моделей является адаптацией или расширением исследовательского подхода к анализу данных к потребностям и особенностям байесовского моделирования. По словам Перси Диакониса: ^[16]

Исследовательский анализ данных стремится выявить структуру или простые описания в данных. Мы смотрим на числа или графики и пытаемся найти закономерности. Мы преследуем цели, предложенные фоновой информацией, воображением, воспринятыми закономерностями и опытом с другими анализами данных

Процесс вывода генерирует апостериорное распределение, которое играет центральную роль в байесовской статистике, вместе с другими распределениями, такими как апостериорное предсказательное распределение и априорное предсказательное распределение. Правильная визуализация, анализ и интерпретация этих распределений являются ключом к правильному ответу на вопросы, которые мотивируют процесс вывода. ^[17]

При работе с байесовскими моделями, помимо собственно вывода, необходимо решить ряд связанных задач:

• Диагностика качества вывода, необходимая при использовании численных методов, таких как методы Монте-Карло с цепями Маркова.
• Критика модели, включая оценку как предположений модели, так и прогнозов модели.
• Сравнение моделей, включая выбор модели или усреднение модели
• Подготовка результатов для конкретной аудитории

Все эти задачи являются частью исследовательского анализа байесовских моделей, и их успешное выполнение является центральным для итеративного и интерактивного процесса моделирования. Эти задачи требуют как числовых, так и визуальных обобщений. ^{[18] [19] [20]}

Смотрите также

• Байесовская эпистемология
• Список обозначений математической логики, используемых в этой статье
  • Обозначения в теории вероятностей и статистике
  • Список логических символов

Ссылки

1. "Байесовский". Словарь Merriam-Webster.com . Merriam-Webster.
2. Гельман, Эндрю ; Карлин, Джон Б .; Стерн, Хэл С.; Дансон, Дэвид Б.; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных (третье изд.). Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.
3. McElreath, Richard (2020). Статистическое переосмысление: байесовский курс с примерами на R и Stan (2-е изд.). Chapman and Hall/CRC. ISBN 978-0-367-13991-9.
4. Крушке, Джон (2014). Выполнение байесовского анализа данных: Учебное пособие с R, JAGS и Stan (2-е изд.). Academic Press. ISBN 978-0-12-405888-0.
5. Макгрейн, Шарон (2012). Теория, которая не умрет: как правило Байеса взломало код «Энигмы», выследило русские подлодки и вышло победителем из двух столетий споров (первое издание). Chapman and Hall/CRC. ISBN 978-0-3001-8822-6.
6. Файнберг, Стивен Э. (2006). «Когда байесовский вывод стал «байесовским»?». Байесовский анализ . 1 (1): 1–40. doi : 10.1214/06-BA101 .
7. Гринстед, Чарльз М.; Снелл, Дж. Лори (2006). Введение в вероятность (2-е изд.). Провиденс, Род-Айленд: Американское математическое общество. ISBN 978-0-8218-9414-9.
8. Ли, Се Юн (2021). «Сэмплер Гиббса и вариационный вывод с восхождением координат: обзор теории множеств». Communications in Statistics - Theory and Methods . 51 (6): 1549–1568. arXiv : 2008.01006 . doi : 10.1080/03610926.2021.1921214. S2CID  220935477.
9. Уэйкфилд, Джон (2013). Методы байесовской и частотной регрессии . Нью-Йорк, Нью-Йорк: Springer. ISBN 978-1-4419-0924-4.
10. Конгдон, Питер (2014). Прикладное байесовское моделирование (2-е изд.). Wiley. ISBN 978-1119951513.
11. Крушке, Дж. К.; Ванпаемель, В. (2015). «Байесовская оценка в иерархических моделях». В Busemeyer, Дж. Р.; Ван, З.; Таунсенд, Дж. Т.; Эйдельс, А. (ред.). Оксфордский справочник по вычислительной и математической психологии (PDF) . Oxford University Press. стр. 279–299.
12. Хаджирамезанали, Э. и Дадане, СЗ и Карбалайгаре, А. и Чжоу, З. и Цянь, Х. Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета последовательностей следующего поколения. 32-я конференция по системам обработки нейронной информации (NIPS 2018), Монреаль, Канада. arXiv :1810.09433
13. Ли, Се Юн; Маллик, Бани (2021). «Байесовское иерархическое моделирование: применение к результатам добычи в сланцевом месторождении Игл-Форд в Южном Техасе». Sankhya B. 84 : 1–43. doi :10.1007/s13571-020-00245-8.
14. van de Schoot, Rens; Depaoli, Sarah; King, Ruth; Kramer, Bianca; Märtens, Kaspar; Tadesse, Mahlet G.; Vannucci, Marina; Gelman, Andrew; Veen, Duco; Willemsen, Joukje; Yau, Christopher (14 января 2021 г.). «Байесовская статистика и моделирование». Nature Reviews Methods Primers . 1 (1): 1–26. doi :10.1038/s43586-020-00001-2. hdl : 1874/415909 . S2CID  234108684.
15. Kruschke, JK (16 августа 2021 г.). «Руководство по отчетности байесовского анализа». Nature Human Behaviour . 5 (10): 1282–1291. doi :10.1038/s41562-021-01177-7. PMC 8526359. PMID  34400814 . 
16. Диаконис, Перси (2011) Теории анализа данных: от магического мышления через классическую статистику. John Wiley & Sons, Ltd 2:e55 doi :10.1002/9781118150702.ch1
17. Кумар, Равин; Кэрролл, Колин; Хартикайнен, Ари; Мартин, Освальдо (2019). «ArviZ — унифицированная библиотека для исследовательского анализа байесовских моделей в Python». Журнал программного обеспечения с открытым исходным кодом . 4 (33): 1143. Bibcode : 2019JOSS....4.1143K. doi : 10.21105/joss.01143 . hdl : 11336/114615 .
18. Габри, Джона; Симпсон, Дэниел; Вехтари, Аки; Бетанкур, Майкл; Гельман, Эндрю (2019). «Визуализация в байесовском рабочем процессе». Журнал Королевского статистического общества, серия A (Статистика в обществе) . 182 (2): 389–402. arXiv : 1709.01449 . doi : 10.1111/rssa.12378. S2CID  26590874.
19. Vehtari, Aki; Gelman, Andrew; Simpson, Daniel; Carpenter, Bob; Bürkner, Paul-Christian (2021). «Ранговая нормализация, сворачивание и локализация: улучшенный Rˆ для оценки сходимости MCMC (с обсуждением)». Байесовский анализ . 16 (2). arXiv : 1903.08008 . doi : 10.1214/20-BA1221. S2CID  88522683.
20. Мартин, Освальдо (2018). Байесовский анализ с Python: Введение в статистическое моделирование и вероятностное программирование с использованием PyMC3 и ArviZ. Packt Publishing Ltd. ISBN 9781789341652.

Дальнейшее чтение

• Бернардо, Хосе М.; Смит , Адриан Ф.М. (2000). Байесовская теория . Нью-Йорк: Wiley. ISBN 0-471-92416-4.
• Болстад, Уильям М.; Карран, Джеймс М. (2016). Введение в байесовскую статистику (3-е изд.). Wiley. ISBN 978-1-118-09156-2.
• Дауни, Аллен Б. (2021). Думайте о Байесе: байесовская статистика на Python (2-е изд.). O'Reilly. ISBN 978-1-4920-8946-9.
• Хофф, Питер Д. (2009). Первый курс по байесовским статистическим методам (2-е изд.). Нью-Йорк: Springer. ISBN 978-1-4419-2828-3.
• Ли, Питер М. (2012). Байесовская статистика: Введение (4-е изд.). Wiley. ISBN 978-1-118-33257-3.
• Роберт, Кристиан П. (2007). Байесовский выбор: от теоретико-принимающих основ к вычислительной реализации (2-е изд.). Нью-Йорк: Springer. ISBN 978-0-387-71598-8.
• Джонсон, Алисия А.; Отт, Майлз К.; Догуку, Майн. (2022) Правила Байеса! Введение в прикладное байесовское моделирование. Chapman and Hall ISBN 9780367255398

Внешние ссылки

• Тео Кипрайос. "Легкий учебник по байесовской статистике" (PDF) . Получено 2013-11-03 .
• Хорди Вальверду. Байесовцы против частотников. Философский спор о статистическом мышлении.
• Байесовская статистика Дэвид Шпигельхальтер , Кеннет Райс Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Книга и примеры по байесовскому моделированию доступны для скачивания.
• Ренс ван де Скут. «Мягкое введение в байесовский анализ» (PDF) .
• Байесовский калькулятор A/B-тестирования Динамическая доходность