Байесовская статистика

Теория в области статистики

Байесовская статистика ( / ˈ b eɪ z i ən / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) ^[1] — теория в области статистики , основанная на байесовской интерпретации вероятности , где вероятность выражает степень веры в событие . Степень уверенности может быть основана на предшествующих знаниях о событии, например, на результатах предыдущих экспериментов, или на личных убеждениях о событии. Это отличается от ряда других интерпретаций вероятности , таких как частотная интерпретация, которая рассматривает вероятность как предел относительной частоты события после многих испытаний. ^[2] Более конкретно, анализ в байесовских методах кодифицирует априорные знания в форме априорного распределения .

Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе данных, а также предшествующей информации или убеждений о событии или условиях, связанных с событием. ^{[3] [4]} Например, в байесовском выводе теорема Байеса может использоваться для оценки параметров распределения вероятностей или статистической модели . Поскольку байесовская статистика рассматривает вероятность как степень доверия, теорема Байеса может напрямую назначить распределение вероятностей, которое количественно определяет степень доверия к параметру или набору параметров. ^{[2] [3]}

Байесовская статистика названа в честь Томаса Байеса , который сформулировал конкретный случай теоремы Байеса в статье, опубликованной в 1763 году. В нескольких статьях, охватывающих период с конца 18 по начало 19 веков, Пьер-Симон Лаплас разработал байесовскую интерпретацию вероятности. ^[5] Лаплас использовал методы, которые сейчас считались бы байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но этот термин широко не использовался для описания таких методов до 1950-х годов. На протяжении большей части 20-го века байесовские методы рассматривались многими статистиками неблагоприятно по философским и практическим соображениям. Многие байесовские методы требовали большого количества вычислений, и большинство методов, которые широко использовались в течение столетия, были основаны на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмов , таких как цепь Маркова Монте-Карло , байесовские методы стали все чаще использоваться в статистике 21 века. ^{[2] [6]}

Теорема Байеса

Теорема Байеса используется в байесовских методах для обновления вероятностей, которые представляют собой степени доверия, после получения новых данных. Учитывая два события и , условная вероятность данного факта выражается следующим образом: ^[7] ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$

$${\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}$$

где . Хотя теорема Байеса является фундаментальным результатом теории вероятностей , она имеет определенную интерпретацию в байесовской статистике. В приведенном выше уравнении обычно представляет собой утверждение (например, утверждение о том, что монета упадет орлом в пятидесяти процентах случаев) и представляет собой свидетельство или новые данные, которые следует принять во внимание (например, результат серии подбрасывание монеты). - это априорная вероятность того, что выражает убеждения до того, как доказательства будут приняты во внимание. Априорная вероятность может также количественно определять предшествующие знания или информацию о . – это функция правдоподобия , которую можно интерпретировать как вероятность того, что данное свидетельство является истинным. Вероятность количественно определяет степень, в которой доказательства подтверждают это предположение . — апостериорная вероятность , вероятность утверждения после принятия во внимание доказательств . По сути, теорема Байеса обновляет прежние убеждения после рассмотрения новых доказательств . ^[2] ${\displaystyle P(B)\neq 0}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle P(B\mid A)}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle P(A\mid B)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle B}$

Вероятность доказательства можно рассчитать, используя закон полной вероятности . Если — это раздел выборочного пространства , который представляет собой набор всех результатов эксперимента, то ^{[2] [7]} ${\displaystyle P(B)}$ ${\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}$

$${\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}$$

Когда существует бесконечное количество исходов, необходимо проинтегрировать все исходы для расчета с использованием закона полной вероятности. Часто его трудно вычислить, поскольку в расчете участвуют суммы или интегралы, оценка которых потребует много времени, поэтому часто учитывается только произведение априорного значения и правдоподобия, поскольку доказательства не меняются в ходе одного и того же анализа. Задняя часть пропорциональна этому произведению: ^[2] ${\displaystyle P(B)}$ ${\displaystyle P(B)}$

$${\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}$$

Максимум апостериори , который является апостериорным режимом и часто вычисляется в байесовской статистике с использованием методов математической оптимизации , остается прежним. Апостериорную оценку можно аппроксимировать даже без вычисления точного значения с помощью таких методов, как цепь Маркова Монте-Карло или вариационные байесовские методы . ^[2] ${\displaystyle P(B)}$

Байесовские методы

Общий набор статистических методов можно разделить на ряд мероприятий, многие из которых имеют специальные байесовские версии.

Байесовский вывод

Байесовский вывод относится к статистическим выводам , при которых неопределенность выводов количественно оценивается с использованием вероятности. ^[8] В классическом частотном выводе параметры модели и гипотезы считаются фиксированными. Вероятности не присваиваются параметрам или гипотезам в частотном выводе. Например, в частотном выводе не имеет смысла напрямую присваивать вероятность событию, которое может произойти только один раз, например, результату следующего подбрасывания честной монеты. Однако имело бы смысл утверждать, что доля орлов приближается к половине по мере увеличения количества подбрасываний монеты. ^[9]

Статистические модели определяют набор статистических предположений и процессов, которые показывают, как генерируются выборочные данные. Статистические модели имеют ряд параметров, которые можно изменять. Например, монету можно представить в виде выборок из распределения Бернулли , которое моделирует два возможных результата. Распределение Бернулли имеет единственный параметр, равный вероятности одного исхода, которым в большинстве случаев является вероятность выпадения орла. Разработка хорошей модели данных занимает центральное место в байесовском выводе. В большинстве случаев модели лишь аппроксимируют истинный процесс и могут не учитывать определенные факторы, влияющие на данные. ^[2] В байесовском выводе вероятности могут быть присвоены параметрам модели. Параметры могут быть представлены как случайные величины . Байесовский вывод использует теорему Байеса для обновления вероятностей после того, как получены или известны дополнительные доказательства. ^{[2] [10]}

Статистическое моделирование

Формулировка статистических моделей с использованием байесовской статистики имеет отличительную особенность, заключающуюся в необходимости указания априорных распределений для любых неизвестных параметров. Действительно, параметры априорных распределений сами по себе могут иметь априорные распределения, что приводит к байесовскому иерархическому моделированию , ^{[11] [12] [13],} также известному как многоуровневое моделирование. Особый случай — байесовские сети .

Передовой опыт проведения байесовского статистического анализа обсуждается van de Schoot et al. ^[14]

Для сообщения о результатах байесовского статистического анализа в статье Джона К. Крушке в открытом доступе представлены рекомендации по составлению отчетов по байесовскому анализу (BARG) . ^[15]

Планирование экспериментов

Байесовский план экспериментов включает в себя концепцию, называемую «влиянием предшествующих убеждений». Этот подход использует методы последовательного анализа , чтобы включить результаты предыдущих экспериментов в план следующего эксперимента. Это достигается путем обновления «убеждения» посредством использования предварительного и апостериорного распределения . Это позволяет при планировании экспериментов эффективно использовать ресурсы всех типов. Примером этого является задача о многоруком бандите .

Исследовательский анализ байесовских моделей

Исследовательский анализ байесовских моделей — это адаптация или расширение подхода исследовательского анализа данных к потребностям и особенностям байесовского моделирования. По словам Перси Диакониса: ^[16]

Исследовательский анализ данных направлен на выявление структуры или простых описаний данных. Мы смотрим на цифры или графики и пытаемся найти закономерности. Мы ищем идеи, подсказанные исходной информацией, воображением, выявленными закономерностями и опытом анализа других данных.

Процесс вывода генерирует апостериорное распределение, которое играет центральную роль в байесовской статистике, вместе с другими распределениями, такими как апостериорное прогнозируемое распределение и априорное прогнозируемое распределение. Правильная визуализация, анализ и интерпретация этих распределений являются ключом к правильному ответу на вопросы, которые мотивируют процесс вывода. ^[17]

При работе с байесовскими моделями помимо самого вывода необходимо решить ряд связанных задач:

• Диагностика качества вывода, это необходимо при использовании численных методов, таких как методы Монте-Карло с использованием цепей Маркова.
• Критика модели, включая оценку как предположений модели, так и прогнозов модели.
• Сравнение моделей, включая выбор модели или усреднение модели
• Подготовка результатов для конкретной аудитории

Все эти задачи являются частью подхода исследовательского анализа байесовских моделей, и их успешное выполнение имеет решающее значение для процесса итеративного и интерактивного моделирования. Эти задачи требуют как числовых, так и визуальных сводок. ^{[18] [19] [20]}

Смотрите также

• Байесовская эпистемология
• Список обозначений математической логики, используемых в этой статье.
  • Обозначения вероятности и статистики
  • Список логических символов

Рекомендации

1. «Байесовский». Словарь Merriam-Webster.com .
2. Гельман, Эндрю ; Карлин, Джон Б .; Стерн, Хэл С.; Дансон, Дэвид Б.; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных (Третье изд.). Чепмен и Холл/CRC. ISBN 978-1-4398-4095-5.
3. МакЭлрит, Ричард (2020). Статистическое переосмысление: байесовский курс с примерами в R и Stan (2-е изд.). Чепмен и Холл/CRC. ISBN 978-0-367-13991-9.
4. Крушке, Джон (2014). Выполнение байесовского анализа данных: учебное пособие с R, JAGS и Стэном (2-е изд.). Академическая пресса. ISBN 978-0-12-405888-0.
5. Макгрейн, Шэрон (2012). Теория, которая не умрет: как правило Байеса взломало код загадки, выследило российские подводные лодки и одержало победу в двухвековых спорах (первое издание). Чепмен и Холл/CRC. ISBN 978-0-3001-8822-6.
6. Финберг, Стивен Э. (2006). «Когда байесовский вывод стал «байесовским»?». Байесовский анализ . 1 (1): 1–40. дои : 10.1214/06-BA101 .
7. Гринстед, Чарльз М.; Снелл, Дж. Лори (2006). Введение в вероятность (2-е изд.). Провиденс, Род-Айленд: Американское математическое общество. ISBN 978-0-8218-9414-9.
8. Ли, Се Юн (2021). «Сэмплер Гиббса и вариационный вывод по координатному восхождению: теоретико-множественный обзор». Коммуникации в статистике - теория и методы . 51 (6): 1549–1568. arXiv : 2008.01006 . дои : 10.1080/03610926.2021.1921214. S2CID  220935477.
9. Уэйкфилд, Джон (2013). Методы байесовской и частотной регрессии . Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-1-4419-0924-4.
10. Конгдон, Питер (2014). Прикладное байесовское моделирование (2-е изд.). Уайли. ISBN 978-1119951513.
11. Крушке, Дж. К .; Ванпаемель, Вт (2015). «Байесовская оценка в иерархических моделях». В Буземейере-младшем; Ван, З; Таунсенд, Джей Ти; Эйдельс, А. (ред.). Оксфордский справочник по вычислительной и математической психологии (PDF) . Издательство Оксфордского университета. стр. 279–299.
12. Хаджирамезанали, Э. и Дадане, С.З., Карбалайгарех, А., Чжоу, З. и Цянь, X. Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета секвенирования следующего поколения. 32-я конференция по нейронным системам обработки информации (NIPS 2018), Монреаль, Канада. arXiv : 1810.09433
13. Ли, Се Юн; Маллик, Бани (2021). «Байесовское иерархическое моделирование: применение к результатам добычи в сланцах Игл Форд в Южном Техасе». Санкхья Б. 84 : 1–43. дои : 10.1007/s13571-020-00245-8.
14. ван де Шут, Ренс; Депаоли, Сара; Король, Рут; Крамер, Бьянка; Мартенс, Каспар; Тадессе, Махлет Г.; Ваннуччи, Марина; Гельман, Эндрю; Вин, Дуко; Виллемсен, Юкье; Яу, Кристофер (14 января 2021 г.). «Байесовская статистика и моделирование». Учебники по методам Nature Reviews . 1 (1): 1–26. дои : 10.1038/s43586-020-00001-2. hdl : 1874/415909 . S2CID  234108684.
15. Крушке, Дж. К. (16 августа 2021 г.). «Руководство по составлению отчетов по байесовскому анализу». Природа человеческого поведения . 5 (10): 1282–1291. дои : 10.1038/s41562-021-01177-7. ПМЦ 8526359 . ПМИД  34400814. 
16. Диаконис, Перси (2011) Теории анализа данных: от магического мышления через классическую статистику. John Wiley & Sons, Ltd 2:e55 doi :10.1002/9781118150702.ch1
17. Кумар, Рэвин; Кэрролл, Колин; Хартикайнен, Ари; Мартин, Освальдо (2019). «ArviZ — унифицированная библиотека для исследовательского анализа байесовских моделей в Python». Журнал программного обеспечения с открытым исходным кодом . 4 (33): 1143. Бибкод : 2019JOSS....4.1143K. дои : 10.21105/joss.01143 . hdl : 11336/114615 .
18. Габри, Иона; Симпсон, Дэниел; Вехтари, Аки; Бетанкур, Майкл; Гельман, Эндрю (2019). «Визуализация в байесовском рабочем процессе». Журнал Королевского статистического общества, серия A (Статистика в обществе) . 182 (2): 389–402. arXiv : 1709.01449 . дои : 10.1111/rssa.12378. S2CID  26590874.
19. Вехтари, Аки; Гельман, Эндрю; Симпсон, Дэниел; Карпентер, Боб; Бюркнер, Пол-Кристиан (2021). «Нормализация ранга, свертывание и локализация: улучшенный Rˆ для оценки сходимости MCMC (с обсуждением)». Байесовский анализ . 16 (2). arXiv : 1903.08008 . дои : 10.1214/20-BA1221. S2CID  88522683.
20. Мартин, Освальдо (2018). Байесовский анализ с помощью Python: введение в статистическое моделирование и вероятностное программирование с использованием PyMC3 и ArviZ. ISBN Packt Publishing Ltd. 9781789341652.

дальнейшее чтение

• Бернардо, Хосе М .; Смит, Адриан FM (2000). Байесовская теория . Нью-Йорк: Уайли. ISBN 0-471-92416-4.
• Болстад, Уильям М.; Карран, Джеймс М. (2016). Введение в байесовскую статистику (3-е изд.). Уайли. ISBN 978-1-118-09156-2.
• Дауни, Аллен Б. (2021). Подумайте о Байесе: байесовская статистика в Python (2-е изд.). О'Рейли. ISBN 978-1-4920-8946-9.
• Хофф, Питер Д. (2009). Первый курс байесовских статистических методов (2-е изд.). Нью-Йорк: Спрингер. ISBN 978-1-4419-2828-3.
• Ли, Питер М. (2012). Байесовская статистика: Введение (4-е изд.). Уайли. ISBN 978-1-118-33257-3.
• Роберт, Кристиан П. (2007). Байесовский выбор: от основ теории принятия решений к вычислительной реализации (2-е изд.). Нью-Йорк: Спрингер. ISBN 978-0-387-71598-8.
• Джонсон, Алисия А.; Отт, Майлз К.; Догуджю, Майн. (2022) Правила Байеса! Введение в прикладное байесовское моделирование. ISBN Чепмена и Холла 9780367255398

Внешние ссылки

• Тео Кипрайос. «Нежное руководство по байесовской статистике» (PDF) . Проверено 3 ноября 2013 г.
• Хорди Вальверду. Байесовцы против частотников. Философские дебаты о статистических рассуждениях.
• Байесовская статистика Дэвид Шпигельхальтер , Кеннет Райс, Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Книга и примеры байесовского моделирования доступны для скачивания.
• Ренс ван де Шут. «Нежное введение в байесовский анализ» (PDF) .
• Калькулятор байесовского A/B-тестирования Динамическая доходность