Байесовская статистика ( / ˈ b eɪ z i ən / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) [1] — теория в области статистики , основанная на байесовской интерпретации вероятности , где вероятность выражает степень веры в событие . Степень уверенности может быть основана на предшествующих знаниях о событии, например, на результатах предыдущих экспериментов, или на личных убеждениях о событии. Это отличается от ряда других интерпретаций вероятности , таких как частотная интерпретация, которая рассматривает вероятность как предел относительной частоты события после многих испытаний. [2] Более конкретно, анализ в байесовских методах кодифицирует априорные знания в форме априорного распределения .
Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе данных, а также предшествующей информации или убеждений о событии или условиях, связанных с событием. [3] [4] Например, в байесовском выводе теорема Байеса может использоваться для оценки параметров распределения вероятностей или статистической модели . Поскольку байесовская статистика рассматривает вероятность как степень доверия, теорема Байеса может напрямую назначить распределение вероятностей, которое количественно определяет степень доверия к параметру или набору параметров. [2] [3]
Байесовская статистика названа в честь Томаса Байеса , который сформулировал конкретный случай теоремы Байеса в статье, опубликованной в 1763 году. В нескольких статьях, охватывающих период с конца 18 по начало 19 веков, Пьер-Симон Лаплас разработал байесовскую интерпретацию вероятности. [5] Лаплас использовал методы, которые сейчас считались бы байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но этот термин широко не использовался для описания таких методов до 1950-х годов. На протяжении большей части 20-го века байесовские методы рассматривались многими статистиками неблагоприятно по философским и практическим соображениям. Многие байесовские методы требовали большого количества вычислений, и большинство методов, которые широко использовались в течение столетия, были основаны на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмов , таких как цепь Маркова Монте-Карло , байесовские методы стали все чаще использоваться в статистике 21 века. [2] [6]
Теорема Байеса используется в байесовских методах для обновления вероятностей, которые представляют собой степени доверия, после получения новых данных. Учитывая два события и , условная вероятность данного факта выражается следующим образом: [7]
где . Хотя теорема Байеса является фундаментальным результатом теории вероятностей , она имеет определенную интерпретацию в байесовской статистике. В приведенном выше уравнении обычно представляет собой утверждение (например, утверждение о том, что монета упадет орлом в пятидесяти процентах случаев) и представляет собой свидетельство или новые данные, которые следует принять во внимание (например, результат серии подбрасывание монеты). - это априорная вероятность того, что выражает убеждения до того, как доказательства будут приняты во внимание. Априорная вероятность может также количественно определять предшествующие знания или информацию о . – это функция правдоподобия , которую можно интерпретировать как вероятность того, что данное свидетельство является истинным. Вероятность количественно определяет степень, в которой доказательства подтверждают это предположение . — апостериорная вероятность , вероятность утверждения после принятия во внимание доказательств . По сути, теорема Байеса обновляет прежние убеждения после рассмотрения новых доказательств . [2]
Вероятность доказательства можно рассчитать, используя закон полной вероятности . Если — это раздел выборочного пространства , который представляет собой набор всех результатов эксперимента, то [2] [7]
Когда существует бесконечное количество исходов, необходимо проинтегрировать все исходы для расчета с использованием закона полной вероятности. Часто его трудно вычислить, поскольку в расчете участвуют суммы или интегралы, оценка которых потребует много времени, поэтому часто учитывается только произведение априорного значения и правдоподобия, поскольку доказательства не меняются в ходе одного и того же анализа. Задняя часть пропорциональна этому произведению: [2]
Максимум апостериори , который является апостериорным режимом и часто вычисляется в байесовской статистике с использованием методов математической оптимизации , остается прежним. Апостериорную оценку можно аппроксимировать даже без вычисления точного значения с помощью таких методов, как цепь Маркова Монте-Карло или вариационные байесовские методы . [2]
Общий набор статистических методов можно разделить на ряд мероприятий, многие из которых имеют специальные байесовские версии.
Байесовский вывод относится к статистическим выводам , при которых неопределенность выводов количественно оценивается с использованием вероятности. [8] В классическом частотном выводе параметры модели и гипотезы считаются фиксированными. Вероятности не присваиваются параметрам или гипотезам в частотном выводе. Например, в частотном выводе не имеет смысла напрямую присваивать вероятность событию, которое может произойти только один раз, например, результату следующего подбрасывания честной монеты. Однако имело бы смысл утверждать, что доля орлов приближается к половине по мере увеличения количества подбрасываний монеты. [9]
Статистические модели определяют набор статистических предположений и процессов, которые показывают, как генерируются выборочные данные. Статистические модели имеют ряд параметров, которые можно изменять. Например, монету можно представить в виде выборок из распределения Бернулли , которое моделирует два возможных результата. Распределение Бернулли имеет единственный параметр, равный вероятности одного исхода, которым в большинстве случаев является вероятность выпадения орла. Разработка хорошей модели данных занимает центральное место в байесовском выводе. В большинстве случаев модели лишь аппроксимируют истинный процесс и могут не учитывать определенные факторы, влияющие на данные. [2] В байесовском выводе вероятности могут быть присвоены параметрам модели. Параметры могут быть представлены как случайные величины . Байесовский вывод использует теорему Байеса для обновления вероятностей после того, как получены или известны дополнительные доказательства. [2] [10]
Формулировка статистических моделей с использованием байесовской статистики имеет отличительную особенность, заключающуюся в необходимости указания априорных распределений для любых неизвестных параметров. Действительно, параметры априорных распределений сами по себе могут иметь априорные распределения, что приводит к байесовскому иерархическому моделированию , [11] [12] [13], также известному как многоуровневое моделирование. Особый случай — байесовские сети .
Передовой опыт проведения байесовского статистического анализа обсуждается van de Schoot et al. [14]
Для сообщения о результатах байесовского статистического анализа в статье Джона К. Крушке в открытом доступе представлены рекомендации по составлению отчетов по байесовскому анализу (BARG) . [15]
Байесовский план экспериментов включает в себя концепцию, называемую «влиянием предшествующих убеждений». Этот подход использует методы последовательного анализа , чтобы включить результаты предыдущих экспериментов в план следующего эксперимента. Это достигается путем обновления «убеждения» посредством использования предварительного и апостериорного распределения . Это позволяет при планировании экспериментов эффективно использовать ресурсы всех типов. Примером этого является задача о многоруком бандите .
Исследовательский анализ байесовских моделей — это адаптация или расширение подхода исследовательского анализа данных к потребностям и особенностям байесовского моделирования. По словам Перси Диакониса: [16]
Исследовательский анализ данных направлен на выявление структуры или простых описаний данных. Мы смотрим на цифры или графики и пытаемся найти закономерности. Мы ищем идеи, подсказанные исходной информацией, воображением, выявленными закономерностями и опытом анализа других данных.
Процесс вывода генерирует апостериорное распределение, которое играет центральную роль в байесовской статистике, вместе с другими распределениями, такими как апостериорное прогнозируемое распределение и априорное прогнозируемое распределение. Правильная визуализация, анализ и интерпретация этих распределений являются ключом к правильному ответу на вопросы, которые мотивируют процесс вывода. [17]
При работе с байесовскими моделями помимо самого вывода необходимо решить ряд связанных задач:
Все эти задачи являются частью подхода исследовательского анализа байесовских моделей, и их успешное выполнение имеет решающее значение для процесса итеративного и интерактивного моделирования. Эти задачи требуют как числовых, так и визуальных сводок. [18] [19] [20]