Байесовская вероятность ( / ˈ b eɪ z i ən / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) [1] — интерпретация понятия вероятности , в которой вместо частоты или склонности некоторых В этом явлении вероятность интерпретируется как разумное ожидание [2] , представляющее состояние знаний [3] или как количественная оценка личного убеждения. [4]
Байесовскую интерпретацию вероятности можно рассматривать как расширение логики высказываний , позволяющее рассуждать с помощью гипотез ; [5] [6] то есть с предложениями, истинность или ложность которых неизвестна. С байесовской точки зрения гипотезе присваивается вероятность, тогда как при частотном выводе гипотеза обычно проверяется без присвоения вероятности.
Байесовская вероятность относится к категории доказательных вероятностей; Чтобы оценить вероятность гипотезы, байесовский вероятностник определяет априорную вероятность . Это, в свою очередь, затем обновляется до апостериорной вероятности в свете новых соответствующих данных (доказательств). [7] Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого расчета.
Термин «байесовский» происходит от имени математика и теолога 18-го века Томаса Байеса , который впервые предложил математическую обработку нетривиальной проблемы статистического анализа данных с использованием того, что сейчас известно как байесовский вывод . [8] : 131 Математик Пьер-Симон Лаплас был пионером и популяризировал то, что сейчас называется байесовской вероятностью. [8] : 97–98
Байесовские методы характеризуются следующими концепциями и процедурами:
Вообще говоря, существует две интерпретации байесовской вероятности. Для объективистов, которые интерпретируют вероятность как расширение логики , вероятность количественно определяет разумное ожидание того, что каждый (даже «робот»), разделяющий одни и те же знания, должен делиться ими в соответствии с правилами байесовской статистики, что может быть оправдано теоремой Кокса . [3] [10] Для субъективистов вероятность соответствует личному убеждению. [4] Рациональность и последовательность допускают существенные различия в пределах ограничений, которые они налагают; ограничения оправдываются аргументами из голландской книги или теорией принятия решений и теоремой де Финетти . [4] Объективный и субъективный варианты байесовской вероятности различаются главным образом в интерпретации и построении априорной вероятности.
Термин «байесианство» происходит от Томаса Байеса (1702–1761), который доказал частный случай того, что сейчас называется теоремой Байеса, в статье под названием « Очерк решения проблемы в доктрине шансов ». [11] В этом особом случае априорное и апостериорное распределения были бета-распределениями , а данные были получены в результате испытаний Бернулли . Именно Пьер-Симон Лаплас (1749–1827) представил общую версию теоремы и использовал ее для решения задач небесной механики , медицинской статистики, надежности и юриспруденции . [12] Ранний байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточного основания Лапласа , назывался « обратной вероятностью » (потому что он делает выводы в обратном направлении от наблюдений к параметрам или от следствий к причинам). [13] После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой . [13]
В XX веке идеи Лапласа развивались в двух направлениях, порождая объективные и субъективные течения в байесовской практике.Теория вероятностей Гарольда Джеффриса ( впервые опубликованная в 1939 году) сыграла важную роль в возрождении байесовского взгляда на вероятность, за которым последовали работы Абрахама Уолда (1950) и Леонарда Дж. Сэвиджа (1954). Само прилагательное «байесианский» появилось в 1950-х годах; производное байесианство , необайесианство, появилось в чеканке 1960-х годов. [14] [15] [16] В объективистском направлении статистический анализ зависит только от принятой модели и анализируемых данных. [17] Никаких субъективных решений не требуется. Напротив, «субъективистские» статистики отрицают возможность вполне объективного анализа общего случая.
В 1980-е годы произошел резкий рост исследований и применений байесовских методов, в основном связанный с открытием методов Монте-Карло на основе цепей Маркова и последующим устранением многих вычислительных проблем, а также с растущим интересом к нестандартным и сложным приложениям. [18] Хотя частотная статистика остается сильной (о чем свидетельствует тот факт, что большая часть преподавания в бакалавриате основана на ней [19] ), байесовские методы широко приняты и используются, например, в области машинного обучения . [20]
Использование байесовских вероятностей в качестве основы байесовского вывода было поддержано несколькими аргументами, такими как аксиомы Кокса , аргумент голландской книги , аргументы, основанные на теории принятия решений и теорема де Финетти .
Ричард Т. Кокс показал, что байесовское обновление следует из нескольких аксиом, включая два функциональных уравнения и гипотезу дифференцируемости. [10] [21] Предположение о дифференцируемости или даже непрерывности является спорным; Халперн нашел контрпример, основанный на его наблюдении о том, что булева алгебра утверждений может быть конечной. [22] Другие аксиоматизации были предложены различными авторами с целью сделать теорию более строгой. [9]
Бруно де Финетти предложил голландский книжный аргумент, основанный на ставках. Умный букмекер создает голландскую букмекерскую контору , устанавливая коэффициенты и ставки таким образом, чтобы букмекерская контора получала прибыль — за счет игроков — независимо от исхода события (например, скачек), на которое игроки делали ставки. Это связано с вероятностями , подразумеваемыми несогласованностью шансов .
Однако Ян Хакинг отметил, что традиционные аргументы голландских книг не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Например, Хакинг пишет [23] [24] «И ни аргумент голландской книги, ни какой-либо другой из персоналистского арсенала доказательств аксиом вероятности не влечет за собой динамическое предположение. Ни один из них не влечет за собой байесианство. Таким образом, персоналист требует динамического предположения». быть байесовским. Это правда, что, будучи последовательным, персоналист может отказаться от байесовской модели обучения на опыте. Соль может потерять свою силу».
Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждалось в литературе по « кинематике вероятности » [25] после публикации правила Ричарда К. Джеффри , которое само по себе считается байесовским [26] ). Дополнительные гипотезы, достаточные для (единственного) определения байесовского обновления, существенны [27] и не всегда считаются удовлетворительными. [28]
Теоретико -решательное обоснование использования байесовского вывода (и, следовательно, байесовских вероятностей) было дано Абрахамом Вальдом , который доказал, что каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур. [29] И наоборот, любая байесовская процедура допустима . [30]
После работы над теорией ожидаемой полезности Рэмси и фон Неймана сторонники теории принятия решений объяснили рациональное поведение , используя распределение вероятностей для агента . Иоганн Пфанцагль завершил «Теорию игр и экономического поведения» , предоставив аксиоматизацию субъективной вероятности и полезности, задачу, которую фон Нейман и Оскар Моргенштерн оставили незавершенной : их первоначальная теория для удобства предполагала, что все агенты имеют одинаковое распределение вероятностей. [31] Аксиоматизация Пфанцагля была поддержана Оскаром Моргенштерном: «Мы с фон Нейманом предвидели... [вопрос о том, являются ли вероятности] может, возможно, более типичным, быть субъективным, и конкретно заявили, что в последнем случае можно найти аксиомы, из которых могли вывести желаемую числовую полезность вместе с числом для вероятностей (ср. стр. 19 «Теории игр и экономического поведения»). Мы этого не делали, это было продемонстрировано Пфанцаглем... со всей необходимой строгостью» . [32]
Рэмси и Сэвидж отметили, что распределение вероятностей отдельного агента можно объективно изучить в экспериментах. Процедуры проверки гипотез о вероятностях (с использованием конечных выборок) принадлежат Рэмси (1931) и де Финетти (1931, 1937, 1964, 1970). И Бруно де Финетти [33] [34] , и Фрэнк П. Рэмси [34] [35] признают свой долг перед прагматической философией , особенно (для Рэмси) перед Чарльзом С. Пирсом . [34] [35]
«Тест Рэмси» для оценки вероятностных распределений теоретически реализуем, и он уже полвека занимает внимание психологов-экспериментаторов. [36] Эта работа демонстрирует, что предположения о байесовской вероятности могут быть фальсифицированы и, таким образом, соответствуют эмпирическому критерию Чарльза С. Пирса , чья работа вдохновила Рэмси. (Этот критерий фальсифицируемости был популяризирован Карлом Поппером . [37] [38] ).
В современной работе по экспериментальной оценке личных вероятностей используются процедуры рандомизации, ослепления и булевого решения эксперимента Пирса-Ястроу. [39] Поскольку люди действуют в соответствии с различными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).
Персональные вероятности проблематичны для науки и для некоторых приложений, где лицам, принимающим решения, не хватает знаний или времени, чтобы определить обоснованное распределение вероятностей (в соответствии с которым они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы определения априорных вероятностей.
Действительно, некоторые байесовцы утверждают, что априорное состояние знаний определяет (уникальное) априорное распределение вероятностей для «обычных» статистических задач; ср. хорошо поставленные задачи . Поиск правильного метода построения таких «объективных» априорных значений (для соответствующих классов регулярных задач) был поиском теоретиков статистики от Лапласа до Джона Мейнарда Кейнса , Гарольда Джеффриса и Эдвина Томпсона Джейнса . Эти теоретики и их последователи предложили несколько методов построения «объективных» априор (к сожалению, неясно, как оценить относительную «объективность» априор, предлагаемых в рамках этих методов):
Каждый из этих методов дает полезные априоры для «регулярных» однопараметрических задач, и каждый априор может обрабатывать некоторые сложные статистические модели (с «нерегулярностью» или несколькими параметрами). Каждый из этих методов оказался полезен в байесовской практике. Действительно, методы построения «объективных» (альтернативно «по умолчанию» или «невежества») априорных подходов были разработаны общепризнанными субъективными (или «личными») байесовцами, такими как Джеймс Бергер ( Университет Дьюка ) и Хосе-Мигель Бернардо ( Университет Валенсии ). просто потому, что такие априоры необходимы для байесовской практики, особенно в науке. [40] Поиски «универсального метода построения априорных значений» продолжают привлекать теоретиков статистики. [40]
Таким образом, байесовский статистик должен либо использовать информированные априорные данные (с использованием соответствующего опыта или предыдущих данных), либо выбирать среди конкурирующих методов построения «объективных» априорных значений.
Работы
Уолда
«
Статистические
функции принятия решений»
(1950) и
Сэвиджа
«Основы статистики
» (1954) обычно считаются отправными точками для современных байесовских подходов.
Эта революция, которая может увенчаться успехом, а может и нет, является необайесианством.
Джеффрис пытался внедрить этот подход, но в то время ему не удалось привлечь к нему всеобщее внимание.
Любопытно, что даже в своей деятельности, не связанной с этикой, человечество ищет религию.
В настоящее время сильнее всего «давят» религию байесианства.
(обновленное издание, 2007 г., Холден-Дэй, 1976 г.)
Обновлен классический учебник. Байесовская теория ясно представлена
