stringtranslate.com

Байесовская вероятность

Байесовская вероятность ( / ˈ b eɪ z i ə n / BAY -zee-ən или / ˈ b eɪ ʒ ən / BAY -zhən ) [1] — это интерпретация концепции вероятности , в которой вместо частоты или склонности некоторого явления вероятность интерпретируется как разумное ожидание [2], представляющее состояние знания [3] или как количественное выражение личного убеждения. [4]

Байесовскую интерпретацию вероятности можно рассматривать как расширение пропозициональной логики , которая позволяет рассуждать с гипотезами ; [5] [6] то есть с предложениями, истинность или ложность которых неизвестна. С байесовской точки зрения вероятность приписывается гипотезе, тогда как при частотном выводе гипотеза обычно проверяется без присвоения ей вероятности.

Байесовская вероятность относится к категории доказательных вероятностей; для оценки вероятности гипотезы байесовский вероятностник определяет априорную вероятность . Она, в свою очередь, затем обновляется до апостериорной вероятности в свете новых, релевантных данных (доказательств). [7] Байесовская интерпретация предоставляет стандартный набор процедур и формул для выполнения этого расчета.

Термин «байесовский» происходит от имени математика и теолога XVIII века Томаса Байеса , который впервые дал математическую обработку нетривиальной проблемы статистического анализа данных, используя то, что сейчас известно как байесовский вывод . [8] : 131  Математик Пьер-Симон Лаплас был пионером и популяризатором того, что сейчас называется байесовской вероятностью. [8] : 97–98 

Байесовская методология

Байесовские методы характеризуются следующими концепциями и процедурами:

Объективные и субъективные байесовские вероятности

В широком смысле, существует две интерпретации байесовской вероятности. Для объективистов, которые интерпретируют вероятность как расширение логики , вероятность количественно определяет разумное ожидание того, что каждый (даже «робот»), который разделяет одни и те же знания, должен делиться ими в соответствии с правилами байесовской статистики, что может быть обосновано теоремой Кокса . [3] [10] Для субъективистов вероятность соответствует личному убеждению. [4] Рациональность и согласованность допускают существенные вариации в пределах ограничений, которые они накладывают; ограничения обоснованы аргументом голландской книги или теорией принятия решений и теоремой де Финетти . [4] Объективные и субъективные варианты байесовской вероятности различаются в основном своей интерпретацией и построением априорной вероятности.

История

Термин «байесовский» происходит от Томаса Байеса (1702–1761), который доказал частный случай того, что сейчас называется теоремой Байеса, в статье под названием « Опыт решения проблемы в доктрине случайностей ». [11] В этом частном случае априорное и апостериорное распределения были бета-распределениями , а данные были получены из испытаний Бернулли . Именно Пьер-Симон Лаплас (1749–1827) представил общую версию теоремы и использовал ее для решения проблем небесной механики , медицинской статистики, надежности и юриспруденции . [12] Ранний байесовский вывод, который использовал равномерные априорные данные, следуя принципу недостаточной причины Лапласа , назывался « обратной вероятностью » (потому что он делает вывод в обратном порядке от наблюдений к параметрам или от следствий к причинам). [13] После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой . [13]

В 20 веке идеи Лапласа развивались в двух направлениях, давая начало объективным и субъективным течениям в байесовской практике. Теория вероятностей Гарольда Джеффриса ( впервые опубликована в 1939 году) сыграла важную роль в возрождении байесовского взгляда на вероятность, за которым последовали работы Абрахама Уолда (1950) и Леонарда Дж. Сэвиджа (1954). Само прилагательное байесовский датируется 1950-ми годами; производное байесианство , необайесианство, возникло в 1960-х годах. [14] [15] [16] В объективистском течении статистический анализ зависит только от предполагаемой модели и анализируемых данных. [17] Никакие субъективные решения не должны быть вовлечены. Напротив, «субъективистские» статистики отрицают возможность полностью объективного анализа для общего случая.

В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном благодаря открытию методов Монте-Карло на основе цепей Маркова и последующему устранению многих вычислительных проблем, а также к растущему интересу к нестандартным, сложным приложениям. [18] Хотя частотная статистика остается сильной (о чем свидетельствует тот факт, что большая часть обучения студентов основана на ней [19] ), байесовские методы широко приняты и используются, например, в области машинного обучения . [20]

Оправдание

Использование байесовских вероятностей в качестве основы байесовского вывода подкрепляется несколькими аргументами, такими как аксиомы Кокса , аргумент голландской книги , аргументы, основанные на теории принятия решений и теореме де Финетти .

Аксиоматический подход

Ричард Т. Кокс показал, что байесовское обновление следует из нескольких аксиом, включая два функциональных уравнения и гипотезу дифференцируемости. [10] [21] Предположение о дифференцируемости или даже непрерывности является спорным; Халперн нашел контрпример, основанный на его наблюдении, что булева алгебра утверждений может быть конечной. [22] Другие аксиоматизации были предложены различными авторами с целью сделать теорию более строгой. [9]

Голландский книжный подход

Бруно де Финетти предложил аргумент голландской книги, основанный на ставках. Умный букмекер создает голландскую книгу , устанавливая коэффициенты и ставки так, чтобы букмекер получал прибыль — за счет игроков — независимо от исхода события (например, скачек), на которое игроки делают ставки. Это связано с вероятностями, подразумеваемыми из-за того, что коэффициенты не являются согласованными .

Однако Ян Хакинг отметил, что традиционные аргументы голландской книги не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут обойти голландские книги. Например, Хакинг пишет [23] [24] «И ни аргумент голландской книги, ни любой другой в арсенале персоналистских доказательств аксиом вероятности не влечет за собой динамического предположения. Ни один из них не влечет за собой байесианство. Поэтому персоналист требует, чтобы динамическое предположение было байесовским. Верно, что в последовательности персоналист может отказаться от байесовской модели обучения на опыте. Соль может потерять свою остроту».

Фактически, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждалось в литературе по « вероятностной кинематике » [25] после публикации правила Ричарда К. Джеффри , которое само по себе считается байесовским [26] ). Дополнительные гипотезы, достаточные для (однозначного) определения байесовского обновления, существенны [27] и не всегда считаются удовлетворительными. [28]

Подход теории принятия решений

Теоретико -решающее обоснование использования байесовского вывода (и, следовательно, байесовских вероятностей) было дано Абрахамом Вальдом , который доказал, что каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур. [29] И наоборот, каждая байесовская процедура является допустимой . [30]

Личные вероятности и объективные методы построения априорных вероятностей

После работы над теорией ожидаемой полезности Рамсея и фон Неймана , теоретики принятия решений объяснили рациональное поведение, используя распределение вероятностей для агента . Иоганн Пфанцагль завершил теорию игр и экономического поведения , предоставив аксиоматизацию субъективной вероятности и полезности, задачу, которую оставили невыполненной фон Нейман и Оскар Моргенштерн : их первоначальная теория предполагала, что все агенты имеют одинаковое распределение вероятностей, для удобства. [31] Аксиоматизация Пфанцагля была одобрена Оскаром Моргенштерном: «Фон Нейман и я предвидели... [вопрос о вероятностях] может, возможно, более типично, быть субъективным, и специально заявили, что в последнем случае могут быть найдены аксиомы, из которых можно вывести желаемую числовую полезность вместе с числом для вероятностей (ср. с. 19 Теории игр и экономического поведения). Мы этого не делали; это было продемонстрировано Пфанцаглем... со всей необходимой строгостью». [32]

Рэмси и Сэвидж отметили, что распределение вероятностей отдельного агента может быть объективно изучено в экспериментах. Процедуры проверки гипотез о вероятностях (с использованием конечных выборок) принадлежат Рэмси (1931) и де Финетти (1931, 1937, 1964, 1970). И Бруно де Финетти [33] [34] , и Фрэнк П. Рэмси [34] [35] признают свою заслугу перед прагматической философией , в частности (для Рэмси) перед Чарльзом С. Пирсом . [34] [35]

«Тест Рамсея» для оценки распределений вероятностей теоретически реализуем и вот уже полвека занимает экспериментальных психологов. [36] Эта работа демонстрирует, что байесовские вероятностные утверждения могут быть фальсифицированы , и, таким образом, соответствуют эмпирическому критерию Чарльза С. Пирса , чья работа вдохновила Рамсея. (Этот критерий фальсифицируемости был популяризирован Карлом Поппером . [37] [38] )

Современные работы по экспериментальной оценке личных вероятностей используют процедуры рандомизации, ослепления и принятия булевых решений эксперимента Пирса-Джастроу. [39] Поскольку люди действуют в соответствии с различными вероятностными суждениями, вероятности этих агентов являются «личными» (но поддаются объективному изучению).

Личные вероятности проблематичны для науки и для некоторых приложений, где у лиц, принимающих решения, нет знаний или времени, чтобы указать информированное распределение вероятностей (на основе которого они готовы действовать). Чтобы удовлетворить потребности науки и человеческие ограничения, байесовские статистики разработали «объективные» методы для указания априорных вероятностей.

Действительно, некоторые байесовцы утверждали, что априорное состояние знаний определяет (уникальное) априорное распределение вероятностей для «регулярных» статистических задач; ср. хорошо поставленные задачи . Поиск правильного метода построения таких «объективных» априорных данных (для соответствующих классов регулярных задач) был целью статистических теоретиков от Лапласа до Джона Мейнарда Кейнса , Гарольда Джеффриса и Эдвина Томпсона Джейнса . Эти теоретики и их последователи предложили несколько методов построения «объективных» априорных данных (к сожалению, не всегда ясно, как оценить относительную «объективность» априорных данных, предложенных в рамках этих методов):

Каждый из этих методов вносит полезные априорные данные для «регулярных» однопараметрических задач, и каждый априорный код может обрабатывать некоторые сложные статистические модели (с «нерегулярностью» или несколькими параметрами). Каждый из этих методов был полезен в байесовской практике. Действительно, методы построения «объективных» (альтернативно, «по умолчанию» или «незнания») априорных данных были разработаны признанными субъективными (или «личными») байесовцами, такими как Джеймс Бергер ( Университет Дьюка ) и Хосе-Мигель Бернардо ( Университет Валенсии ), просто потому, что такие априорные данные необходимы для байесовской практики, особенно в науке. [40] Поиски «универсального метода построения априорных данных» продолжают привлекать статистических теоретиков. [40]

Таким образом, байесовскому статистику необходимо либо использовать обоснованные априорные вероятности (используя соответствующий опыт или предыдущие данные), либо выбирать среди конкурирующих методов построения «объективных» априорных вероятностей.

Смотрите также

Ссылки

  1. ^ "Байесовский". Словарь Merriam-Webster.com . Merriam-Webster.
  2. ^ Кокс, РТ (1946). «Вероятность, частота и разумное ожидание». Американский журнал физики . 14 (1): 1–10. Bibcode : 1946AmJPh..14....1C. doi : 10.1119/1.1990764.
  3. ^ ab Jaynes, ET (1986). "Байесовские методы: общие сведения". В Justice, JH (ред.). Методы максимальной энтропии и байесовские методы в прикладной статистике . Кембридж: Cambridge University Press. CiteSeerX 10.1.1.41.1055 . 
  4. ^ abc de Finetti, Bruno (2017). Теория вероятностей: критическое вводное лечение . Чичестер: John Wiley & Sons Ltd. ISBN 9781119286370.
  5. ^ Hailperin, Theodore (1996). Sentential Probability Logic: Origins, Development, Current Status, and Technical Applications . London: Associated University Presses. ISBN 0934223459.
  6. ^ Howson, Colin (2001). «Логика байесовской вероятности». В Corfield, D.; Williamson, J. (ред.). Основы байесианства . Dordrecht: Kluwer. стр. 137–159. ISBN 1-4020-0223-8.
  7. ^ Паулос, Джон Аллен (5 августа 2011 г.). «Математика изменения вашего мышления [автор — Шарон Берч Макгрейн]». Обзор книги. New York Times . Архивировано из оригинала 2022-01-01 . Получено 2011-08-06 .
  8. ^ ab Stigler, Stephen M. (март 1990). История статистики . Harvard University Press. ISBN 9780674403413.
  9. ^ ab Dupré, Maurice J.; Tipler, Frank J. (2009). «Новые аксиомы для строгой байесовской вероятности». Bayesian Analysis . 4 (3): 599–606. CiteSeerX 10.1.1.612.3036 . doi :10.1214/09-BA422. 
  10. ^ ab Cox, Richard T. (1961). Алгебра вероятного вывода (Переиздание). Балтимор, Мэриленд; Лондон, Великобритания: Johns Hopkins Press; Oxford University Press [дистрибьютор]. ISBN 9780801869822.
  11. ^ Макгрейн, Шарон Берч (2011). Теория, которая не умрет . [https://archive.org/details/theorythatwouldn0000mcgr/page/10 10 ] , стр. 10, в Google Books .
  12. ^ Стиглер, Стивен М. (1986). "Глава 3" . История статистики . Издательство Гарвардского университета. ISBN 9780674403406.
  13. ^ ab Fienberg, Stephen. E. (2006). «Когда байесовский вывод стал «байесовским»?» (PDF) . Байесовский анализ . 1 (1): 5, 1–40. doi : 10.1214/06-BA101 . Архивировано из оригинала (PDF) 10 сентября 2014 г.
  14. ^ Харрис, Маршалл Дис (1959). "Последние разработки так называемого байесовского подхода к статистике". Центр сельскохозяйственного права. Юридическо-экономические исследования . Университет Айовы: 125 (прим. № 52), 126. Работы Вальда , Статистические функции принятия решений (1950) и Сэвиджа , Основы статистики (1954) обычно считаются отправными точками для современных байесовских подходов.
  15. ^ Annals of the Computation Laboratory of Harvard University . Vol. 31. 1962. p. 180. Эта революция, которая может быть успешной, а может и нет, — это необайесианство. Джеффрис пытался ввести этот подход, но в то время не преуспел в том, чтобы придать ему всеобщую привлекательность.
  16. ^ Кемпторн, Оскар (1967). Классическая проблема вывода — добросовестность соответствия. Пятый симпозиум Беркли по математической статистике и вероятности. стр. 235. Любопытно, что даже в своей деятельности, не связанной с этикой, человечество ищет религию. В настоящее время религия, которую «проталкивают» сильнее всего, — это байесианство.
  17. ^ Бернардо, Дж. М. (2005). «Анализ ссылок». Байесовское мышление — моделирование и вычисления . Справочник по статистике. Том 25. Справочник по статистике. С. 17–90. doi :10.1016/S0169-7161(05)25002-2. ISBN 9780444515391.
  18. ^ Вольперт, Р. Л. (2004). «Беседа с Джеймсом О. Бергером». Статистическая наука . 9 : 205–218. doi : 10.1214/088342304000000053 .
  19. ^ Бернардо, Хосе М. (2006). Учебник байесовской математической статистики (PDF) . ICOTS-7. Берн. Архивировано (PDF) из оригинала 2022-10-09.
  20. ^ Бишоп, CM (2007). Распознавание образов и машинное обучение . Springer.
  21. ^ Смит, К. Рэй; Эриксон, Гэри (1989). «От рациональности и согласованности к байесовской вероятности». В Скиллинг, Джон (ред.). Максимальная энтропия и байесовские методы . Дордрехт: Kluwer. стр. 29–44. doi :10.1007/978-94-015-7860-8_2. ISBN 0-7923-0224-9.
  22. ^ Halpern, J. (1999). «Контрпример к теоремам Кокса и Файна» (PDF) . Журнал исследований искусственного интеллекта . 10 : 67–85. doi : 10.1613/jair.536 . S2CID  1538503. Архивировано (PDF) из оригинала 2022-10-09.
  23. ^ Хакерство (1967), Раздел 3, стр. 316
  24. ^ Хакерство (1988, стр. 124)
  25. ^ Skyrms, Brian (1 января 1987 г.). «Динамическая когерентность и кинематика вероятностей». Philosophy of Science . 54 (1): 1–20. CiteSeerX 10.1.1.395.5723 . doi :10.1086/289350. JSTOR  187470. S2CID  120881078. 
  26. ^ Джойс, Джеймс (30 сентября 2003 г.). «Теорема Байеса». Стэнфордская энциклопедия философии . stanford.edu.
  27. ^ Фукс, Кристофер А.; Шак, Рюдигер (1 января 2012 г.). «Байесовское обусловливание, принцип отражения и квантовая декогеренция». В книге Бен-Менахем, Йемима; Хеммо, Меир (ред.). Вероятность в физике . Коллекция Frontiers. Springer Berlin Heidelberg. стр. 233–247. arXiv : 1103.5950 . doi :10.1007/978-3-642-21329-8_15. ISBN 9783642213281. S2CID  119215115.
  28. ^ Ван Фрассен, Бас (1989). Законы и симметрия . Oxford University Press. ISBN 0-19-824860-1.
  29. ^ Вальд, Абрахам (1950). Статистические функции принятия решений . Wiley.
  30. ^ Бернардо, Хосе М.; Смит, Адриан Ф.М. (1994). Байесовская теория . John Wiley. ISBN 0-471-92416-4.
  31. ^ Пфанцагль (1967, 1968)
  32. ^ Моргенштерн (1976, стр. 65)
  33. ^ Галавотти, Мария Карла (1 января 1989 г.). «Антиреализм в философии вероятности: субъективизм Бруно де Финетти». Erkenntnis . 31 (2/3): 239–261. doi :10.1007/bf01236565. JSTOR  20012239. S2CID  170802937.
  34. ^ abc Galavotti, Maria Carla (1 декабря 1991 г.). «Понятие субъективной вероятности в работах Рэмси и де Финетти». Theoria . 57 (3): 239–259. doi :10.1111/j.1755-2567.1991.tb00839.x. ISSN  1755-2567.
  35. ^ ab Dokic, Jérôme; Engel, Pascal (2003). Фрэнк Рэмси: Истина и успех . Routledge. ISBN 9781134445936.
  36. ^ Дэвидсон и др. (1957)
  37. ^ Торнтон, Стивен (7 августа 2018 г.). «Карл Поппер». Стэнфордская энциклопедия философии. Лаборатория метафизических исследований, Стэнфордский университет.
  38. ^ Поппер, Карл (2002) [1959]. Логика научного открытия (2-е изд.). Routledge. стр. 57. ISBN 0-415-27843-0– через Google Книги.(перевод оригинала 1935 года на немецкий язык).
  39. ^ Пирс и Джастров (1885)
  40. ^ ab Bernardo, JM (2005). «Анализ ссылок». В Dey, DK; Rao, CR (ред.). Handbook of Statistics (PDF) . Том 25. Амстердам: Elsevier. С. 17–90. Архивировано (PDF) из оригинала 2022-10-09.

Библиография

(Частично перепечатано в Gärdenfors, Peter ; Sahlin, Nils-Eric (1988). Решение, вероятность и полезность: избранные материалы . Cambridge University Press. ISBN 0-521-33658-9.)