В теории вероятностей и статистике теорема Байеса (альтернативно закон Байеса или правило Байеса ) , названная в честь Томаса Байеса , описывает вероятность события , основанную на предварительном знании условий, которые могут быть связаны с событием. [1] Например, если известно, что риск развития проблем со здоровьем увеличивается с возрастом, теорема Байеса позволяет более точно оценить риск для человека известного возраста, обусловливая его относительно его возраста, а не просто предполагая что индивидуум типичен для популяции в целом.
Одним из многих применений теоремы Байеса является байесовский вывод , особый подход к статистическому выводу . При применении вероятности, включенные в теорему, могут иметь разные вероятностные интерпретации . Используя байесовскую вероятностную интерпретацию, теорема выражает, как степень убеждения, выраженная как вероятность, должна рационально меняться, чтобы учесть наличие соответствующих доказательств. Байесовский вывод является фундаментальным для байесовской статистики , и один авторитетный специалист считает его «для теории вероятностей тем же, чем теорема Пифагора является для геометрии». [2]
Теорема Байеса названа в честь преподобного Томаса Байеса ( / b eɪ z / ), также статистика и философа. Байес использовал условную вероятность, чтобы создать алгоритм (его Предложение 9), который использует доказательства для расчета пределов неизвестного параметра. Его работа была опубликована в 1763 году как «Очерк решения проблемы учения о шансах» . Байес изучал, как вычислить распределение вероятностного параметра биномиального распределения (в современной терминологии). После смерти Байеса его семья передала его бумаги другу, министру, философу и математику Ричарду Прайсу .
За два года Ричард Прайс существенно отредактировал неопубликованную рукопись, прежде чем отправить ее другу, который прочитал ее вслух в Королевском обществе 23 декабря 1763 года. [3] Прайс редактировал [4] основную работу Байеса «Очерк решения проблемы в «Доктрина шансов» (1763), появившаяся в «Философских трудах » [5] и содержащая теорему Байеса. Прайс написал введение к статье, в котором представлены некоторые философские основы байесовской статистики , и выбрал одно из двух решений, предложенных Байесом. В 1765 году Прайс был избран членом Королевского общества в знак признания его работы над наследием Байеса. [6] [7] 27 апреля письмо, отправленное его другу Бенджамину Франклину, было зачитано в Королевском обществе, а затем опубликовано, где Прайс применяет эту работу к населению и вычислению «пожизненной ренты». [8]
Независимо от Байеса, Пьер-Симон Лаплас в 1774 году, а позже в своей «Аналитической теории вероятностей» 1812 года использовал условную вероятность, чтобы сформулировать связь обновленной апостериорной вероятности с априорной вероятностью при наличии доказательств. Он воспроизвел и расширил результаты Байеса в 1774 году, очевидно, не зная о работах Байеса. [примечание 1] [9] Байесовская интерпретация вероятности была разработана главным образом Лапласом. [10]
Примерно 200 лет спустя сэр Гарольд Джеффрис поставил алгоритм Байеса и формулировку Лапласа на аксиоматическую основу, написав в книге 1973 года, что теорема Байеса «является для теории вероятностей тем же, чем теорема Пифагора является для геометрии». [2]
Стивен Стиглер использовал байесовский аргумент, чтобы прийти к выводу, что теорема Байеса была открыта Николасом Сондерсоном , слепым английским математиком, незадолго до Байеса; [11] [12] эта интерпретация, однако, оспаривается. [13] Мартин Хупер [14] и Шэрон МакГрейн [15] утверждают, что вклад Ричарда Прайса был существенным:
По современным меркам нам следует обратиться к правилу Байеса-Прайса. Прайс обнаружил работу Байеса, осознал ее важность, исправил ее, внес свой вклад в статью и нашел ей применение. Современная традиция использовать только имя Байеса несправедлива, но настолько укоренилась, что все остальное не имеет смысла. [15]
Теорема Байеса математически формулируется в виде следующего уравнения: [16]
где и – события и .
Теорему Байеса можно вывести из определения условной вероятности :
где вероятность того, что А и Б верны. Сходным образом,
Решение и подстановка в приведенное выше выражение дает теорему Байеса:
Для двух непрерывных случайных величин X и Y теорема Байеса может быть получена аналогичным образом из определения условной плотности :
Поэтому,
Пусть – условное распределение данного и пусть – распределение . Тогда совместное распределение . Тогда условное распределение данного определяется формулой
Существование и единственность необходимого условного ожидания является следствием теоремы Радона–Никодима . Это было сформулировано Колмогоровым в его знаменитой книге 1933 года. Колмогоров подчеркивает важность условной вероятности, написав в предисловии: «Я хочу обратить внимание на... и особенно на теорию условных вероятностей и условных ожиданий...». [17] Теорема Байеса определяет апостериорное распределение на основе предварительного распределения. Теорему Байеса можно обобщить, включив в нее неправильные априорные распределения, такие как равномерное распределение на действительной прямой. [18] Современные методы Монте-Карло для цепей Маркова повысили важность теоремы Байеса, включая случаи с неправильными априорными значениями. [19]
Правило Байеса и вычисление условных вероятностей обеспечивают метод решения ряда популярных головоломок, таких как проблема трёх узников , проблема Монти Холла , проблема двух детей и проблема двух конвертов .
Предположим, что конкретный тест на то, употреблял ли кто-то каннабис, имеет чувствительность 90% , что означает, что истинно положительный уровень (TPR) = 0,90. Таким образом, это приводит к 90% истинно положительных результатов (правильная идентификация употребления наркотиков) для потребителей каннабиса.
Специфичность теста также составляет 80 % , что означает долю истинно отрицательных результатов (TNR) = 0,80. Таким образом, тест правильно определяет 80% случаев неиспользования для непользователей, но также генерирует 20% ложноположительных результатов или уровень ложноположительных результатов (FPR) = 0,20 для непользователей.
Если предположить, что распространенность составляет 0,05 , то есть 5% людей употребляют каннабис, какова вероятность того , что случайный человек с положительным результатом теста действительно является потребителем каннабиса?
Положительная прогностическая ценность (PPV) теста — это доля людей, которые действительно имеют положительный результат, среди всех тех, кто дал положительный результат теста, и ее можно рассчитать на основе выборки как:
Если известны чувствительность, специфичность и распространенность, PPV можно рассчитать с помощью теоремы Байеса. Пусть это означает «вероятность того, что кто-то употребляет каннабис при условии, что его тест положительный», что подразумевается под PPV. Мы можем написать:
Дело в том, что это прямое применение Закона полной вероятности . В этом случае говорится, что вероятность того, что кто-то даст положительный результат теста, равна вероятности того, что пользователь даст положительный результат, умноженной на вероятность того, что он является пользователем, плюс вероятность того, что непользователь получит положительный результат теста, умноженной на вероятность того, что он не является пользователем. . Это верно, поскольку классификации «пользователь» и «непользователь» образуют раздел множества , а именно множества людей, которые проходят тест на наркотики. В сочетании с определением условной вероятности это приводит к приведенному выше утверждению.
Другими словами, даже если у кого-то положительный результат теста, вероятность того, что он употребляет каннабис, составляет всего 19% — это потому, что в этой группе только 5% людей являются потребителями, а большинство положительных результатов — это ложные срабатывания, исходящие от остальных 95%. .
Если протестировано 1000 человек:
Таким образом, на 1000 человек приходится 235 положительных тестов, из которых только 45 являются настоящими потребителями наркотиков, или около 19%. На рисунке 1 представлена иллюстрация с использованием рамки частоты и обратите внимание, насколько мала розовая область истинных положительных результатов по сравнению с синей областью ложных положительных результатов.
Важность специфичности можно увидеть, показав, что даже если чувствительность повышается до 100%, а специфичность остается на уровне 80%, вероятность того, что кто-то с положительным результатом теста действительно является потребителем каннабиса, возрастает только с 19% до 21%, но если чувствительность при 90% и повышении специфичности до 95% вероятность возрастает до 49%.
Даже если у 100% пациентов с раком поджелудочной железы имеется определенный симптом, наличие такого же симптома у кого-то не означает, что у этого человека есть 100% вероятность заболеть раком поджелудочной железы. Если предположить, что уровень заболеваемости раком поджелудочной железы составляет 1/100 000, в то время как 10 из 99 999 здоровых людей во всем мире имеют одинаковые симптомы, вероятность заболевания раком поджелудочной железы с учетом этих симптомов составляет всего 9,1%, а остальные 90,9% могут быть «ложноположительными» (ложноположительные результаты). то есть ошибочно говорят, что у них рак; термин «положительный» сбивает с толку, когда, как в данном случае, тест дает плохие новости).
В зависимости от уровня заболеваемости в следующей таблице представлены соответствующие цифры на 100 000 человек.
Затем это можно использовать для расчета вероятности заболевания раком при наличии следующих симптомов:
Фабрика производит продукцию с использованием трех машин — A, B и C, на долю которых приходится 20%, 30% и 50% ее продукции соответственно. Из изделий, произведенных машиной А, 5% являются бракованными; Аналогично, 3% изделий машины B и 1% машин C являются дефектными. Если случайно выбранный предмет окажется бракованным, какова вероятность того, что он был изготовлен машиной С?
И снова ответ можно получить без использования формулы, применив условия к гипотетическому числу случаев. Например, если завод производит 1000 изделий, 200 будет произведено машиной А, 300 — машиной Б и 500 — машиной С. Машина А будет производить 5% × 200 = 10 дефектных изделий, машина Б — 3% × 300 = 9. , а машина C 1% × 500 = 5, всего 24. Таким образом, вероятность того, что случайно выбранная дефектная деталь была произведена машиной C, равна 5/24 (~20,83%).
Эту проблему также можно решить с помощью теоремы Байеса: Пусть X i обозначает событие, когда случайно выбранный предмет был изготовлен i- й машиной (для i = A,B,C). Пусть Y обозначает событие, когда случайно выбранный товар оказывается бракованным. Далее нам предоставляется следующая информация:
Если деталь изготовлена на первом станке, то вероятность того, что она бракованная, равна 0,05; то есть P ( Y | X A ) = 0,05. В целом у нас есть
Чтобы ответить на исходный вопрос, мы сначала находим P (Y). Это можно сделать следующим образом:
Следовательно, 2,4% от общего объема выпуска являются бракованными.
Нам дано, что событие Y произошло, и мы хотим вычислить условную вероятность события X C . По теореме Байеса
Учитывая, что деталь бракованная, вероятность того, что она была изготовлена на машине С, равна 5/24. Хотя машина С производит половину всей продукции, она производит гораздо меньшую долю бракованных изделий. Следовательно, знание того, что выбранный элемент был дефектным, позволяет нам заменить априорную вероятность P ( X C ) = 1/2 меньшей апостериорной вероятностью P (X C | Y ) = 5/24.
Интерпретация правила Байеса зависит от интерпретации вероятности, приписываемой этим терминам. Ниже описаны две преобладающие интерпретации. На рисунке 2 показана геометрическая визуализация.
В байесовской (или эпистемологической) интерпретации вероятность измеряет «степень веры». Теорема Байеса связывает степень веры в утверждение до и после учета доказательств. Например, предположим, что с 50% уверенностью считается, что монета выпадет орел в два раза чаще, чем решка. Если монету подбросить несколько раз и наблюдать за результатами, эта степень веры, вероятно, повысится или упадет, но может даже остаться прежней, в зависимости от результатов. Для предложения A и доказательства B ,
Дополнительную информацию о применении теоремы Байеса в байесовской интерпретации вероятности см. в разделе « Байесовский вывод» .
В частотной интерпретации вероятность измеряет «долю результатов». Например, предположим, что эксперимент проводится много раз. P ( A ) — это доля результатов со свойством A (априорным), а P ( B ) — это доля со свойством B. P ( B | A ) — это доля результатов со свойством B среди результатов со свойством A , а P ( A | B ) — это доля результатов со свойством A среди результатов со свойством A (апостериорный).
Роль теоремы Байеса лучше всего визуализировать с помощью древовидных диаграмм, таких как рисунок 3. Две диаграммы делят одни и те же результаты на A и B в противоположных порядках, чтобы получить обратные вероятности. Теорема Байеса связывает различные разделения.
Энтомолог замечает существо, судя по рисунку на его спине, которое может быть редким подвидом жука . Полные 98% представителей редкого подвида имеют этот образец, поэтому P (Шаблон | Редкий) = 98%. Только 5% представителей общего подвида имеют этот рисунок. Редкий подвид составляет 0,1% от общей численности популяции. Насколько вероятно, что жук с рисунком будет редким: что такое P (Редкий | Образец)?
Из расширенной формы теоремы Байеса (поскольку любой жук либо редкий, либо обычный):
Для событий A и B при условии, что P ( B ) ≠ 0,
Во многих приложениях, например в байесовском выводе , событие B фиксируется в обсуждении, и мы хотим рассмотреть влияние его наблюдения на нашу веру в различные возможные события A. В такой ситуации знаменатель последнего выражения, вероятность данного свидетельства B , фиксирована; мы хотим изменить A . Теорема Байеса затем показывает, что апостериорные вероятности пропорциональны числителю , поэтому последнее уравнение принимает вид:
Другими словами, апостериорная вероятность пропорциональна предыдущему времени. [20]
Если события A 1 , A 2 , ... являются взаимоисключающими и исчерпывающими, т. е. одно из них обязательно произойдет, но никакие два не могут произойти вместе, мы можем определить константу пропорциональности, используя тот факт, что их вероятности должны складываться. к одному. Например, для данного события A само событие A и его дополнение ¬A являются исключительными и исчерпывающими. Обозначая константу пропорциональности через c , имеем
Сложив эти две формулы, мы приходим к выводу, что
или
Другая форма теоремы Байеса для двух конкурирующих утверждений или гипотез:
Для эпистемологической интерпретации:
Для предложения A и доказательств или предпосылок B [ 21]
Часто для некоторого раздела { A j } выборочного пространства пространство событий задается в терминах P ( A j ) и P ( B | A j ). Тогда полезно вычислить P ( B ), используя закон полной вероятности :
Или (используя правило умножения условной вероятности) [22]
В особом случае, когда A — двоичная переменная :
Рассмотрим выборочное пространство Ω, порожденное двумя случайными величинами X и Y с известными распределениями вероятностей. В принципе, теорема Байеса применима к событиям A = { X = x } и B = { Y = y }.
Однако члены становятся равными 0 в точках, где любая переменная имеет конечную плотность вероятности . Чтобы оставаться полезной, теорему Байеса можно сформулировать в терминах соответствующих плотностей (см. Вывод).
Если X непрерывен, а Y дискретен,
где каждая представляет собой функцию плотности.
Если X дискретно, а Y непрерывно,
Если и X, и Y непрерывны,
Непрерывное пространство событий часто концептуализируется с точки зрения числителя. Тогда полезно исключить знаменатель, используя закон полной вероятности . Для f Y ( y ) это становится интегралом:
Теорема Байеса в форме шансов :
где
называется фактором Байеса или отношением правдоподобия . Шансы между двумя событиями — это просто отношение вероятностей двух событий. Таким образом
Таким образом, правило гласит, что апостериорные шансы — это априорные шансы, умноженные на коэффициент Байеса , или, другими словами, апостериорные шансы пропорциональны предыдущему произведению вероятности.
В особом случае и пишут , и используют аналогичную аббревиатуру для фактора Байеса и для условных шансов. Шансы на – это, по определению, шансы за и против . Тогда правило Байеса можно записать в сокращенной форме
или, другими словами, апостериорные шансы равны априорным шансам, умноженным на отношение правдоподобия для данной информации . Короче говоря, апостериорные шансы равны априорным шансам, умноженным на отношение правдоподобия .
Например, если медицинский тест имеет чувствительность 90% и специфичность 91%, то положительный фактор Байеса равен . Теперь, если распространенность этого заболевания составляет 9,09% и если мы примем это за априорную вероятность, то априорные шансы составят примерно 1:10. Таким образом, после получения положительного результата теста апостериорная вероятность наличия заболевания становится 1:1, что означает, что апостериорная вероятность наличия заболевания составляет 50%. Если второй тест проводится при серийном тестировании и он также оказывается положительным, то апостериорная вероятность фактического наличия заболевания становится 10:1, что означает апостериорную вероятность около 90,91%. Отрицательный фактор Байеса можно рассчитать как 91%/(100%-90%)=9,1, поэтому, если второй тест окажется отрицательным, то апостериорные шансы на самом деле иметь заболевание составляют 1:9,1, что означает апостериорная вероятность около 9,9%.
Приведенный выше пример можно понять и с помощью более точных цифр: предположим, что пациент, проходящий тест, принадлежит к группе из 1000 человек, из которых 91 человек действительно болен (распространенность 9,1%). Если все эти 1000 человек пройдут медицинское обследование, то 82 из больных получат истинно положительный результат (чувствительность 90,1%), 9 из больных получат ложноотрицательный результат (ложноотрицательный результат 9,9%), 827 человек без заболевания получат истинно отрицательный результат (специфичность 91,0%), а 82 человека без заболевания получат ложноположительный результат (частота ложноположительных результатов 9,0%). До прохождения какого-либо теста вероятность наличия у пациента заболевания составляет 91:909. После получения положительного результата вероятность заболевания у пациента равна
что согласуется с тем фактом, что в группе из 1000 человек имеется 82 истинных положительных результата и 82 ложных положительных результата.
Используя дважды, можно использовать теорему Байеса, чтобы также выразить через отрицания и без них:
когда . Из этого мы можем прочитать вывод
Другими словами: если, конечно, подразумевается , мы делаем вывод, что, безусловно, подразумевает . Где , если два импликации являются достоверными, являются эквивалентными утверждениями. В формулах вероятности условная вероятность обобщает логическое следствие , где теперь помимо присвоения истинного или ложного утверждениям мы присваиваем значения вероятности. Утверждение о схвачено уверенностью в условном, утверждение о . Связывая направления импликации, теорема Байеса представляет собой обобщение закона противопоставления , который в классической логике высказываний может быть выражен как:
В этом отношении между импликациями позиции соотв. перевернуться.
Соответствующей формулой в терминах исчисления вероятностей является теорема Байеса, которая в своей расширенной форме, включающая только априорную вероятность / базовую ставку , выражается как: [23]
Теорема Байеса представляет собой частный случай вывода перевернутых условных мнений в субъективной логике , выраженных как:
где обозначает оператор инвертирования условных мнений. Аргумент обозначает пару биномиальных условных мнений, данных источником , а аргумент обозначает априорную вероятность (т. е. базовую ставку ) . Обозначается пара производных перевернутых условных суждений . Условное мнение обобщает вероятностное условное мнение , т.е. помимо присвоения вероятности источник может приписать условному высказыванию любое субъективное мнение . Биномиальное субъективное мнение — это вера в истинность утверждения со степенью эпистемической неопределенности, выраженная источником . Каждое субъективное мнение имеет соответствующую прогнозируемую вероятность . Применение теоремы Байеса к прогнозируемым вероятностям мнений является гомоморфизмом , что означает, что теорему Байеса можно выразить через прогнозируемые вероятности мнений:
Следовательно, субъективная теорема Байеса представляет собой обобщение теоремы Байеса. [24]
Версия теоремы Байеса для трех событий [25] возникает в результате добавления третьего события , которым обусловлены все вероятности:
Использование правила цепочки
И, с другой стороны
Желаемый результат получается путем идентификации обоих выражений и решения для .
В генетике правило Байеса можно использовать для оценки вероятности наличия у человека определенного генотипа. Многие люди пытаются приблизительно оценить свои шансы заболеть генетическим заболеванием или вероятность того, что они являются носителями интересующего рецессивного гена. Байесовский анализ может быть проведен на основе семейного анамнеза или генетического тестирования , чтобы предсказать, разовьется ли у человека заболевание или передаст ли его своим детям. Генетическое тестирование и прогнозирование — обычная практика среди пар, которые планируют завести детей, но обеспокоены тем, что они оба могут быть носителями заболевания, особенно в сообществах с низкой генетической вариативностью. [26]
Первым шагом в байесовском анализе генетики является выдвижение взаимоисключающих гипотез: для конкретного аллеля человек либо является носителем, либо не является носителем. Затем рассчитываются четыре вероятности: априорная вероятность (вероятность каждой гипотезы с учетом такой информации, как семейный анамнез или прогнозы, основанные на менделевском наследовании), условная вероятность (определенного результата), совместная вероятность (произведение первых двух) и апостериорная вероятность. Вероятность (взвешенное произведение, рассчитанное путем деления совместной вероятности для каждой гипотезы на сумму обеих совместных вероятностей). Этот тип анализа может быть проведен исключительно на основе семейного анамнеза заболевания или в сочетании с генетическим тестированием. [ нужна цитата ]
Пример таблицы байесовского анализа риска заболевания у женщины, основанной на знании того, что заболевание присутствует у ее братьев и сестер, но не у ее родителей или кого-либо из ее четырех детей. Основываясь исключительно на статусе братьев, сестер и родителей субъекта, она с одинаковой вероятностью может быть носителем и не носителем (эта вероятность обозначается априорной гипотезой). Однако вероятность того, что все четыре сына субъекта не пострадают, составляет 1/16 ( 1 ⁄ 2 · 1 ⁄ 2 · 1 ⁄ 2 · 1 ⁄ 2 ), если она является носителем, и около 1, если она не является носителем ( это условная вероятность). Совместная вероятность согласовывает эти два предсказания, умножая их вместе. Последняя строка (апостериорная вероятность) рассчитывается путем деления совместной вероятности для каждой гипотезы на сумму обеих совместных вероятностей. [27]
Родительское генетическое тестирование может обнаружить около 90% известных аллелей заболеваний у родителей, которые могут привести к носительству или пораженному статусу у их ребенка. Муковисцидоз — наследственное заболевание, вызываемое аутосомно-рецессивной мутацией гена CFTR, [28] , расположенного на плече q хромосомы 7. [29]
Байесовский анализ пациентки с семейным анамнезом муковисцидоза (МВ), у которой результат теста на МВ оказался отрицательным, демонстрирующий, как этот метод использовался для определения риска рождения ребенка с МВ:
Поскольку пациентка не затронута этим заболеванием, она либо гомозиготна по аллелю дикого типа, либо гетерозиготна. Для установления априорных вероятностей используется квадрат Пеннета, основанный на знании того, что ни один из родителей не был затронут болезнью, но оба могли быть носителями:
Учитывая, что пациент не пострадал, есть только три возможности. Среди этих трех есть два сценария, в которых пациент является носителем мутантного аллеля. Таким образом, априорные вероятности равны 2 ⁄ 3 и 1 ⁄ 3 .
Далее пациент проходит генетическое тестирование и дает отрицательный результат на муковисцидоз. Уровень обнаружения этого теста составляет 90%, поэтому условные вероятности отрицательного результата теста равны 1/10 и 1. Наконец, совместная и апостериорная вероятности рассчитываются, как и раньше.
После проведения того же анализа на партнере-мужчине пациента (с отрицательным результатом теста) вероятность того, что у их ребенка будет выявлено заболевание, равна произведению соответствующих апостериорных вероятностей родителей быть носителями, умноженных на шансы того, что два носителя произведут пораженное потомство ( 1 ⁄ 4 ).
Байесовский анализ можно провести с использованием фенотипической информации, связанной с генетическим заболеванием, а в сочетании с генетическим тестированием этот анализ становится намного сложнее. Например, муковисцидоз можно идентифицировать у плода с помощью УЗИ, направленного на поиск эхогенного кишечника, то есть такого, который на сканировании выглядит ярче, чем обычно. Это не надежный тест, поскольку эхогенный кишечник может присутствовать и у совершенно здорового плода. В этом случае большое влияние оказывает родительское генетическое тестирование, поскольку фенотипический аспект может иметь чрезмерное влияние на расчет вероятности. В случае плода с эхогенной кишкой, мать которого прошла тестирование и известна как носительница МВ, апостериорная вероятность того, что плод действительно болен заболеванием, очень высока (0,64). Однако, как только у отца отрицательный результат теста на МВ, апостериорная вероятность значительно падает (до 0,16). [27]
Расчет факторов риска является мощным инструментом генетического консультирования и репродуктивного планирования, но его нельзя рассматривать как единственный важный фактор, который следует учитывать. Как указано выше, неполное тестирование может дать ложно высокую вероятность статуса носителя, а тестирование может быть финансово недоступным или неосуществимым в отсутствие родителя.