Теорема Кокса

Вывод законов теории вероятностей

Теорема Кокса , названная в честь физика Ричарда Трелкельда Кокса , является выводом законов теории вероятностей из определенного набора постулатов . ^{[1] [2]} Этот вывод оправдывает так называемую «логическую» интерпретацию вероятности, поскольку законы вероятности, выведенные теоремой Кокса, применимы к любому предложению. Логическая (также известная как объективная байесовская) вероятность является типом байесовской вероятности . Другим формам байесианства, таким как субъективная интерпретация, даются другие обоснования.

Предположения Кокса

Кокс хотел, чтобы его система удовлетворяла следующим условиям:

1. Делимость и сравнимость. Правдоподобность предложения — это действительное число, зависящее от информации, которой мы располагаем в отношении предложения.
2. Здравый смысл – Правдоподобность должна разумно варьироваться в зависимости от оценки правдоподобности в модели.
3. Последовательность — если правдоподобность предложения может быть выведена многими способами, все результаты должны быть одинаковыми.

Изложенные здесь постулаты взяты из трудов Арнборга и Шёдина. ^{[3] [4] [5]} « Здравый смысл » подразумевает согласованность с аристотелевской логикой в ​​том смысле, что логически эквивалентные предложения должны иметь одинаковую правдоподобность.

Первоначально сформулированные Коксом постулаты не были математически строгими (хотя и более строгими, чем неформальное описание выше), как отметил Хэлперн . ^{[6] [7]} Однако представляется возможным дополнить их различными математическими предположениями, сделанными Коксом явно или неявно, чтобы получить действительное доказательство.

Обозначение Кокса:

Правдоподобность предложения при наличии некоторой сопутствующей информации обозначается как . ${\displaystyle A}$ ${\displaystyle X}$ ${\displaystyle A\mid X}$

Постулаты и функциональные уравнения Кокса:

• Правдоподобность соединения двух предложений , при наличии некоторой связанной информации , определяется правдоподобностью данного и правдоподобностью данного . ${\displaystyle AB}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle X}$ ${\displaystyle A}$ ${\displaystyle X}$ ${\displaystyle B}$ ${\displaystyle AX}$

В форме функционального уравнения

${\displaystyle AB\mid X=g(A\mid X,B\mid AX)}$

Ввиду ассоциативной природы конъюнкции в пропозициональной логике согласованность с логикой дает функциональное уравнение, утверждающее, что функция является ассоциативной бинарной операцией. ${\displaystyle g}$

• Кроме того, Кокс постулирует, что функция является монотонной . ${\displaystyle g}$

Все строго возрастающие ассоциативные бинарные операции над действительными числами изоморфны умножению чисел в подинтервале [ 0, +∞] , что означает, что существует монотонная функция, отображающая правдоподобия в [0, +∞] такая, что ${\displaystyle w}$

${\displaystyle w(AB\mid X)=w(A\mid X)w(B\mid AX)}$

• В случае, если данное определенно, то имеем и из-за требования согласованности. Общее уравнение тогда приводит к ${\displaystyle A}$ ${\displaystyle X}$ ${\displaystyle AB\mid X=B\mid X}$ ${\displaystyle B\mid AX=B\mid X}$

${\displaystyle w(B\mid X)=w(A\mid X)w(B\mid X)}$

Это справедливо для любого предложения , которое приводит к ${\displaystyle B}$

${\displaystyle w(A\mid X)=1}$

• В случае, если данное невозможно, мы имеем и из-за требования согласованности. Общее уравнение (с поменявшимися факторами A и B) тогда приводит к ${\displaystyle A}$ ${\displaystyle X}$ ${\displaystyle AB\mid X=A\mid X}$ ${\displaystyle A\mid BX=A\mid X}$

${\displaystyle w(A\mid X)=w(B\mid X)w(A\mid X)}$

Это справедливо для любого предложения , которое, без потери общности, приводит к решению. ${\displaystyle B}$

${\displaystyle w(A\mid X)=0}$

Ввиду требования монотонности это означает, что правдоподобия отображаются в интервал [0, 1] . ${\displaystyle w}$

• Правдоподобность предложения определяет правдоподобность отрицания предложения .

Это постулирует существование функции такой, что ${\displaystyle f}$

${\displaystyle w({\text{not }}A\mid X)=f(w(A\mid X))}$

Поскольку «двойное отрицание является утверждением», соответствие логике дает функциональное уравнение

${\displaystyle f(f(x))=x,}$

говоря, что функция является инволюцией , т.е. она является своей собственной инверсией. ${\displaystyle f}$

• Более того, Кокс постулирует, что функция является монотонной. ${\displaystyle f}$

Приведенные выше функциональные уравнения и соответствие логике подразумевают, что

${\displaystyle w(AB\mid X)=w(A\mid X)f(w({\text{not }}B\mid AX))=w(A\mid X)f\left({w(A{\text{ not }}B\mid X) \over w(A\mid X)}\right)}$

Так как логически эквивалентно , мы также получаем ${\displaystyle AB}$ ${\displaystyle BA}$

${\displaystyle w(A\mid X)f\left({w(A{\text{ not }}B\mid X) \over w(A\mid X)}\right)=w(B\mid X)f\left({w(B{\text{ not }}A\mid X) \over w(B\mid X)}\right)}$

Если, в частности, , то также и и получаем ${\displaystyle B={\text{ not }}(AD)}$ ${\displaystyle A{\text{ not }}B={\text{not }}B}$ ${\displaystyle B{\text{ not }}A={\text{ not }}A}$

${\displaystyle w(A{\text{ not }}B\mid X)=w({\text{not }}B\mid X)=f(w(B\mid X))}$

и

${\displaystyle w(B{\text{ not }}A\mid X)=w({\text{not }}A\mid X)=f(w(A\mid X))}$

Сокращая , получаем функциональное уравнение ${\displaystyle w(A\mid X)=x}$ ${\displaystyle w(B\mid X)=y}$

${\displaystyle x\,f\left({f(y) \over x}\right)=y\,f\left({f(x) \over y}\right)}$

Выводы из постулатов Кокса

Законы вероятности, выводимые из этих постулатов, следующие. ^[8] Пусть — правдоподобность предложения, удовлетворяющего постулатам Кокса. Тогда существует функция, отображающая правдоподобности в интервал [0,1] и положительное число, такое, что ${\displaystyle A\mid B}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle w}$ ${\displaystyle m}$

1. Определенность представлена ${\displaystyle w(A\mid B)=1.}$
2. ${\displaystyle w^{m}(A|B)+w^{m}({\text{not }}A\mid B)=1.}$
3. ${\displaystyle w(AB\mid C)=w(A\mid C)w(B\mid AC)=w(B\mid C)w(A\mid BC).}$

Важно отметить, что постулаты подразумевают только эти общие свойства. Мы можем восстановить обычные законы вероятности, установив новую функцию, условно обозначенную или , равную . Тогда мы получим законы вероятности в более привычной форме: ${\displaystyle P}$ ${\displaystyle \Pr }$ ${\displaystyle w^{m}}$

1. Определенная истина представлена ​​, а определенная ложь - ${\displaystyle \Pr(A\mid B)=1}$ ${\displaystyle \Pr(A\mid B)=0.}$
2. ${\displaystyle \Pr(A\mid B)+\Pr({\text{not }}A\mid B)=1.}$
3. ${\displaystyle \Pr(AB\mid C)=\Pr(A\mid C)\Pr(B\mid AC)=\Pr(B\mid C)\Pr(A\mid BC).}$

Правило 2 — это правило для отрицания, а правило 3 — это правило для конъюнкции. Учитывая, что любое предложение, содержащее конъюнкцию, дизъюнкцию и отрицание, можно эквивалентно перефразировать, используя только конъюнкцию и отрицание ( конъюнктивную нормальную форму ), теперь мы можем обрабатывать любое составное предложение.

Выведенные таким образом законы дают конечную аддитивность вероятности, но не счетную аддитивность . Теоретико -мерная формулировка Колмогорова предполагает, что мера вероятности счетно аддитивна. Это немного более сильное условие необходимо для определенных результатов. Элементарный пример (в котором это предположение просто упрощает вычисления, а не является необходимым для них) заключается в том, что вероятность увидеть орел в первый раз после четного числа подбрасываний в последовательности подбрасываний монеты равна . ^[9] ${\displaystyle {\tfrac {1}{3}}}$

Интерпретация и дальнейшее обсуждение

Теорема Кокса стала использоваться как одно из обоснований использования байесовской теории вероятностей . Например, у Джейнса она подробно обсуждается в главах 1 и 2 и является краеугольным камнем для остальной части книги. ^[8] Вероятность интерпретируется как формальная система логики , естественное расширение аристотелевской логики (в которой каждое утверждение либо истинно, либо ложно) в область рассуждений в присутствии неопределенности.

Обсуждалось, в какой степени теорема исключает альтернативные модели для рассуждений о неопределенности . Например, если бы были отброшены некоторые «неинтуитивные» математические предположения, то можно было бы придумать альтернативы, например, пример, представленный Халперном. ^[6] Однако Арнборг и Сьедин ^{[3] [4] [5]} предлагают дополнительные постулаты «здравого смысла», которые позволили бы ослабить предположения в некоторых случаях, по-прежнему исключая пример Халперна. Другие подходы были разработаны Харди ^[10] или Дюпре и Типлером. ^[11]

Первоначальная формулировка теоремы Кокса содержится в Cox (1946), которая расширена дополнительными результатами и более подробным обсуждением в Cox (1961). Jaynes ^[8] цитирует Abel ^[12] для первого известного использования функционального уравнения ассоциативности. János Aczél ^[13] дает длинное доказательство «уравнения ассоциативности» (страницы 256-267). Jaynes ^{[8] : 27} воспроизводит более короткое доказательство Кокса, в котором предполагается дифференцируемость. Руководство по теореме Кокса, составленное Van Horn, направлено на всестороннее ознакомление читателя со всеми этими ссылками. ^[14]

Баодин Лю, основатель теории неопределенности , критикует теорему Кокса за предположение, что истинностное значение конъюнкции является дважды дифференцируемой функцией истинностных значений двух предложений и , т. е. , что исключает «неопределенную меру» теории неопределенности с самого начала, поскольку функция , ^[a], используемая в теории неопределенности, не дифференцируема относительно и . ^[15] По словам Лю, «не существует никаких доказательств того, что истинностное значение конъюнкции полностью определяется истинностными значениями отдельных предложений, не говоря уже о дважды дифференцируемой функции». ^[15] ${\displaystyle P\land Q}$ ${\displaystyle f}$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle T(P\land Q)=f(T(P),T(Q))}$ ${\displaystyle f(x,y)=x\land y}$ ${\displaystyle x}$ ${\displaystyle y}$

Смотрите также

• Аксиомы вероятности
• Вероятностная логика

Примечания

1. Лю использует символ ∧ как «оператор минимума», скорее всего, имея в виду бинарную операцию, которая берет два числа и возвращает меньшее (или минимальное) из них.

Ссылки

1. Кокс, РТ (1946). «Вероятность, частота и разумное ожидание». Американский журнал физики . 14 (1): 1–10. Bibcode : 1946AmJPh..14....1C. doi : 10.1119/1.1990764.
2. Кокс, РТ (1961). Алгебра вероятного вывода . Балтимор, Мэриленд: Издательство Университета Джона Хопкинса.
3. Стефан Арнборг и Гуннар Сьёдин, Об основах байесианства, Препринт: Nada, KTH (1999) — http://www.stats.org.uk/cox-theorems/ArnborgSjodin2001.pdf
4. Стефан Арнборг и Гуннар Шёдин, Заметка об основах байесианства, Препринт: Nada, KTH (2000a) — http://www.stats.org.uk/bayesian/ArnborgSjodin1999.pdf
5. Стефан Арнборг и Гуннар Шёдин, «Байесовские правила в конечных моделях», Европейская конференция по искусственному интеллекту, Берлин, (2000b) — https://frontiersinai.com/ecai/ecai2000/pdf/p0571.pdf
6. Джозеф И. Хэлперн, «Контрпример к теоремам Кокса и Файна», Журнал исследований ИИ, 10, 67–85 (1999) — http://www.jair.org/media/536/live-536-2054-jair.ps.Z Архивировано 25 ноября 2015 г. на Wayback Machine
7. Джозеф И. Хэлперн, «Техническое приложение, пересмотр теоремы Кокса», Журнал исследований ИИ, 11, 429–435 (1999) — http://www.jair.org/media/644/live-644-1840-jair.ps.Z Архивировано 25 ноября 2015 г. на Wayback Machine
8. Эдвин Томпсон Джейнс , Теория вероятностей: логика науки, Cambridge University Press (2003). — препринтная версия (1996) в "Архивная копия". Архивировано из оригинала 2016-01-19 . Получено 2016-01-19 .{{cite web}}: CS1 maint: archived copy as title (link); Главы 1–3 опубликованной версии по адресу http://bayes.wustl.edu/etj/prob/book.pdf
9. Прайс, Дэвид Т. (1974), «Счетная аддитивность для вероятностных мер», American Mathematical Monthly , 81 : 886–889, doi : 10.2307/2319450, JSTOR  2319450, MR  0350798
10. Майкл Харди, «Масштабированные булевы алгебры», Advances in Applied Mathematics , август 2002 г., страницы 243–292 (или препринт); Харди сказал: «Я утверждаю, что считаю предположения Кокса слишком сильными, хотя на самом деле не говорю почему. Я говорю, чем бы я их заменил». (Цитата взята со страницы обсуждения в Википедии, а не из статьи.)
11. Дюпре, Морис Дж. и Типлер, Фрэнк Дж. (2009). «Новые аксиомы для строгой байесовской вероятности», Байесовский анализ , 4 (3): 599-606.
12. Нильс Хенрик Абель "Untersuchung der Functionen zweier unabhängig veränderlichen Gröszen x und y" , wie f ( x , y ), welche die Eigenschaft haben, dasz f [ z , f ( x , y )] eine symmetrische Function von z , x und y вст.», Жур. Рейн ты. ангью. Математика. (Журнал Крелля), 1, 11–15 (1826).
13. Янош Ацель , Лекции по функциональным уравнениям и их приложениям, Academic Press, Нью-Йорк, (1966).
14. Ван Хорн, К. С. (2003). «Построение логики правдоподобного вывода: руководство по теореме Кокса». Международный журнал приближенного рассуждения . 34 : 3–24. doi :10.1016/S0888-613X(03)00051-3.
15. Liu, Baoding (2015). Теория неопределенности . Springer Uncertainty Research (4-е изд. 2015 г.). Берлин, Гейдельберг: Springer Berlin Heidelberg: Выходные данные: Springer. стр. 459–460. ISBN 978-3-662-44354-5.

Дальнейшее чтение

• Файн, Терренс Л. (1973). Теории вероятностей: исследование основ . Нью-Йорк: Academic Press. ISBN 0-12-256450-2.
• Смит, К. Рэй; Эриксон, Гэри (1989). «От рациональности и согласованности к байесовской вероятности». В Скиллинг, Джон (ред.). Максимальная энтропия и байесовские методы . Дордрехт: Kluwer. стр. 29–44. doi :10.1007/978-94-015-7860-8_2. ISBN 0-7923-0224-9.