Максимальная апостериорная оценка

Метод оценки параметров статистической модели

В байесовской статистике максимальная оценка апостериорной вероятности ( MAP ) — это оценка неизвестной величины, которая равна моде апостериорного распределения . MAP можно использовать для получения точечной оценки ненаблюдаемой величины на основе эмпирических данных. Он тесно связан с методом оценки максимального правдоподобия (ML), но использует расширенную цель оптимизации , которая включает в себя априорное распределение (которое количественно определяет дополнительную информацию, доступную благодаря предшествующим знаниям о связанном событии) по величине, которую необходимо оценить. Таким образом, оценку MAP можно рассматривать как регуляризацию оценки максимального правдоподобия.

Описание

Предположим, что мы хотим оценить ненаблюдаемый параметр популяции на основе наблюдений . Позвольте быть выборочным распределением , так что это вероятность того, что основной параметр совокупности равен . Тогда функция: ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle f}$ ${\displaystyle x}$ ${\displaystyle f(x\mid \theta )}$ ${\displaystyle x}$ ${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(x\mid \theta )\!}$

известна как функция правдоподобия и оценка:

${\displaystyle {\hat {\theta }}_{\mathrm {MLE} }(x)={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\!}$

является оценкой максимального правдоподобия . ${\displaystyle \theta }$

Теперь предположим, что существует априорное распределение . Это позволяет нам рассматривать ее как случайную величину , как в байесовской статистике . Мы можем вычислить апостериорное распределение , используя теорему Байеса : ${\displaystyle g}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(\theta \mid x)={\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\!}$

где – функция плотности , – область определения . ${\displaystyle g}$ ${\displaystyle \theta }$ ${\displaystyle \Theta }$ ${\displaystyle g}$

Затем метод максимальной апостериорной оценки оценивает как моду апостериорного распределения этой случайной величины: ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}{\hat {\theta }}_{\mathrm {MAP} }(x)&={\underset {\theta }{\operatorname {arg\,max} }}\ f(\theta \mid x)\\&={\underset {\theta }{\operatorname {arg\,max} }}\ {\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\\&={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\,g(\theta ).\end{aligned}}\!}$

Знаменатель апостериорного распределения (так называемое предельное правдоподобие ) всегда положителен и не зависит от и, следовательно, не играет никакой роли в оптимизации. Обратите внимание, что оценка MAP совпадает с оценкой ML, когда априорная функция равномерна (т. е. является постоянной функцией ). ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle g}$ ${\displaystyle g}$

Когда функция потерь имеет вид

${\displaystyle L(\theta ,a)={\begin{cases}0,&{\text{if }}|a-\theta |<c,\\1,&{\text{otherwise}},\\\end{cases}}}$

при достижении 0 оценка Байеса приближается к оценке MAP при условии, что распределение квазивогнутое. ^[1] Но, как правило, оценка MAP не является оценкой Байеса , если она не является дискретной . ${\displaystyle c}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$

Вычисление

Оценки MAP можно рассчитать несколькими способами:

1. Аналитически, когда мода(ы) апостериорного распределения может быть задана в замкнутой форме . Это тот случай, когда используются сопряженные априорные значения .
2. С помощью численной оптимизации , такой как метод сопряженных градиентов или метод Ньютона . Обычно для этого требуются первые или вторые производные , которые необходимо оценить аналитически или численно.
3. Через модификацию алгоритма максимизации ожидания . Для этого не требуются производные от апостериорной плотности.
4. Методом Монте-Карло с имитацией отжига.

Ограничения

Хотя для оценки MAP требуются лишь мягкие условия, чтобы она была предельным случаем байесовской оценки (при функции потерь 0–1), ^[1] она не очень репрезентативна для байесовских методов в целом. Это связано с тем, что оценки MAP являются точечными оценками, тогда как байесовские методы характеризуются использованием распределений для суммирования данных и получения выводов: таким образом, байесовские методы имеют тенденцию вместо этого сообщать апостериорное среднее или медиану вместе с достоверными интервалами . Это связано как с тем, что эти оценки оптимальны при потерях с квадратичной и линейной ошибкой соответственно (которые более репрезентативны для типичных функций потерь) , так и с тем, что для непрерывного апостериорного распределения не существует функции потерь, которая предполагает, что MAP является оптимальной точечной оценкой. Кроме того, апостериорное распределение часто может не иметь простой аналитической формы: в этом случае распределение можно смоделировать с использованием методов Монте-Карло цепи Маркова , а оптимизация для нахождения его режима (мод) может быть трудной или невозможной. ^{[ нужна цитата ]}

Пример плотности бимодального распределения , при котором высшая мода не характерна для большей части распределения.

Во многих типах моделей, таких как смешанные модели , задняя часть может быть мультимодальной . В таком случае обычно рекомендуется выбирать самый высокий режим: это не всегда осуществимо ( глобальная оптимизация является сложной проблемой), а в некоторых случаях даже невозможно (например, когда возникают проблемы с идентификацией ). Более того, высшая мода может быть нехарактерна для большинства задних.

Наконец, в отличие от оценок ML, оценка MAP не является инвариантной при перепараметризации. Переход от одной параметризации к другой предполагает введение якобиана , влияющего на расположение максимума. ^[2]

В качестве примера разницы между упомянутыми выше оценками Байеса (средними и медианными оценками) и использованием оценки MAP рассмотрим случай, когда необходимо классифицировать входные данные как положительные или отрицательные (например, кредиты как рискованные или безопасные). Предположим, что существует всего три возможных гипотезы о правильном методе классификации , причем с апостериорами 0,4, 0,3 и 0,3 соответственно. Предположим, что дан новый экземпляр, классифицирует его как положительный, тогда как два других классифицируют его как отрицательный. Использование оценки MAP для правильного классификатора классифицируется как положительное, тогда как оценки Байеса будут усреднять по всем гипотезам и классифицироваться как отрицательные. ${\displaystyle x}$ ${\displaystyle h_{1}}$ ${\displaystyle h_{2}}$ ${\displaystyle h_{3}}$ ${\displaystyle x}$ ${\displaystyle h_{1}}$ ${\displaystyle h_{1}}$ ${\displaystyle x}$ ${\displaystyle x}$

Пример

Предположим, что нам дана последовательность случайных величин IID , а априорное распределение равно . Мы хотим найти оценку MAP для . Обратите внимание, что нормальное распределение является своим собственным сопряженным априором , поэтому мы сможем найти решение в замкнутой форме аналитически. ${\displaystyle (x_{1},\dots ,x_{n})}$ ${\displaystyle N(\mu ,\sigma _{v}^{2})}$ ${\displaystyle \mu }$ ${\displaystyle N(\mu _{0},\sigma _{m}^{2})}$ ${\displaystyle \mu }$

Тогда функция, которую необходимо максимизировать, определяется выражением

${\displaystyle f(\mu )f(x\mid \mu )=\pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

что эквивалентно минимизации следующей функции : ${\displaystyle \mu }$

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}.}$

Таким образом, мы видим, что оценка MAP для µ имеет вид

${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }={\frac {\sigma _{m}^{2}\,n}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}\right)+{\frac {\sigma _{v}^{2}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\,\mu _{0}={\frac {\sigma _{m}^{2}\left(\sum _{j=1}^{n}x_{j}\right)+\sigma _{v}^{2}\,\mu _{0}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}.}$

которое оказывается линейной интерполяцией между априорным средним значением и выборочным средним, взвешенным по их соответствующим ковариациям.

Случай называется неинформативным априорным распределением и приводит к нечеткому априорному распределению вероятностей ; в этом случае ${\displaystyle \sigma _{m}\to \infty }$ ${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }\to {\hat {\mu }}_{\mathrm {MLE} }.}$

Рекомендации

1. Бассетт, Роберт; Дериде, Хулио (30 января 2018 г.). «Максимальные апостериорные оценки как предел оценок Байеса». Математическое программирование : 1–16. arXiv : 1611.05917 . дои : 10.1007/s10107-018-1241-0. ISSN  0025-5610.
2. Мерфи, Кевин П. (2012). Машинное обучение: вероятностная перспектива . Кембридж, Массачусетс: MIT Press. стр. 151–152. ISBN 978-0-262-01802-9.

• ДеГрут, М. (1970). Оптимальные статистические решения . МакГроу-Хилл. ISBN 0-07-016242-5.
• Соренсон, Гарольд В. (1980). Оценка параметров: принципы и проблемы . Марсель Деккер. ISBN 0-8247-6987-2.
• Хальд, Андерс (2007). «Вывод Гаусса нормального распределения и метод наименьших квадратов, 1809 г.». История параметрического статистического вывода от Бернулли до Фишера, 1713–1935 гг . Нью-Йорк: Спрингер. стр. 55–61. ISBN 978-0-387-46409-1.