Метод Лапласа

Метод приближенной оценки интегралов

В математике метод Лапласа , названный в честь Пьера-Симона Лапласа , представляет собой технику, используемую для аппроксимации интегралов вида

${\displaystyle \int _{a}^{b}e^{Mf(x)}\,dx,}$

где — дважды дифференцируемая функция , — большое число , а конечные точки и могут быть бесконечными. Этот метод был первоначально представлен в книге Лапласа (1774). ${\displaystyle f}$ ${\displaystyle M}$ ${\displaystyle a}$ ${\displaystyle b}$

В байесовской статистике приближение Лапласа может относиться либо к приближению апостериорной нормализующей константы методом Лапласа, либо к приближению апостериорного распределения с помощью гауссовского распределения, центрированного на максимуме апостериорной оценки . ^{[1] [2]} Приближения Лапласа используются в методе интегрированных вложенных приближений Лапласа для быстрых приближений байесовского вывода .

Концепция

${\displaystyle f(x)={\tfrac {\sin(x)}{x}}}$имеет глобальный максимум при . показан сверху для и снизу для (оба синим цветом). По мере роста аппроксимация этой функции гауссовой функцией (показана красным цветом) улучшается. Это наблюдение лежит в основе метода Лапласа. ${\displaystyle x=0}$ ${\displaystyle e^{Mf(x)}}$ ${\displaystyle M=0.5}$ ${\displaystyle M=3}$ ${\displaystyle M}$

Пусть функция имеет единственный глобальный максимум при . Здесь — константа. Рассматриваются следующие две функции: ${\displaystyle f(x)}$ ${\displaystyle x_{0}}$ ${\displaystyle M>0}$

${\displaystyle {\begin{aligned}g(x)&=Mf(x),\\h(x)&=e^{Mf(x)}.\end{aligned}}}$

Тогда, является глобальным максимумом и также. Следовательно: ${\displaystyle x_{0}}$ ${\displaystyle g}$ ${\displaystyle h}$

${\displaystyle {\begin{aligned}{\frac {g(x_{0})}{g(x)}}&={\frac {Mf(x_{0})}{Mf(x)}}={\frac {f(x_{0})}{f(x)}},\\[4pt]{\frac {h(x_{0})}{h(x)}}&={\frac {e^{Mf(x_{0})}}{e^{Mf(x)}}}=e^{M(f(x_{0})-f(x))}.\end{aligned}}}$

С ростом M отношение для будет расти экспоненциально, тогда как отношение для не изменится. Таким образом, значимый вклад в интеграл этой функции будет исходить только от точек в окрестности , которые затем можно оценить. ${\displaystyle h}$ ${\displaystyle g}$ ${\displaystyle x}$ ${\displaystyle x_{0}}$

Общая теория

Чтобы сформулировать и мотивировать метод, необходимо сделать несколько предположений. Предполагается, что не является конечной точкой интервала интегрирования и что значения не могут быть очень близки к, если только не близки к _. ${\displaystyle x_{0}}$ ${\displaystyle f(x)}$ ${\displaystyle f(x_{0})}$ ${\displaystyle x}$ ${\displaystyle x_{0}}$

${\displaystyle f(x)}$может быть расширена вокруг x ₀ по теореме Тейлора ,

${\displaystyle f(x)=f(x_{0})+f'(x_{0})(x-x_{0})+{\frac {1}{2}}f''(x_{0})(x-x_{0})^{2}+R}$

где (см.: обозначение «большое О» ). ${\displaystyle R=O\left((x-x_{0})^{3}\right)}$

Так как имеет глобальный максимум при , и не является конечной точкой, то это стационарная точка , т.е. . Поэтому аппроксимирующий полином Тейлора второго порядка имеет вид ${\displaystyle f}$ ${\displaystyle x_{0}}$ ${\displaystyle x_{0}}$ ${\displaystyle f'(x_{0})=0}$ ${\displaystyle f(x)}$

${\displaystyle f(x)\approx f(x_{0})+{\frac {1}{2}}f''(x_{0})(x-x_{0})^{2}.}$

Затем, всего один шаг нужен, чтобы получить распределение Гаусса. Поскольку является глобальным максимумом функции, можно утверждать, по определению второй производной , что , таким образом, давая соотношение ${\displaystyle x_{0}}$ ${\displaystyle f}$ ${\displaystyle f''(x_{0})\leq 0}$

${\displaystyle f(x)\approx f(x_{0})-{\frac {1}{2}}|f''(x_{0})|(x-x_{0})^{2}}$

для близко к . Интеграл тогда можно аппроксимировать с помощью: ${\displaystyle x}$ ${\displaystyle x_{0}}$

${\displaystyle \int _{a}^{b}e^{Mf(x)}\,dx\approx e^{Mf(x_{0})}\int _{a}^{b}e^{-{\frac {1}{2}}M|f''(x_{0})|(x-x_{0})^{2}}\,dx}$

Если этот последний интеграл становится гауссовым интегралом, если мы заменим пределы интегрирования на и ; когда велико, это создает лишь небольшую ошибку, поскольку экспонента очень быстро убывает вдали от . Вычисляя этот гауссовский интеграл, мы получаем: ${\displaystyle f''(x_{0})<0}$ ${\displaystyle -\infty }$ ${\displaystyle +\infty }$ ${\displaystyle M}$ ${\displaystyle x_{0}}$

${\displaystyle \int _{a}^{b}e^{Mf(x)}\,dx\approx {\sqrt {\frac {2\pi }{M|f''(x_{0})|}}}e^{Mf(x_{0})}{\text{ as }}M\to \infty .}$

Обобщение этого метода и его расширение до произвольной точности дано в книге Fog (2008).

Официальное заявление и доказательство

Предположим, что — дважды непрерывно дифференцируемая функция на и существует единственная точка такая, что: ${\displaystyle f(x)}$ ${\displaystyle [a,b],}$ ${\displaystyle x_{0}\in (a,b)}$

${\displaystyle f(x_{0})=\max _{x\in [a,b]}f(x)\quad {\text{and}}\quad f''(x_{0})<0.}$

Затем:

${\displaystyle \lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n\left(-f''(x_{0})\right)}}}}}=1.}$

Доказательство

Нижняя граница: Пусть . Так как непрерывно, то существует такое, что если то По теореме Тейлора для любого ${\displaystyle \varepsilon >0}$ ${\displaystyle f''}$ ${\displaystyle \delta >0}$ ${\displaystyle |x_{0}-c|<\delta }$ ${\displaystyle f''(c)\geq f''(x_{0})-\varepsilon .}$ ${\displaystyle x\in (x_{0}-\delta ,x_{0}+\delta ),}$

${\displaystyle f(x)\geq f(x_{0})+{\frac {1}{2}}(f''(x_{0})-\varepsilon )(x-x_{0})^{2}.}$

Тогда имеем следующую нижнюю границу:

${\displaystyle {\begin{aligned}\int _{a}^{b}e^{nf(x)}\,dx&\geq \int _{x_{0}-\delta }^{x_{0}+\delta }e^{nf(x)}\,dx\\&\geq e^{nf(x_{0})}\int _{x_{0}-\delta }^{x_{0}+\delta }e^{{\frac {n}{2}}(f''(x_{0})-\varepsilon )(x-x_{0})^{2}}\,dx\\&=e^{nf(x_{0})}{\sqrt {\frac {1}{n(-f''(x_{0})+\varepsilon )}}}\int _{-\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}^{\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}e^{-{\frac {1}{2}}y^{2}}\,dy\end{aligned}}}$

где последнее равенство получено путем замены переменных

${\displaystyle y={\sqrt {n(-f''(x_{0})+\varepsilon )}}(x-x_{0}).}$

Запомните , чтобы мы могли извлечь квадратный корень из его отрицания. ${\displaystyle f''(x_{0})<0}$

Если мы разделим обе части приведенного выше неравенства на

${\displaystyle e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}$

и берем предел, получаем:

${\displaystyle \lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\geq \lim _{n\to \infty }{\frac {1}{\sqrt {2\pi }}}\int _{-\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}^{\delta {\sqrt {n(-f''(x_{0})+\varepsilon )}}}e^{-{\frac {1}{2}}y^{2}}\,dy\,\cdot {\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})+\varepsilon }}}={\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})+\varepsilon }}}}$

поскольку это верно для произвольного, то получаем нижнюю границу: ${\displaystyle \varepsilon }$

${\displaystyle \lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\geq 1}$

Обратите внимание, что это доказательство работает также, когда или (или оба). ${\displaystyle a=-\infty }$ ${\displaystyle b=\infty }$

Верхняя граница: Доказательство похоже на доказательство нижней границы, но есть несколько неудобств. Мы снова начинаем с выбора , но для того, чтобы доказательство сработало, нам нужно достаточно малое значение, чтобы Тогда, как и выше, по непрерывности и теореме Тейлора мы можем найти , чтобы если , то ${\displaystyle \varepsilon >0}$ ${\displaystyle \varepsilon }$ ${\displaystyle f''(x_{0})+\varepsilon <0.}$ ${\displaystyle f''}$ ${\displaystyle \delta >0}$ ${\displaystyle |x-x_{0}|<\delta }$

${\displaystyle f(x)\leq f(x_{0})+{\frac {1}{2}}(f''(x_{0})+\varepsilon )(x-x_{0})^{2}.}$

Наконец, по нашим предположениям (предполагая, что они конечны) существует такое, что если , то . ${\displaystyle a,b}$ ${\displaystyle \eta >0}$ ${\displaystyle |x-x_{0}|\geq \delta }$ ${\displaystyle f(x)\leq f(x_{0})-\eta }$

Тогда мы можем вычислить следующую верхнюю границу:

${\displaystyle {\begin{aligned}\int _{a}^{b}e^{nf(x)}\,dx&\leq \int _{a}^{x_{0}-\delta }e^{nf(x)}\,dx+\int _{x_{0}-\delta }^{x_{0}+\delta }e^{nf(x)}\,dx+\int _{x_{0}+\delta }^{b}e^{nf(x)}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+\int _{x_{0}-\delta }^{x_{0}+\delta }e^{nf(x)}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+e^{nf(x_{0})}\int _{x_{0}-\delta }^{x_{0}+\delta }e^{{\frac {n}{2}}(f''(x_{0})+\varepsilon )(x-x_{0})^{2}}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+e^{nf(x_{0})}\int _{-\infty }^{+\infty }e^{{\frac {n}{2}}(f''(x_{0})+\varepsilon )(x-x_{0})^{2}}\,dx\\&\leq (b-a)e^{n(f(x_{0})-\eta )}+e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0})-\varepsilon )}}}\end{aligned}}}$

Если мы разделим обе части приведенного выше неравенства на

${\displaystyle e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}$

и берем предел, получаем:

${\displaystyle \lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\leq \lim _{n\to \infty }(b-a)e^{-\eta n}{\sqrt {\frac {n(-f''(x_{0}))}{2\pi }}}+{\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})-\varepsilon }}}={\sqrt {\frac {-f''(x_{0})}{-f''(x_{0})-\varepsilon }}}}$

Поскольку является произвольным, то получаем верхнюю границу: ${\displaystyle \varepsilon }$

${\displaystyle \lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}\leq 1}$

А объединение этого с нижней границей дает результат.

Обратите внимание, что приведенное выше доказательство, очевидно, не работает, когда или (или оба). Чтобы разобраться с этими случаями, нам нужны некоторые дополнительные предположения. Достаточное (не необходимое) предположение заключается в том, что для ${\displaystyle a=-\infty }$ ${\displaystyle b=\infty }$ ${\displaystyle n=1,}$

${\displaystyle \int _{a}^{b}e^{nf(x)}\,dx<\infty ,}$

и что число , указанное выше, существует (обратите внимание, что это должно быть предположением в случае, когда интервал бесконечен). Доказательство продолжается в остальном, как и выше, но с немного иной аппроксимацией интегралов: ${\displaystyle \eta }$ ${\displaystyle [a,b]}$

${\displaystyle \int _{a}^{x_{0}-\delta }e^{nf(x)}\,dx+\int _{x_{0}+\delta }^{b}e^{nf(x)}\,dx\leq \int _{a}^{b}e^{f(x)}e^{(n-1)(f(x_{0})-\eta )}\,dx=e^{(n-1)(f(x_{0})-\eta )}\int _{a}^{b}e^{f(x)}\,dx.}$

Когда мы делим на

${\displaystyle e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}},}$

мы получаем для этого термина

${\displaystyle {\frac {e^{(n-1)(f(x_{0})-\eta )}\int _{a}^{b}e^{f(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n(-f''(x_{0}))}}}}}=e^{-(n-1)\eta }{\sqrt {n}}e^{-f(x_{0})}\int _{a}^{b}e^{f(x)}\,dx{\sqrt {\frac {-f''(x_{0})}{2\pi }}}}$

предел которого равен . Остальная часть доказательства (анализ интересующего термина) продолжается так же, как и выше. ${\displaystyle n\to \infty }$ ${\displaystyle 0}$

Данное условие в случае бесконечного интервала, как сказано выше, является достаточным, но не необходимым. Однако, это условие выполняется во многих, если не в большинстве, приложениях: условие просто говорит, что интеграл, который мы изучаем, должен быть хорошо определен (не бесконечен) и что максимум функции при должен быть «истинным» максимумом (число должно существовать). Нет необходимости требовать, чтобы интеграл был конечным для , но достаточно потребовать, чтобы интеграл был конечным для некоторого ${\displaystyle x_{0}}$ ${\displaystyle \eta >0}$ ${\displaystyle n=1}$ ${\displaystyle n=N.}$

Этот метод опирается на 4 основные концепции, такие как:

Концепции

1. Относительная погрешность

«Приближение» в этом методе связано с относительной ошибкой , а не с абсолютной ошибкой . Поэтому, если мы установим

${\displaystyle s={\sqrt {\frac {2\pi }{M\left|f''(x_{0})\right|}}},}$

интеграл можно записать как

${\displaystyle {\begin{aligned}\int _{a}^{b}e^{Mf(x)}\,dx&=se^{Mf(x_{0})}{\frac {1}{s}}\int _{a}^{b}e^{M(f(x)-f(x_{0}))}\,dx\\&=se^{Mf(x_{0})}\int _{\frac {a-x_{0}}{s}}^{\frac {b-x_{0}}{s}}e^{M(f(sy+x_{0})-f(x_{0}))}\,dy\end{aligned}}}$

где - небольшое число, когда - большое число, очевидно, и относительная погрешность будет ${\displaystyle s}$ ${\displaystyle M}$

${\displaystyle \left|\int _{\frac {a-x_{0}}{s}}^{\frac {b-x_{0}}{s}}e^{M(f(sy+x_{0})-f(x_{0}))}dy-1\right|.}$

Теперь разделим этот интеграл на две части: область и остальное. ${\displaystyle y\in [-D_{y},D_{y}]}$

2. вокруг неподвижной точки , когда достаточно большой ${\displaystyle e^{M(f(sy+x_{0})-f(x_{0}))}\to e^{-\pi y^{2}}}$ ${\displaystyle M}$

Давайте рассмотрим разложение Тейлора около x ₀ и переведем x в y, поскольку мы делаем сравнение в y-пространстве, мы получим ${\displaystyle M(f(x)-f(x_{0}))}$

${\displaystyle M(f(x)-f(x_{0}))={\frac {Mf''(x_{0})}{2}}s^{2}y^{2}+{\frac {Mf'''(x_{0})}{6}}s^{3}y^{3}+\cdots =-\pi y^{2}+O\left({\frac {1}{\sqrt {M}}}\right).}$

Обратите внимание, что поскольку — стационарная точка. Из этого уравнения вы увидите, что члены выше второй производной в этом разложении Тейлора подавляются как порядок , так что это приблизится к гауссовой функции, как показано на рисунке. Кроме того, ${\displaystyle f'(x_{0})=0}$ ${\displaystyle x_{0}}$ ${\displaystyle {\tfrac {1}{\sqrt {M}}}}$ ${\displaystyle \exp(M(f(x)-f(x_{0})))}$

${\displaystyle \int _{-\infty }^{\infty }e^{-\pi y^{2}}dy=1.}$

Фигура с равна 1, 2 и 3, а красная линия — это кривая функции . ${\displaystyle e^{M[f(sy+x_{0})-f(x_{0})]}}$ ${\displaystyle M}$ ${\displaystyle e^{-\pi y^{2}}}$

3. Чем больше , тем меньше диапазон связан ${\displaystyle M}$ ${\displaystyle x}$

Поскольку мы выполняем сравнение в y-пространстве, фиксировано , что приведет к ; однако обратно пропорционально , ​​выбранная область будет меньше при увеличении . ${\displaystyle y}$ ${\displaystyle y\in [-D_{y},D_{y}]}$ ${\displaystyle x\in [-sD_{y},sD_{y}]}$ ${\displaystyle s}$ ${\displaystyle {\sqrt {M}}}$ ${\displaystyle x}$ ${\displaystyle M}$

4. Если интеграл в методе Лапласа сходится, то вклад области, не лежащей вокруг стационарной точки интегрирования, в его относительную погрешность будет стремиться к нулю с ростом . ${\displaystyle M}$

Опираясь на 3-ю концепцию, даже если мы выберем очень большое D _y , sD _y в конечном итоге станет очень маленьким числом, когда увеличится до огромного числа. Тогда как мы можем гарантировать, что интеграл остатка будет стремиться к 0, когда достаточно велико? ${\displaystyle M}$ ${\displaystyle M}$

Основная идея заключается в том, чтобы найти функцию такую, что и интеграл от будет стремиться к нулю при росте. Поскольку показательная функция от всегда будет больше нуля, пока является действительным числом, и эта показательная функция пропорциональна интегралу от будет стремиться к нулю. Для простоты выберем в качестве касательной через точку , как показано на рисунке: ${\displaystyle m(x)}$ ${\displaystyle m(x)\geq f(x)}$ ${\displaystyle e^{Mm(x)}}$ ${\displaystyle M}$ ${\displaystyle Mm(x)}$ ${\displaystyle m(x)}$ ${\displaystyle m(x),}$ ${\displaystyle e^{Mf(x)}}$ ${\displaystyle m(x)}$ ${\displaystyle x=sD_{y}}$

${\displaystyle m(x)}$обозначается двумя касательными , проходящими через . При уменьшении область покрытия будет больше. ${\displaystyle x=\pm sD_{y}+x_{0}}$ ${\displaystyle sD_{y}}$

Если интервал интегрирования этого метода конечен, то мы обнаружим, что как бы материя ни продолжалась в области покоя, она всегда будет меньше, чем показано выше, когда достаточно велика. Кстати, позже будет доказано, что интеграл от будет стремиться к нулю, когда достаточно велика. ${\displaystyle f(x)}$ ${\displaystyle m(x)}$ ${\displaystyle M}$ ${\displaystyle e^{Mm(x)}}$ ${\displaystyle M}$

Если интервал интегрирования этого метода бесконечен, и всегда могут пересекаться друг с другом. Если так, мы не можем гарантировать, что интеграл от будет стремиться к нулю в конечном итоге. Например, в случае всегда будет расходиться. Поэтому нам нужно потребовать, чтобы могло сходиться для случая бесконечного интервала. Если так, этот интеграл будет стремиться к нулю, когда достаточно велико, и мы можем выбрать это как крест и ${\displaystyle m(x)}$ ${\displaystyle f(x)}$ ${\displaystyle e^{Mf(x)}}$ ${\displaystyle f(x)={\tfrac {\sin(x)}{x}},}$ ${\displaystyle \int _{0}^{\infty }e^{Mf(x)}dx}$ ${\displaystyle \int _{d}^{\infty }e^{Mf(x)}dx}$ ${\displaystyle d}$ ${\displaystyle d}$ ${\displaystyle m(x)}$ ${\displaystyle f(x).}$

Вы можете спросить, почему бы не выбрать в качестве сходящегося интеграла? Позвольте мне использовать пример, чтобы показать вам причину. Предположим, что оставшаяся часть равна тогда и ее интеграл будет расходиться; однако, когда интеграл от сходится. Таким образом, интеграл некоторых функций будет расходиться, когда не является большим числом, но они будут сходиться, когда является достаточно большим. ${\displaystyle \int _{d}^{\infty }e^{f(x)}dx}$ ${\displaystyle f(x)}$ ${\displaystyle -\ln x,}$ ${\displaystyle e^{f(x)}={\tfrac {1}{x}}}$ ${\displaystyle M=2,}$ ${\displaystyle e^{Mf(x)}={\tfrac {1}{x^{2}}}}$ ${\displaystyle M}$ ${\displaystyle M}$

На основе этих четырех концепций мы можем вывести относительную погрешность данного метода.

Другие формулировки

Приближение Лапласа иногда записывают как

${\displaystyle \int _{a}^{b}h(x)e^{Mg(x)}\,dx\approx {\sqrt {\frac {2\pi }{M|g''(x_{0})|}}}h(x_{0})e^{Mg(x_{0})}\ {\text{ as }}M\to \infty }$

где положительно. ${\displaystyle h}$

Важно отметить, что точность аппроксимации зависит от переменной интегрирования, то есть от того, что остается , а что уходит ^[3]. ${\displaystyle g(x)}$ ${\displaystyle h(x).}$

Вывод его относительной погрешности

Во-первых, используйте для обозначения глобального максимума, что упростит этот вывод. Нас интересует относительная ошибка, записанная как , ${\displaystyle x_{0}=0}$ ${\displaystyle |R|}$

${\displaystyle \int _{a}^{b}h(x)e^{Mg(x)}\,dx=h(0)e^{Mg(0)}s\underbrace {\int _{a/s}^{b/s}{\frac {h(sy)}{h(0)}}e^{M\left[g(sy)-g(0)\right]}dy} _{1+R},}$

где

${\displaystyle s\equiv {\sqrt {\frac {2\pi }{M\left|g''(0)\right|}}}.}$

Итак, если мы позволим

${\displaystyle A\equiv {\frac {h(sy)}{h(0)}}e^{M\left[g(sy)-g(0)\right]}}$

и мы можем получить ${\displaystyle A_{0}\equiv e^{-\pi y^{2}}}$

${\displaystyle \left|R\right|=\left|\int _{a/s}^{b/s}A\,dy-\int _{-\infty }^{\infty }A_{0}\,dy\right|}$

с . ${\displaystyle \int _{-\infty }^{\infty }A_{0}\,dy=1}$

Для верхней границы отметим, что таким образом мы можем разделить эту интеграцию на 5 частей с 3 различными типами (a), (b) и (c) соответственно. Следовательно, ${\displaystyle |A+B|\leq |A|+|B|,}$

${\displaystyle |R|<\underbrace {\left|\int _{D_{y}}^{\infty }A_{0}dy\right|} _{(a_{1})}+\underbrace {\left|\int _{D_{y}}^{b/s}Ady\right|} _{(b_{1})}+\underbrace {\left|\int _{-D_{y}}^{D_{y}}\left(A-A_{0}\right)dy\right|} _{(c)}+\underbrace {\left|\int _{a/s}^{-D_{y}}Ady\right|} _{(b_{2})}+\underbrace {\left|\int _{-\infty }^{-D_{y}}A_{0}dy\right|} _{(a_{2})}}$

где и подобны, давайте просто посчитаем и и подобны тоже, я просто посчитаю . ${\displaystyle (a_{1})}$ ${\displaystyle (a_{2})}$ ${\displaystyle (a_{1})}$ ${\displaystyle (b_{1})}$ ${\displaystyle (b_{2})}$ ${\displaystyle (b_{1})}$

Для , после перевода , мы можем получить ${\displaystyle (a_{1})}$ ${\displaystyle z\equiv \pi y^{2}}$

${\displaystyle (a_{1})=\left|{\frac {1}{2{\sqrt {\pi }}}}\int _{\pi D_{y}^{2}}^{\infty }e^{-z}z^{-1/2}dz\right|<{\frac {e^{-\pi D_{y}^{2}}}{2\pi D_{y}}}.}$

Это означает, что пока оно достаточно велико, оно будет стремиться к нулю. ${\displaystyle D_{y}}$

Для , мы можем получить ${\displaystyle (b_{1})}$

${\displaystyle (b_{1})\leq \left|\int _{D_{y}}^{b/s}\left[{\frac {h(sy)}{h(0)}}\right]_{\text{max}}e^{Mm(sy)}dy\right|}$

где

${\displaystyle m(x)\geq g(x)-g(0){\text{as}}x\in [sD_{y},b]}$

и должны иметь тот же знак в этой области. Выберем в качестве касательной через точку в , т.е. которая показана на рисунке ${\displaystyle h(x)}$ ${\displaystyle h(0)}$ ${\displaystyle m(x)}$ ${\displaystyle x=sD_{y}}$ ${\displaystyle m(sy)=g(sD_{y})-g(0)+g'(sD_{y})\left(sy-sD_{y}\right)}$

${\displaystyle m(x)}$— касательные линии, проходящие через точку . ${\displaystyle x=sD_{y}}$

Из этого рисунка вы можете увидеть, что когда или становится меньше, область, удовлетворяющая указанному выше неравенству, станет больше. Поэтому, если мы хотим найти подходящий для покрытия всего в течение интервала , будет иметь верхний предел. Кроме того, поскольку интегрирование простое, позвольте мне использовать его для оценки относительной ошибки, вносимой этим . ${\displaystyle s}$ ${\displaystyle D_{y}}$ ${\displaystyle m(x)}$ ${\displaystyle f(x)}$ ${\displaystyle (b_{1})}$ ${\displaystyle D_{y}}$ ${\displaystyle e^{-\alpha x}}$ ${\displaystyle (b_{1})}$

На основе разложения Тейлора мы можем получить

${\displaystyle {\begin{aligned}M\left[g(sD_{y})-g(0)\right]&=M\left[{\frac {g''(0)}{2}}s^{2}D_{y}^{2}+{\frac {g'''(\xi )}{6}}s^{3}D_{y}^{3}\right]&&{\text{as }}\xi \in [0,sD_{y}]\\&=-\pi D_{y}^{2}+{\frac {(2\pi )^{3/2}g'''(\xi )D_{y}^{3}}{6{\sqrt {M}}|g''(0)|^{\frac {3}{2}}}},\end{aligned}}}$

и

${\displaystyle {\begin{aligned}Msg'(sD_{y})&=Ms\left(g''(0)sD_{y}+{\frac {g'''(\zeta )}{2}}s^{2}D_{y}^{2}\right)&&{\text{as }}\zeta \in [0,sD_{y}]\\&=-2\pi D_{y}+{\sqrt {\frac {2}{M}}}\left({\frac {\pi }{|g''(0)|}}\right)^{\frac {3}{2}}g'''(\zeta )D_{y}^{2},\end{aligned}}}$

и затем подставьте их обратно в расчет ; однако, вы можете обнаружить, что остатки этих двух расширений оба обратно пропорциональны квадратному корню из , позвольте мне опустить их, чтобы украсить расчет. Сохранить их лучше, но это сделает формулу уродливее. ${\displaystyle (b_{1})}$ ${\displaystyle M}$

${\displaystyle {\begin{aligned}(b_{1})&\leq \left|\left[{\frac {h(sy)}{h(0)}}\right]_{\max }e^{-\pi D_{y}^{2}}\int _{0}^{b/s-D_{y}}e^{-2\pi D_{y}y}dy\right|\\&\leq \left|\left[{\frac {h(sy)}{h(0)}}\right]_{\max }e^{-\pi D_{y}^{2}}{\frac {1}{2\pi D_{y}}}\right|.\end{aligned}}}$

Следовательно, при увеличении он будет стремиться к нулю , но не забывайте, что при этом расчете следует учитывать верхнюю границу . ${\displaystyle D_{y}}$ ${\displaystyle D_{y}}$

Что касается интегрирования вблизи , мы также можем использовать теорему Тейлора для его вычисления. Когда ${\displaystyle x=0}$ ${\displaystyle h'(0)\neq 0}$

${\displaystyle {\begin{aligned}(c)&\leq \int _{-D_{y}}^{D_{y}}e^{-\pi y^{2}}\left|{\frac {sh'(\xi )}{h(0)}}y\right|\,dy\\&<{\sqrt {\frac {2}{\pi M|g''(0)|}}}\left|{\frac {h'(\xi )}{h(0)}}\right|_{\max }\left(1-e^{-\pi D_{y}^{2}}\right)\end{aligned}}}$

и вы можете обнаружить, что он обратно пропорционален квадратному корню из . Фактически, будет вести себя так же, когда является константой. ${\displaystyle M}$ ${\displaystyle (c)}$ ${\displaystyle h(x)}$

В заключение следует отметить, что интеграл вблизи стационарной точки будет уменьшаться по мере увеличения, а остальные части будут стремиться к нулю, пока достаточно велики; однако, нам нужно помнить, что имеет верхний предел, который определяется тем, всегда ли функция больше, чем в области покоя. Однако, пока мы можем найти удовлетворяющее этому условию, верхнюю границу можно выбрать прямо пропорциональной, поскольку является касательной через точку в . Таким образом, чем больше , тем больше может быть. ${\displaystyle {\sqrt {M}}}$ ${\displaystyle D_{y}}$ ${\displaystyle D_{y}}$ ${\displaystyle m(x)}$ ${\displaystyle g(x)-g(0)}$ ${\displaystyle m(x)}$ ${\displaystyle D_{y}}$ ${\displaystyle {\sqrt {M}}}$ ${\displaystyle m(x)}$ ${\displaystyle g(x)-g(0)}$ ${\displaystyle x=sD_{y}}$ ${\displaystyle M}$ ${\displaystyle D_{y}}$

В многомерном случае, где — вектор размерности, а — скалярная функция , приближение Лапласа обычно записывается как: ${\displaystyle \mathbf {x} }$ ${\displaystyle d}$ ${\displaystyle f(\mathbf {x} )}$ ${\displaystyle \mathbf {x} }$

${\displaystyle \int h(\mathbf {x} )e^{Mf(\mathbf {x} )}\,d\mathbf {x} \approx \left({\frac {2\pi }{M}}\right)^{d/2}{\frac {h(\mathbf {x} _{0})e^{Mf(\mathbf {x} _{0})}}{\left|-H(f)(\mathbf {x} _{0})\right|^{1/2}}}{\text{ as }}M\to \infty }$

где — матрица Гессе для вычисляется при , а где обозначает определитель матрицы . Аналогично одномерному случаю, требуется, чтобы Гессе был отрицательно определенным . ^[4] ${\displaystyle H(f)(\mathbf {x} _{0})}$ ${\displaystyle f}$ ${\displaystyle \mathbf {x} _{0}}$ ${\displaystyle |\cdot |}$

Кстати, хотя обозначает -мерный вектор, здесь термин обозначает бесконечно малый объем , т.е. . ${\displaystyle \mathbf {x} }$ ${\displaystyle d}$ ${\displaystyle d\mathbf {x} }$ ${\displaystyle d\mathbf {x} :=dx_{1}dx_{2}\cdots dx_{d}}$

Самый крутой спуск

В расширениях метода Лапласа комплексный анализ , и в частности интегральная формула Коши , используется для нахождения контура наискорейшего спуска для (асимптотически при больших M ) эквивалентного интеграла, выраженного как линейный интеграл . В частности, если на действительной прямой не существует точки x ₀ , где производная обращается в нуль, может потребоваться деформировать контур интегрирования до оптимального, где вышеприведенный анализ будет возможен. Опять же, основная идея состоит в том, чтобы свести, по крайней мере асимптотически, вычисление данного интеграла к вычислению более простого интеграла, который может быть явно оценен. См. книгу Эрдели (1956) для простого обсуждения (где метод называется наискорейшими спусками ). ${\displaystyle f}$

Соответствующая формулировка для комплексной z -плоскости имеет вид

${\displaystyle \int _{a}^{b}e^{Mf(z)}\,dz\approx {\sqrt {\frac {2\pi }{-Mf''(z_{0})}}}e^{Mf(z_{0})}{\text{ as }}M\to \infty .}$

для пути, проходящего через седловую точку при z ₀ . Обратите внимание на явное появление знака минус для указания направления второй производной: не нужно брать модуль. Также обратите внимание, что если подынтегральное выражение мероморфно , может потребоваться добавить остатки, соответствующие полюсам, пройденным при деформации контура (см., например, раздел 3 статьи Окунькова Симметричные функции и случайные разбиения ).

Дальнейшие обобщения

Расширением метода наискорейшего спуска является так называемый нелинейный метод стационарной фазы/наискорейшего спуска . Здесь вместо интегралов нужно асимптотически оценивать решения задач факторизации Римана–Гильберта .

При наличии контура C в комплексной сфере , функции, определенной на этом контуре, и особой точки, такой как бесконечность, голоморфная функция M ищется вне C , с заданным скачком через C и с заданной нормировкой на бесконечности. Если и, следовательно, M являются матрицами, а не скалярами, то это проблема, которая в общем случае не допускает явного решения. ${\displaystyle f}$ ${\displaystyle f}$

Асимптотическая оценка тогда возможна по линии линейного метода стационарной фазы/скорейшего спуска. Идея состоит в том, чтобы асимптотически свести решение данной задачи Римана–Гильберта к решению более простой, явно решаемой задачи Римана–Гильберта. Теорема Коши используется для обоснования деформаций контура скачка.

Нелинейная стационарная фаза была введена Дейфтом и Чжоу в 1993 году на основе более ранней работы Итса. (Собственно говоря) нелинейный метод наискорейшего спуска был введен Камвиссисом, К. Маклафлином и П. Миллером в 2003 году на основе более ранней работы Лакса, Левермора, Дейфта, Венакидеса и Чжоу. Как и в линейном случае, «контуры наискорейшего спуска» решают задачу минимума-максимума. В нелинейном случае они оказываются «S-кривыми» (определенными в другом контексте еще в 80-х годах Шталем, Гончаром и Рахмановым).

Нелинейный метод стационарной фазы/наискорейшего спуска применяется в теории солитонных уравнений и интегрируемых моделей , случайных матриц и комбинаторике .

Обобщение аппроксимации медианной точки

В обобщении оценка интеграла считается эквивалентной нахождению нормы распределения с плотностью

${\displaystyle e^{Mf(x)}.}$

Обозначим кумулятивное распределение , если существует диффеоморфное гауссовское распределение с плотностью ${\displaystyle F(x)}$

${\displaystyle e^{-g-{\frac {\gamma }{2}}y^{2}}}$

норма определяется как

${\displaystyle {\sqrt {2\pi \gamma ^{-1}}}e^{-g}}$

и соответствующий диффеоморфизм есть

${\displaystyle y(x)={\frac {1}{\sqrt {\gamma }}}\Phi ^{-1}{\left({\frac {F(x)}{F(\infty )}}\right)},}$

где обозначает кумулятивную стандартную нормальную функцию распределения . ${\displaystyle \Phi }$

В общем случае любое распределение, диффеоморфное гауссовскому, имеет плотность

${\displaystyle e^{-g-{\frac {\gamma }{2}}y^{2}(x)}y'(x)}$

и медианная точка отображается в медиану гауссовского распределения. Сопоставление логарифма функций плотности и их производных в медианной точке до заданного порядка дает систему уравнений, которые определяют приближенные значения и . ${\displaystyle \gamma }$ ${\displaystyle g}$

Приближение было введено в 2019 году Д. Макогоном и К. Мораисом Смитом, в первую очередь, в контексте оценки статистической суммы для системы взаимодействующих фермионов. ^[5]

Комплексные интегралы

Для комплексных интегралов в виде:

${\displaystyle {\frac {1}{2\pi i}}\int _{c-i\infty }^{c+i\infty }g(s)e^{st}\,ds}$

с помощью подстановки t = iu и замены переменной получаем двустороннее преобразование Лапласа: ${\displaystyle t\gg 1,}$ ${\displaystyle s=c+ix}$

${\displaystyle {\frac {1}{2\pi }}\int _{-\infty }^{\infty }g(c+ix)e^{-ux}e^{icu}\,dx.}$

Затем мы разделяем g ( c + ix ) на действительную и комплексную части, после чего восстанавливаем u = t / i . Это полезно для обратных преобразований Лапласа , формулы Перрона и комплексного интегрирования.

Пример: приближение Стерлинга

Метод Лапласа можно использовать для вывода приближения Стирлинга.

${\displaystyle N!\approx {\sqrt {2\pi N}}({\frac {N}{e}})^{N}\,}$

для большого целого числа N. Из определения гамма-функции имеем

${\displaystyle N!=\Gamma (N+1)=\int _{0}^{\infty }e^{-x}x^{N}\,dx.}$

Теперь изменим переменные, так что Подставим эти значения обратно, чтобы получить ${\displaystyle x=Nz}$ ${\displaystyle dx=Ndz.}$

${\displaystyle {\begin{aligned}N!&=\int _{0}^{\infty }e^{-Nz}(Nz)^{N}N\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{-Nz}z^{N}\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{-Nz}e^{N\ln z}\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{N(\ln z-z)}\,dz.\end{aligned}}}$

Этот интеграл имеет вид, необходимый для метода Лапласа с

${\displaystyle f(z)=\ln {z}-z}$

которая дважды дифференцируема:

${\displaystyle f'(z)={\frac {1}{z}}-1,}$

${\displaystyle f''(z)=-{\frac {1}{z^{2}}}.}$

Максимум лежит при z ₀ = 1, а вторая производная в этой точке имеет значение −1. Следовательно, получаем ${\displaystyle f(z)}$ ${\displaystyle f(z)}$

${\displaystyle N!\approx N^{N+1}{\sqrt {\frac {2\pi }{N}}}e^{-N}={\sqrt {2\pi N}}N^{N}e^{-N}.}$

Смотрите также

• Математический портал

• Метод стационарной фазы
• Метод наискорейшего спуска
• Теория больших отклонений
• Принцип Лапласа (теория больших отклонений)
• Приближение Лапласа

Примечания

1. Тирни, Люк; Кадане, Джозеф Б. (1986). «Точные аппроксимации для апостериорных моментов и предельных плотностей». J. Amer. Statist. Assoc . 81 (393): 82–86. doi :10.1080/01621459.1986.10478240.
2. Амарал Туркман, М. Антония; Паулино, Карлос Даниэль; Мюллер, Питер (2019). «Методы, основанные на аналитических аппроксимациях». Вычислительная байесовская статистика: введение . Cambridge University Press. стр. 150–171. ISBN 978-1-108-70374-1.
3. Батлер, Рональд В. (2007). Седловые приближения и приложения . Cambridge University Press. ISBN 978-0-521-87250-8.
4. MacKay, David JC (сентябрь 2003 г.). Теория информации, вывод и алгоритмы обучения. Кембридж: Cambridge University Press. ISBN 9780521642989.
5. Makogon, D.; Morais Smith, C. (2022-05-03). «Приближение медианной точки и его применение для изучения фермионных систем». Physical Review B. 105 ( 17): 174505. Bibcode : 2022PhRvB.105q4505M. doi : 10.1103/PhysRevB.105.174505. hdl : 1874/423769 . S2CID  203591796.

Ссылки

• Azevedo-Filho, A.; Shachter, R. (1994), «Приближения метода Лапласа для вероятностного вывода в сетях убеждений с непрерывными переменными», в Mantaras, R.; Poole, D. (ред.), Неопределенность в искусственном интеллекте , Сан-Франциско, Калифорния: Morgan Kaufmann , CiteSeerX  10.1.1.91.2064.
• Deift, P.; Zhou, X. (1993), "Метод наискорейшего спуска для осцилляционных задач Римана–Гильберта. Асимптотика для уравнения MKdV", Ann. of Math. , т. 137, № 2, стр. 295–368, arXiv : math/9201261 ​​, doi :10.2307/2946540, JSTOR  2946540.
• Эрдели, А. (1956), Асимптотические разложения , Дувр.
• Фог, А. (2008), «Методы расчета нецентрального гипергеометрического распределения Валлениуса», Communications in Statistics, Simulation and Computation , т. 37, № 2, стр. 258–273, doi : 10.1080/03610910701790269, S2CID  9040568.
• Лаплас, PS (1774), «Mémoires de Mathématique et de Physique, Tome Sixième» [Мемуары о вероятности причин событий], Statistical Science , 1 (3): 366–367, JSTOR  2245476
• Ван, Сян-Шэн; Вонг, Родерик (2007). «Дискретные аналоги приближения Лапласа». Асимптот. Анал . 54 (3–4): 165–180.

В данной статье использованы материалы из книги «Аппроксимация седловой точки» на сайте PlanetMath , которая распространяется по лицензии Creative Commons Attribution/Share-Alike License .