Нормализующая константа

Константа a такая, что af(x) является вероятностной мерой.

В теории вероятностей нормализующая константа или нормировочный коэффициент используется для сведения любой функции вероятности к функции плотности вероятности с общей вероятностью, равной единице.

Например, функцию Гаусса можно нормализовать в функцию плотности вероятности, которая дает стандартное нормальное распределение. В теореме Байеса нормализующая константа используется для того, чтобы гарантировать, что сумма всех возможных гипотез равна 1. Другие применения нормализующих констант включают придание значения полинома Лежандра равному 1 и ортогональности ортонормированных функций.

Похожая концепция использовалась в других областях, помимо вероятности, например, для полиномов.

Определение

В теории вероятностей нормализующая константа — это константа, на которую всюду неотрицательную функцию необходимо умножить так, чтобы площадь под ее графиком была равна 1, например, чтобы сделать ее функцией плотности вероятности или функцией массы вероятности . ^{[1] [2]}

Примеры

Если мы начнем с простой функции Гаусса

$${\displaystyle p(x)=e^{-x^{2}/2},\quad x\in (-\infty ,\infty )}$$

интеграл Гаусса

$${\displaystyle \int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},}$$

Теперь, если мы используем обратное значение последнего в качестве нормализующей константы для первого, определив функцию как ${\displaystyle \varphi (x)}$

$${\displaystyle \varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$$

интеграл

$${\displaystyle \int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1}$$

^[3]нормального распределенияStandard означает, что ожидаемое значениедисперсия ${\displaystyle \varphi (x)}$

А константа — это нормализующая константа функции . ${\textstyle {\frac {1}{\sqrt {2\pi }}}}$ ${\displaystyle p(x)}$

Сходным образом,

$${\displaystyle \sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },}$$

$${\displaystyle f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}}$$

^[4]распределения Пуассона

Обратите внимание: если функция плотности вероятности является функцией различных параметров, то такой же будет и ее нормировочная константа. Параметризованная нормирующая константа распределения Больцмана играет центральную роль в статистической механике . В этом контексте нормализующая константа называется статистической суммой .

Теорема Байеса

Теорема Байеса гласит, что апостериорная мера вероятности пропорциональна произведению априорной меры вероятности и функции правдоподобия . Пропорциональность подразумевает, что нужно умножить или разделить на нормирующую константу, чтобы присвоить меру 1 всему пространству, т. е. получить вероятностную меру. В простом дискретном случае имеем

${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}}$

где P(H ₀ ) — априорная вероятность того, что гипотеза верна; P(D|H ₀ ) — условная вероятность данных при условии, что гипотеза верна, но при условии, что данные известны, это вероятность гипотезы (или ее параметров) с учетом данных; P(H ₀ |D) — апостериорная вероятность того, что гипотеза верна с учетом данных. P(D) должна быть вероятностью получения данных, но сама по себе ее трудно вычислить, поэтому альтернативным способом описания этой зависимости является пропорциональность:

${\displaystyle P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).}$

Поскольку P(H|D) — это вероятность, сумма по всем возможным (взаимоисключающим) гипотезам должна быть равна 1, что приводит к выводу, что

${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.}$

В этом случае обратное значение

${\displaystyle P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;}$

– нормировочная константа . ^[5] Его можно расширить от счетного числа гипотез до несчетного числа, заменив сумму интегралом.

Для конкретности существует множество методов оценки нормировочной константы для практических целей. Методы включают метод мостовой выборки, наивную оценку Монте-Карло, обобщенную гармоническую среднюю оценку и выборку важности. ^[6]

Невероятностное использование

Полиномы Лежандра характеризуются ортогональностью относительно равномерной меры на интервале [−1, 1] и тем фактом, что они нормализованы так, что их значение в точке 1 равно 1. Константа, на которую умножается многочлен, чтобы его значение в точке 1 – нормировочная константа.

Ортонормированные функции нормируются так, что

$${\displaystyle \langle f_{i},\,f_{j}\rangle =\,\delta _{i,j}}$$

⟨ f , g ⟩

Константа 1/ √ 2 используется для определения гиперболических функций cosh и sinh по длинам смежных и противоположных сторон гиперболического треугольника .

Смотрите также

• Нормализация (статистика)

Примечания

1. Непрерывные распределения в Университете Алабамы.
2. Феллер, 1968, с. 22.
3. Феллер, 1968, с. 174.
4. Феллер, 1968, с. 156.
5. Феллер, 1968, с. 124.
6. Гронау, Квентин (2020). «bridgesampling: пакет R для оценки нормализующих констант» (PDF) . Комплексная сеть архивов R. Проверено 11 сентября 2021 г.

Рекомендации

• Непрерывные распределения на факультете математических наук Университета Алабамы в Хантсвилле
• Феллер, Уильям (1968). Введение в теорию вероятностей и ее приложения (том I) . Джон Уайли и сыновья. ISBN 0-471-25708-7.