Нормирующая константа

Константа a такая, что af(x) является вероятностной мерой

В теории вероятностей нормирующая константа или нормирующий множитель используется для сведения любой функции вероятности к функции плотности вероятности с общей вероятностью, равной единице.

Например, гауссова функция может быть нормализована в функцию плотности вероятности, которая дает стандартное нормальное распределение. В теореме Байеса нормирующая константа используется для того, чтобы гарантировать, что сумма всех возможных гипотез равна 1. Другие применения нормирующих констант включают в себя придание значению полинома Лежандра значения 1 и в ортогональности ортонормированных функций.

Подобная концепция использовалась и в других областях, помимо теории вероятностей, например, для многочленов.

Определение

В теории вероятностей нормирующая константа — это константа, на которую всюду неотрицательная функция должна быть умножена так, чтобы площадь под ее графиком была равна 1, например, чтобы сделать ее функцией плотности вероятности или функцией массы вероятности . ^{[1] [2]}

Примеры

Если начать с простой гауссовой функции, то получим соответствующий гауссовский интеграл $${\displaystyle p(x)=e^{-x^{2}/2},\quad x\in (-\infty ,\infty )}$$ $${\displaystyle \int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},}$$

Теперь, если мы используем обратное значение последнего в качестве нормирующей константы для первого, определяя функцию как так, что ее интеграл равен единице , то функция является функцией плотности вероятности. ^[3] Это плотность стандартного нормального распределения . ( Стандартное в данном случае означает, что ожидаемое значение равно 0, а дисперсия равна 1.) ${\displaystyle \varphi (x)}$ $${\displaystyle \varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$$ $${\displaystyle \int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1}$$ ${\displaystyle \varphi (x)}$

А константа — это нормирующая константа функции . ${\textstyle {\frac {1}{\sqrt {2\pi }}}}$ ${\displaystyle p(x)}$

Аналогично, и, следовательно, является функцией массы вероятности на множестве всех неотрицательных целых чисел. ^[4] Это функция массы вероятности распределения Пуассона с ожидаемым значением λ. $${\displaystyle \sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },}$$ $${\displaystyle f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}}$$

Обратите внимание, что если функция плотности вероятности является функцией различных параметров, то таковой будет и ее нормирующая константа. Параметризованная нормирующая константа для распределения Больцмана играет центральную роль в статистической механике . В этом контексте нормирующая константа называется функцией распределения .

Теорема Байеса

Теорема Байеса гласит, что апостериорная мера вероятности пропорциональна произведению априорной меры вероятности и функции правдоподобия . Пропорциональность подразумевает, что нужно умножить или разделить на нормализующую константу, чтобы присвоить меру 1 всему пространству, т. е. получить меру вероятности. В простом дискретном случае мы имеем где P(H ₀ ) — априорная вероятность того, что гипотеза верна; P(D|H ₀ ) — условная вероятность данных при условии, что гипотеза верна, но при условии, что данные известны, это вероятность гипотезы (или ее параметров) при условии, что данные; P(H ₀ |D) — апостериорная вероятность того, что гипотеза верна, при условии, что данные известны. P(D) должна быть вероятностью получения данных, но сама по себе ее трудно вычислить, поэтому альтернативный способ описания этой связи — это пропорциональность: поскольку P(H|D) является вероятностью, сумма по всем возможным (взаимоисключающим) гипотезам должна быть равна 1, что приводит к выводу, что В этом случае обратная величина значения является нормализующей константой . ^[5] Ее можно расширить от счетного числа гипотез до несчетного числа, заменив сумму интегралом. $${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}}$$ $${\displaystyle P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).}$$ $${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.}$$ $${\displaystyle P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;}$$

Для конкретности, существует много методов оценки нормализующей константы для практических целей. Методы включают в себя метод выборки моста, наивную оценку Монте-Карло, обобщенную оценку гармонического среднего и выборку важности. ^[6]

Невероятностное использование

Полиномы Лежандра характеризуются ортогональностью относительно равномерной меры на интервале [−1, 1] и тем фактом, что они нормализованы так, что их значение в точке 1 равно 1. Константа, на которую умножают полином, чтобы его значение стало равным 1, является нормализующей константой.

Ортонормированные функции нормализованы таким образом, что относительно некоторого внутреннего произведения ⟨ f , g ⟩ . $${\displaystyle \langle f_{i},\,f_{j}\rangle =\,\delta _{i,j}}$$

Константа 1/ √ 2 используется для определения гиперболических функций cosh и sinh по длинам смежных и противолежащих сторон гиперболического треугольника .

Смотрите также

• Нормализация (статистика)

Ссылки

1. Непрерывные распределения на кафедре математических наук: Университет Алабамы в Хантсвилле
2. Феллер 1968, стр. 22
3. Феллер 1968, стр. 174
4. Феллер 1968, стр. 156
5. Феллер 1968, стр. 124
6. Гронау, Квентин (2020). "bridgesampling: пакет R для оценки нормализующих констант" (PDF) . Комплексная сеть архивов R . Получено 11 сентября 2021 г. .

• Феллер, Уильям (1968). Введение в теорию вероятностей и ее приложения (том I) . John Wiley & Sons. ISBN 0-471-25708-7.