Функция распределения (математика)

Обобщение понятия статистической механики

Функция распределения или конфигурационный интеграл , используемый в теории вероятностей , теории информации и динамических системах , является обобщением определения функции распределения в статистической механике . Это частный случай нормализующей константы в теории вероятностей для распределения Больцмана . Функция распределения встречается во многих задачах теории вероятностей, потому что в ситуациях, когда имеется естественная симметрия, ее связанная вероятностная мера , мера Гиббса , обладает свойством Маркова . Это означает, что функция распределения встречается не только в физических системах с трансляционной симметрией, но и в таких разнообразных условиях, как нейронные сети ( сеть Хопфилда ) и приложениях, таких как геномика , корпусная лингвистика и искусственный интеллект , которые используют сети Маркова и логические сети Маркова . Мера Гиббса также является уникальной мерой, которая обладает свойством максимизации энтропии для фиксированного ожидаемого значения энергии; это лежит в основе появления функции распределения в методах максимальной энтропии и алгоритмах, выведенных из них.

Функция распределения связывает воедино множество различных концепций и, таким образом, предлагает общую структуру, в которой можно вычислить множество различных видов величин. В частности, она показывает, как вычислять ожидаемые значения и функции Грина , формируя мост к теории Фредгольма . Она также обеспечивает естественную среду для подхода информационной геометрии к теории информации, где информационная метрика Фишера может пониматься как корреляционная функция, полученная из функции распределения; она определяет риманово многообразие .

Когда случайные величины устанавливаются в комплексном проективном пространстве или проективном гильбертовом пространстве , геометризированном с помощью метрики Фубини–Штуди , возникает теория квантовой механики и, в более общем смысле, квантовая теория поля . В этих теориях функция распределения активно используется в формулировке интеграла по траектории , с большим успехом, что приводит ко многим формулам, почти идентичным тем, что рассмотрены здесь. Однако, поскольку базовое пространство мер является комплекснозначным, в отличие от действительнозначного симплекса теории вероятностей, во многих формулах появляется дополнительный множитель i . Отслеживание этого множителя затруднительно и здесь не делается. В этой статье основное внимание уделяется классической теории вероятностей, где сумма вероятностей составляет единицу.

Определение

При наличии набора случайных величин , принимающих значения , и некоторой потенциальной функции или гамильтониана , функция распределения определяется как ${\displaystyle X_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle H(x_{1},x_{2},\dots )}$

${\displaystyle Z(\beta )=\sum _{x_{i}}\exp \left(-\beta H(x_{1},x_{2},\dots )\right)}$

Под функцией H понимается действительная функция на пространстве состояний , а — действительный свободный параметр (условно, обратная температура ). Под суммой по понимается сумма по всем возможным значениям, которые может принимать каждая из случайных величин. Таким образом, сумма должна быть заменена интегралом , когда непрерывны, а не дискретны. Таким образом, записывается ${\displaystyle \{X_{1},X_{2},\cdots \}}$ ${\displaystyle \beta }$ ${\displaystyle x_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{i}}$

${\displaystyle Z(\beta )=\int \exp \left(-\beta H(x_{1},x_{2},\dots )\right)\,dx_{1}\,dx_{2}\cdots }$

для случая непрерывно изменяющегося . ${\displaystyle X_{i}}$

Когда H является наблюдаемой величиной , такой как конечномерная матрица или бесконечномерный оператор гильбертова пространства или элемент алгебры C-звезды , обычно суммирование выражается как след , так что

${\displaystyle Z(\beta )=\operatorname {tr} \left(\exp \left(-\beta H\right)\right)}$

Если H бесконечномерно, то для того, чтобы приведенное выше обозначение было действительным, аргумент должен быть трассового класса , то есть иметь такую ​​форму, что суммирование существует и ограничено.

Число переменных не обязательно должно быть счетным , в этом случае суммы должны быть заменены функциональными интегралами . Хотя существует много обозначений для функциональных интегралов, общим будет ${\displaystyle X_{i}}$

${\displaystyle Z=\int {\mathcal {D}}\varphi \exp \left(-\beta H[\varphi ]\right)}$

Так обстоит дело с статистической суммой в квантовой теории поля .

Распространенной полезной модификацией функции распределения является введение вспомогательных функций. Это позволяет, например, использовать функцию распределения в качестве генерирующей функции для корреляционных функций . Это более подробно обсуждается ниже.

Параметр β

Роль или значение параметра можно понимать по-разному. В классической термодинамике это обратная температура . В более общем смысле можно сказать, что это переменная, которая сопряжена с некоторой (произвольной) функцией случайных величин . Слово сопряженный здесь используется в смысле сопряженных обобщенных координат в механике Лагранжа , таким образом, собственно является множителем Лагранжа . Его нередко называют обобщенной силой . Все эти концепции объединяет идея о том, что одно значение должно оставаться фиксированным, в то время как другие, взаимосвязанные каким-то сложным образом, могут изменяться. В текущем случае значение, которое должно оставаться фиксированным, является ожидаемым значением , даже если множество различных распределений вероятностей могут привести к точно такому же (фиксированному) значению. ${\displaystyle \beta }$ ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle \beta }$ ${\displaystyle H}$

В общем случае рассматривается набор функций, каждая из которых зависит от случайных величин . Эти функции выбираются, поскольку по той или иной причине требуется сохранить их ожидаемые значения постоянными. Чтобы ограничить ожидаемые значения таким образом, применяется метод множителей Лагранжа . В общем случае методы максимальной энтропии иллюстрируют способ, которым это делается. ${\displaystyle \{H_{k}(x_{1},\cdots )\}}$ ${\displaystyle X_{i}}$

Вот несколько конкретных примеров. В основных задачах термодинамики при использовании канонического ансамбля использование только одного параметра отражает тот факт, что существует только одно ожидаемое значение, которое должно поддерживаться постоянным: свободная энергия (из-за сохранения энергии ). Для задач химии, включающих химические реакции, большой канонический ансамбль обеспечивает соответствующую основу, и есть два множителя Лагранжа. Один должен поддерживать постоянную энергию, а другой, летучесть , должен поддерживать постоянное количество частиц (поскольку химические реакции включают рекомбинацию фиксированного числа атомов). ${\displaystyle \beta }$

В общем случае имеем

${\displaystyle Z(\beta )=\sum _{x_{i}}\exp \left(-\sum _{k}\beta _{k}H_{k}(x_{i})\right)}$

с точкой в ​​пространстве. ${\displaystyle \beta =(\beta _{1},\beta _{2},\cdots )}$

Для набора наблюдаемых можно написать ${\displaystyle H_{k}}$

${\displaystyle Z(\beta )=\operatorname {tr} \left[\,\exp \left(-\sum _{k}\beta _{k}H_{k}\right)\right]}$

Как и прежде, предполагается, что аргументом tr является trace class .

Соответствующая мера Гиббса затем обеспечивает распределение вероятностей, так что ожидаемое значение каждого является фиксированным значением. Точнее, есть ${\displaystyle H_{k}}$

${\displaystyle {\frac {\partial }{\partial \beta _{k}}}\left(-\log Z\right)=\langle H_{k}\rangle =\mathrm {E} \left[H_{k}\right]}$

с угловыми скобками, обозначающими ожидаемое значение , и являющимися общепринятой альтернативной нотацией. Точное определение этого ожидаемого значения приведено ниже. ${\displaystyle \langle H_{k}\rangle }$ ${\displaystyle H_{k}}$ ${\displaystyle \mathrm {E} [\;]}$

Хотя значение обычно считается действительным, в общем случае это не обязательно так; это обсуждается в разделе Нормализация ниже. Значения можно понимать как координаты точек в пространстве; это пространство фактически является многообразием , как показано ниже. Изучение этих пространств как многообразий составляет область информационной геометрии . ${\displaystyle \beta }$ ${\displaystyle \beta }$

Симметрия

Сама потенциальная функция обычно принимает форму суммы:

${\displaystyle H(x_{1},x_{2},\dots )=\sum _{s}V(s)\,}$

где сумма по s является суммой по некоторому подмножеству множества мощности P ( X ) множества . Например, в статистической механике , такой как модель Изинга , сумма берется по парам ближайших соседей. В теории вероятностей, такой как сети Маркова , сумма может быть по кликам графа; так, для модели Изинга и других решетчатых моделей максимальные клики являются ребрами. ${\displaystyle X=\lbrace x_{1},x_{2},\dots \rbrace }$

Тот факт, что потенциальная функция может быть записана в виде суммы, обычно отражает тот факт, что она инвариантна относительно действия групповой симметрии , например, трансляционной инвариантности . Такие симметрии могут быть дискретными или непрерывными; они материализуются в корреляционных функциях для случайных величин (обсуждаемых ниже). Таким образом, симметрия в гамильтониане становится симметрией корреляционной функции (и наоборот).

Эта симметрия имеет критически важную интерпретацию в теории вероятностей: она подразумевает, что мера Гиббса имеет свойство Маркова ; то есть она независима от случайных величин определенным образом, или, что то же самое, мера идентична на классах эквивалентности симметрии. Это приводит к широкому появлению функции распределения в задачах с свойством Маркова, таких как сети Хопфилда .

В качестве меры

Значение выражения

${\displaystyle \exp \left(-\beta H(x_{1},x_{2},\dots )\right)}$

может быть интерпретировано как вероятность того, что в системе возникает определенная конфигурация значений . Таким образом, учитывая определенную конфигурацию , ${\displaystyle (x_{1},x_{2},\dots )}$ ${\displaystyle (x_{1},x_{2},\dots )}$

${\displaystyle P(x_{1},x_{2},\dots )={\frac {1}{Z(\beta )}}\exp \left(-\beta H(x_{1},x_{2},\dots )\right)}$

— вероятность конфигурации, встречающейся в системе, которая теперь должным образом нормализована так, что , и так, что сумма по всем конфигурациям составляет единицу. Таким образом, можно считать, что функция распределения обеспечивает меру ( вероятностную меру ) на вероятностном пространстве ; формально она называется мерой Гиббса . Она обобщает более узкие концепции большого канонического ансамбля и канонического ансамбля в статистической механике. ${\displaystyle (x_{1},x_{2},\dots )}$ ${\displaystyle 0\leq P(x_{1},x_{2},\dots )\leq 1}$

Существует по крайней мере одна конфигурация, для которой вероятность максимальна; эта конфигурация условно называется основным состоянием . Если конфигурация уникальна, основное состояние называется невырожденным , а система называется эргодической ; в противном случае основное состояние является вырожденным . Основное состояние может коммутировать или не коммутировать с генераторами симметрии; если коммутирует, то называется инвариантной мерой . Когда оно не коммутирует, симметрия называется спонтанно нарушенной . ${\displaystyle (x_{1},x_{2},\dots )}$

Условия, при которых основное состояние существует и является единственным, задаются условиями Каруша–Куна–Таккера ; эти условия обычно используются для обоснования использования меры Гиббса в задачах с максимальной энтропией. ^{[ необходима ссылка ]}

Нормализация

Значения, принимаемые зависят от математического пространства , в котором изменяется случайное поле. Таким образом, действительные случайные поля принимают значения на симплексе : это геометрический способ сказать, что сумма вероятностей должна давать единицу. Для квантовой механики случайные величины ранжируются по комплексному проективному пространству (или комплекснозначному проективному гильбертову пространству ), где случайные величины интерпретируются как амплитуды вероятности . Здесь акцент делается на слове проективный , поскольку амплитуды по-прежнему нормализованы к единице. Нормализация для потенциальной функции — это якобиан для соответствующего математического пространства: это 1 для обычных вероятностей и i для гильбертова пространства; таким образом, в квантовой теории поля можно увидеть в экспоненциальном, а не . Статистическая сумма очень активно используется в формулировке интеграла по траекториям квантовой теории поля, что дает большой эффект. Теория там почти идентична представленной здесь, за исключением этого различия и того факта, что она обычно формулируется на четырехмерном пространстве-времени, а не в общем виде. ${\displaystyle \beta }$ ${\displaystyle itH}$ ${\displaystyle \beta H}$

Ожидаемые значения

Функция распределения обычно используется как функция, генерирующая вероятность для значений ожиданий различных функций случайных величин. Так, например, взяв в качестве регулируемого параметра, то производная по отношению к ${\displaystyle \beta }$ ${\displaystyle \log(Z(\beta ))}$ ${\displaystyle \beta }$

${\displaystyle \mathbf {E} [H]=\langle H\rangle =-{\frac {\partial \log(Z(\beta ))}{\partial \beta }}}$

дает среднее (ожидаемое значение) H. В физике это называется средней энергией системы.

Учитывая определение вероятностной меры выше, математическое ожидание любой функции f случайных величин X теперь можно записать так, как и ожидалось: так, для дискретно-значных X можно записать

${\displaystyle {\begin{aligned}\langle f\rangle &=\sum _{x_{i}}f(x_{1},x_{2},\dots )P(x_{1},x_{2},\dots )\\&={\frac {1}{Z(\beta )}}\sum _{x_{i}}f(x_{1},x_{2},\dots )\exp \left(-\beta H(x_{1},x_{2},\dots )\right)\end{aligned}}}$

Вышеуказанная нотация строго верна для конечного числа дискретных случайных величин, но должна рассматриваться как несколько «неформальная» для непрерывных величин; правильно, приведенные выше суммирования должны быть заменены нотациями базовой сигма-алгебры, используемой для определения вероятностного пространства . При этом тождества продолжают выполняться, если они правильно сформулированы на пространстве мер .

Так, например, энтропия определяется как

${\displaystyle {\begin{aligned}S&=-k_{B}\langle \ln P\rangle \\&=-k_{B}\sum _{x_{i}}P(x_{1},x_{2},\dots )\ln P(x_{1},x_{2},\dots )\\&=k_{B}(\beta \langle H\rangle +\log Z(\beta ))\end{aligned}}}$

Мера Гиббса — это уникальное статистическое распределение, которое максимизирует энтропию при фиксированном математическом ожидании энергии; это лежит в основе ее использования в методах максимальной энтропии .

Информационная геометрия

Точки можно понимать как образующие пространство, а именно, многообразие . Таким образом, разумно задать вопрос о структуре этого многообразия; это задача информационной геометрии . ${\displaystyle \beta }$

Множественные производные относительно множителей Лагранжа приводят к положительной полуопределенной ковариационной матрице

${\displaystyle g_{ij}(\beta )={\frac {\partial ^{2}}{\partial \beta ^{i}\partial \beta ^{j}}}\left(-\log Z(\beta )\right)=\langle \left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\rangle }$

Эта матрица является положительно полуопределенной и может быть интерпретирована как метрический тензор , в частности, риманова метрика . Оснащение пространства множителей Лагранжа метрикой таким образом превращает его в риманово многообразие . ^[1] Изучение таких многообразий называется информационной геометрией ; метрика выше — это информационная метрика Фишера . Здесь служит координатой на многообразии. Интересно сравнить приведенное выше определение с более простой информацией Фишера , из которой оно вдохновлено. ${\displaystyle \beta }$

То, что вышеизложенное определяет информационную метрику Фишера, можно легко увидеть, явно подставив значение математического ожидания:

${\displaystyle {\begin{aligned}g_{ij}(\beta )&=\langle \left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\rangle \\&=\sum _{x}P(x)\left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\\&=\sum _{x}P(x)\left(H_{i}+{\frac {\partial \log Z}{\partial \beta _{i}}}\right)\left(H_{j}+{\frac {\partial \log Z}{\partial \beta _{j}}}\right)\\&=\sum _{x}P(x){\frac {\partial \log P(x)}{\partial \beta ^{i}}}{\frac {\partial \log P(x)}{\partial \beta ^{j}}}\\\end{aligned}}}$

где мы записали для и подразумевается, что суммирование ведется по всем значениям всех случайных величин . Для непрерывных случайных величин суммирование, конечно, заменяется интегралами. ${\displaystyle P(x)}$ ${\displaystyle P(x_{1},x_{2},\dots )}$ ${\displaystyle X_{k}}$

Любопытно, что информационная метрика Фишера может также пониматься как евклидова метрика плоского пространства , после соответствующей замены переменных, как описано в основной статье о ней. Когда являются комплексными, результирующая метрика является метрикой Фубини–Штуди . Когда она записана в терминах смешанных состояний , а не чистых состояний , она известна как метрика Буреса . ${\displaystyle \beta }$

Корреляционные функции

Вводя искусственные вспомогательные функции в функцию распределения, ее можно использовать для получения ожидаемого значения случайных величин. Так, например, записав ${\displaystyle J_{k}}$

${\displaystyle {\begin{aligned}Z(\beta ,J)&=Z(\beta ,J_{1},J_{2},\dots )\\&=\sum _{x_{i}}\exp \left(-\beta H(x_{1},x_{2},\dots )+\sum _{n}J_{n}x_{n}\right)\end{aligned}}}$

тогда один имеет

${\displaystyle \mathbf {E} [x_{k}]=\langle x_{k}\rangle =\left.{\frac {\partial }{\partial J_{k}}}\log Z(\beta ,J)\right|_{J=0}}$

как ожидаемое значение . В формулировке интеграла по траекториям квантовой теории поля эти вспомогательные функции обычно называются исходными полями . ${\displaystyle x_{k}}$

Множественные дифференциации приводят к связанным корреляционным функциям случайных величин. Таким образом, корреляционная функция между переменными и определяется как: ${\displaystyle C(x_{j},x_{k})}$ ${\displaystyle x_{j}}$ ${\displaystyle x_{k}}$

${\displaystyle C(x_{j},x_{k})=\left.{\frac {\partial }{\partial J_{j}}}{\frac {\partial }{\partial J_{k}}}\log Z(\beta ,J)\right|_{J=0}}$

Гауссовы интегралы

Для случая, когда H можно записать в виде квадратичной формы , включающей дифференциальный оператор , то есть как

${\displaystyle H={\frac {1}{2}}\sum _{n}x_{n}Dx_{n}}$

тогда статистическая сумма может пониматься как сумма или интеграл по гауссианам. Корреляционная функция может пониматься как функция Грина для дифференциального оператора (и, как правило, дающая начало теории Фредгольма ). В квантовой теории поля такие функции называются пропагаторами ; корреляторы более высокого порядка называются n-точечными функциями; работа с ними определяет эффективное действие теории. ${\displaystyle C(x_{j},x_{k})}$

Когда случайные величины являются антикоммутирующими числами Грассмана , то статистическую сумму можно выразить как определитель оператора D. Это делается путем записи ее в виде интеграла Березина (также называемого интегралом Грассмана).

Общие свойства

Статистические суммы используются для обсуждения критического масштабирования , универсальности и подчиняются группе перенормировки .

Смотрите также

• Экспоненциальная семья
• Статистическая сумма (статистическая механика)
• Проблема с разделами
• Марковское случайное поле

Ссылки

1. Крукс, Гэвин Э. (2007). «Измерение термодинамической длины». Phys. Rev. Lett. 99 (10): 100602. arXiv : 0706.0559 . Bibcode :2007PhRvL..99j0602C. doi :10.1103/PhysRevLett.99.100602. PMID  17930381. S2CID  7527491.