Предельная плотность дискретных точек

Понятие в теории информации

В теории информации предельная плотность дискретных точек является корректировкой формулы Клода Шеннона для дифференциальной энтропии .

Он был сформулирован Эдвином Томпсоном Джейнсом для устранения недостатков первоначального определения дифференциальной энтропии.

Определение

Первоначально Шеннон записал следующую формулу для энтропии непрерывного распределения, известной как дифференциальная энтропия :

${\displaystyle h(X)=-\int p(x)\log p(x)\,dx.}$

Однако, в отличие от формулы Шеннона для дискретной энтропии, это не результат какого-либо вывода (Шеннон просто заменил символ суммирования в дискретной версии на интеграл), и в ней отсутствуют многие свойства, которые делают дискретную энтропию полезной мерой неопределенности. В частности, она не инвариантна относительно замены переменных и может стать отрицательной. Кроме того, она даже не является размерно корректной. Поскольку будет безразмерной, должна иметь единицы измерения , что означает, что аргумент логарифма не является безразмерным, как требуется. ${\displaystyle h(X)}$ ${\displaystyle p(x)}$ ${\displaystyle {\frac {1}{dx}}}$

Джейнс утверждал, что формула для непрерывной энтропии должна быть выведена путем взятия предела все более плотных дискретных распределений. ^{[1] [2]} Предположим, что у нас есть набор дискретных точек , такой, что в пределе их плотность приближается к функции, называемой «инвариантной мерой»: ${\displaystyle N}$ ${\displaystyle \{x_{i}\}}$ ${\displaystyle N\to \infty }$ ${\displaystyle m(x)}$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\,({\mbox{number of points in }}a<x<b)=\int _{a}^{b}m(x)\,dx.}$

Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую, по его мнению, следует считать правильной:

${\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Обычно, когда это написано, термин опускается, так как он обычно не является конечным. Так что фактическое общее определение таково ${\displaystyle \log(N)}$

${\displaystyle H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Если неясно, следует ли опускать термин, можно написать ${\displaystyle \log(N)}$

${\displaystyle H_{N}(X)\sim \log(N)+H(X).}$

Обратите внимание, что в формуле Джейнса — это плотность вероятности. Для любого конечного [ ^{необходимо дополнительное объяснение ]} — это равномерная плотность по квантованию непрерывного пространства, которое используется в сумме Римана. В пределе — это непрерывная предельная плотность точек в квантовании, используемом для представления непрерывной переменной . ${\displaystyle m(x)}$ ${\displaystyle N}$ ${\displaystyle m(x)}$ ${\displaystyle m(x)}$ ${\displaystyle x}$

Предположим, что у нас есть числовой формат, который принимает возможные значения, распределенные как по . Тогда (если достаточно велико, чтобы непрерывное приближение было действительным) — это дискретная энтропия переменной в этой кодировке. Это равно среднему числу бит, необходимых для передачи этой информации, и не больше, чем . Следовательно, можно рассматривать как количество информации, полученной благодаря знанию того, что переменная следует распределению , а не равномерно распределена по возможным квантованным значениям, как было бы в случае, если бы она следовала . на самом деле является (отрицательным) расхождением Кульбака–Лейблера от до , которое рассматривается как информация, полученная благодаря изучению того, что переменная, которая ранее считалась распределенной как , на самом деле распределена как . ${\displaystyle N}$ ${\displaystyle m(x)}$ ${\displaystyle H_{N}(X)}$ ${\displaystyle N}$ ${\displaystyle x}$ ${\displaystyle \log(N)}$ ${\displaystyle H(X)}$ ${\displaystyle x}$ ${\displaystyle p(x)}$ ${\displaystyle m(x)}$ ${\displaystyle H(X)}$ ${\displaystyle m(x)}$ ${\displaystyle p(x)}$ ${\displaystyle m(x)}$ ${\displaystyle p(x)}$

Формула непрерывной энтропии Джейнса обладает свойством инвариантности относительно замены переменных, при условии, что и преобразуются одинаково. (Это мотивирует название «инвариантная мера» для m .) Это решает многие трудности, возникающие при применении формулы непрерывной энтропии Шеннона. Сам Джейнс отбросил этот член, поскольку он не имел отношения к его работе (максимальные распределения энтропии), и несколько неудобно иметь бесконечный член в расчетах. К сожалению, это невозможно исправить, если квантование сделано произвольно тонким, как это было бы в случае непрерывного предела. Обратите внимание, что как определено здесь (без члена), всегда будет неположительным, потому что расхождение KL всегда будет неотрицательным. ${\displaystyle m(x)}$ ${\displaystyle p(x)}$ ${\displaystyle \log(N)}$ ${\displaystyle H(X)}$ ${\displaystyle \log(N)}$

Если это тот случай, когда величина постоянна в некотором интервале размеров и практически равна нулю за пределами этого интервала, то предельная плотность дискретных точек (LDDP) тесно связана с дифференциальной энтропией : ${\displaystyle m(x)}$ ${\displaystyle r}$ ${\displaystyle p(x)}$ ${\displaystyle h(X)}$

${\displaystyle H_{N}(X)\approx \log(N)-\log(r)+h(X).}$

Ссылки

1. Джейнс, ET (1963). «Теория информации и статистическая механика». В К. Форд (ред.). Статистическая физика (PDF) . Бенджамин, Нью-Йорк. стр. 181.
2. Джейнс, ET (1968). «Априорные вероятности» (PDF) . Труды IEEE по системной науке и кибернетике . SSC-4 (3): 227–241. doi :10.1109/TSSC.1968.300117.

Дальнейшее чтение

• Джейнс, ET (2003). Теория вероятностей: логика науки . Cambridge University Press. ISBN 978-0521592710.