Двоичная функция энтропии

Энтропия процесса, имеющего только два вероятных значения

Энтропия испытания Бернулли (в шеннонах ) как функция вероятности двоичного исхода, называемая функцией двоичной энтропии .

В теории информации бинарная энтропийная функция , обозначаемая или , определяется как энтропия процесса Бернулли ( бинарная переменная iid ) с вероятностью одного из двух значений и задается формулой: ${\displaystyle \operatorname {H} (p)}$ ${\displaystyle \operatorname {H} _{\text{b}}(p)}$ ${\displaystyle p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p).}$

Основание логарифма соответствует выбору единиц информации ; основание e соответствует натам и является математически удобным, в то время как основание 2 ( двоичный логарифм ) соответствует шеннонам и является общепринятым (как показано на графике); в явном виде:

${\displaystyle \operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

Обратите внимание, что значения 0 и 1 задаются пределом (по правилу Лопиталя ); и что «двоичный» относится к двум возможным значениям переменной, а не к единицам информации. ${\displaystyle \textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0}$

Когда , функция двоичной энтропии достигает своего максимального значения, 1 шеннон (1 двоичная единица информации); это случай непредвзятого подбрасывания монеты . Когда или , двоичная энтропия равна 0 (в любых единицах), что соответствует отсутствию информации, поскольку нет неопределенности в переменной. ${\displaystyle p=1/2}$ ${\displaystyle p=0}$ ${\displaystyle p=1}$

Обозначение

Двоичная энтропия является частным случаем , энтропийной функции . отличается от энтропийной функции тем, что первая принимает в качестве параметра одно действительное число, тогда как вторая принимает в качестве параметра распределение или случайную величину. Таким образом, двоичная энтропия (от p ) является энтропией распределения , поэтому . ${\displaystyle \operatorname {H} (X)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle \operatorname {H} (p)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle \operatorname {Ber} (p)}$ ${\displaystyle \operatorname {H} (p)=\mathrm {H} (\operatorname {Ber} (p))}$

Записывая вероятность того, что каждое из двух значений будет p и q , то есть и , это соответствует ${\displaystyle p+q=1}$ ${\displaystyle q=1-p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log p-q\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} (\operatorname {Ber} (p)).}$

Иногда бинарную функцию энтропии также записывают как . Однако она отличается от энтропии Реньи и ее не следует путать с ней , которая обозначается как . ${\displaystyle \operatorname {H} _{2}(p)}$ ${\displaystyle \mathrm {H} _{2}(X)}$

Объяснение

С точки зрения теории информации энтропия считается мерой неопределенности в сообщении. Если говорить интуитивно, предположим, что . При этой вероятности событие наверняка никогда не произойдет, и поэтому неопределенности нет вообще, что приводит к энтропии 0. Если , результат снова определен, поэтому энтропия здесь также равна 0. Когда , неопределенность максимальна; если бы кто-то сделал честную ставку на результат в этом случае, то нет никакого преимущества, которое можно было бы получить с предварительным знанием вероятностей. В этом случае энтропия максимальна при значении 1 бит. Промежуточные значения находятся между этими случаями; например, если , все еще есть мера неопределенности в результате, но можно все еще предсказать результат правильно чаще, чем нет, поэтому мера неопределенности, или энтропия, меньше 1 полного бита. ${\displaystyle p=0}$ ${\displaystyle p=1}$ ${\displaystyle p=1/2}$ ${\displaystyle p=1/4}$

Характеристики

Производный

Производную функции бинарной энтропии можно выразить как отрицательную функцию логита :

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)}$.

${\displaystyle {d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln 2}}}$

Выпуклый сопряженный

Выпуклое сопряжение (в частности, преобразование Лежандра ) бинарной энтропии (с основанием e ) является отрицательной функцией softplus . Это происходит потому, что (следуя определению преобразования Лежандра: производные являются обратными функциями) производная отрицательной бинарной энтропии является логитом, обратная функция которого является логистической функцией , которая является производной softplus.

Softplus можно интерпретировать как логистические потери , поэтому по двойственности минимизация логистических потерь соответствует максимизации энтропии. Это оправдывает принцип максимальной энтропии как минимизации потерь.

ряд Тейлора

Ряд Тейлора двоичной функции энтропии при 1/2 равен

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

которая сходится к двоичной функции энтропии для всех значений . ${\displaystyle 0\leq p\leq 1}$

Границы

Для справедливы следующие оценки : ^[1] ${\displaystyle 0<p<1}$

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$

и

${\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$

где обозначает натуральный логарифм. ${\displaystyle \ln }$

Смотрите также

• Метрическая энтропия
• Теория информации
• Информационная энтропия
• Количество информации

Ссылки

1. Топсе, Флемминг (2001). «Границы энтропии и расходимости распределений по двухэлементному множеству». JIPAM. Журнал неравенств в чистой и прикладной математике . 2 (2): Статья № 25, 13 стр.- Статья № 25, 13 стр.

Дальнейшее чтение

• Маккей, Дэвид Дж. К. Теория информации, вывод и алгоритмы обучения Кембридж: Издательство Кембриджского университета, 2003. ISBN 0-521-64298-1