Условная энтропия

Мера относительной информации в теории вероятностей

Диаграмма Венна , показывающая аддитивные и вычитающие отношения различных информационных мер , связанных с коррелирующими переменными и . Площадь, содержащаяся в обоих кругах, представляет собой совместную энтропию . Круг слева (красный и фиолетовый) — это индивидуальная энтропия , красный — условная энтропия . Круг справа (синий и фиолетовый) — , а синий — . Фиолетовый цвет – это взаимная информация . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X,Y)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle \mathrm {H} (X|Y)}$ ${\displaystyle \mathrm {H} (Y)}$ ${\displaystyle \mathrm {H} (Y|X)}$ ${\displaystyle \operatorname {I} (X;Y)}$

В теории информации условная энтропия определяет количество информации, необходимой для описания результата случайной величины , при условии, что известно значение другой случайной величины . Здесь информация измеряется в Шеннонах , Натсах или Хартли . Энтропия обусловленного состояния записывается как . ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle \mathrm {H} (Y|X)}$

Определение

Условная энтропия данного определяется как ${\displaystyle Y}$ ${\displaystyle X}$

где и обозначают опорные множества и . ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {Y}}}$ ${\displaystyle X}$ ${\displaystyle Y}$

Примечание. Здесь принято соглашение, что выражение следует рассматривать как равное нулю. Это потому что . ^[1] ${\displaystyle 0\log 0}$ ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \theta =0}$

Интуитивно заметим, что по определению ожидаемого значения и условной вероятности можно записать как , где определяется как . Можно думать, что каждая пара связана с величиной, измеряющей информационное содержание данного . Эта величина напрямую связана с количеством информации, необходимой для описания данного события . Следовательно, вычисляя ожидаемое значение по всем парам значений , условная энтропия измеряет, сколько информации в среднем кодирует переменная о . ${\displaystyle \displaystyle H(Y|X)}$ ${\displaystyle H(Y|X)=\mathbb {E} [f(X,Y)]}$ ${\displaystyle f}$ ${\displaystyle \displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))}$ ${\displaystyle \displaystyle f}$ ${\displaystyle \displaystyle (x,y)}$ ${\displaystyle \displaystyle (Y=y)}$ ${\displaystyle \displaystyle (X=x)}$ ${\displaystyle \displaystyle (Y=y)}$ ${\displaystyle (X=x)}$ ${\displaystyle \displaystyle f}$ ${\displaystyle (x,y)\in {\mathcal {X}}\times {\mathcal {Y}}}$ ${\displaystyle \displaystyle H(Y|X)}$ ${\displaystyle X}$ ${\displaystyle Y}$

Мотивация

Пусть – энтропия дискретной случайной величины, обусловленная тем, что дискретная случайная величина принимает определенное значение . Обозначим опорные множества и через и . Пусть есть функция массы вероятности . Безусловная энтропия рассчитывается как , т.е. ${\displaystyle \mathrm {H} (Y|X=x)}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {Y}}}$ ${\displaystyle Y}$ ${\displaystyle p_{Y}{(y)}}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$

${\displaystyle \mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},}$

где – информативность результата принятия значения . _ Энтропия условия принятия значения определяется аналогично условному ожиданию : ${\displaystyle \operatorname {I} (y_{i})}$ ${\displaystyle Y}$ ${\displaystyle y_{i}}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle x}$

${\displaystyle \mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.}$

Обратите внимание, что это результат усреднения всех возможных значений , которые могут приниматься. Кроме того, если приведенная выше сумма взята для выборки , ожидаемое значение известно в некоторых областях как ${\displaystyle \mathrm {H} (Y|X)}$ ${\displaystyle \mathrm {H} (Y|X=x)}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle y_{1},\dots ,y_{n}}$ ${\displaystyle E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]}$двусмысленность .^[2]

Учитывая дискретные случайные величины с изображением и с изображением , условная энтропия заданных определяется как взвешенная сумма для каждого возможного значения с использованием в качестве весов: ^{[3] : 15} ${\displaystyle X}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {Y}}}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle \mathrm {H} (Y|X=x)}$ ${\displaystyle x}$ ${\displaystyle p(x)}$

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{aligned}}}$

Характеристики

Условная энтропия равна нулю

${\displaystyle \mathrm {H} (Y|X)=0}$тогда и только тогда, когда значение полностью определяется значением . ${\displaystyle Y}$ ${\displaystyle X}$

Условная энтропия независимых случайных величин

И наоборот, тогда и только тогда, когда и являются независимыми случайными величинами . ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ ${\displaystyle Y}$ ${\displaystyle X}$

Правило цепи

Предположим, что объединенная система определяется двумя случайными величинами и имеет совместную энтропию , то есть нам нужны в среднем биты информации для описания ее точного состояния. Теперь, если мы сначала узнаем значение , мы получим немного информации. Если оно известно, нам нужны только биты, чтобы описать состояние всей системы. Эта величина равна в точности , что дает цепное правило условной энтропии: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X,Y)}$ ${\displaystyle \mathrm {H} (X,Y)}$ ${\displaystyle X}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle X}$ ${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$ ${\displaystyle \mathrm {H} (Y|X)}$

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^{[3] : 17}

Цепное правило следует из приведенного выше определения условной энтропии:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

В общем случае действует цепное правило для нескольких случайных величин:

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^{[3] : 22}

Оно имеет форму, аналогичную цепному правилу в теории вероятностей, за исключением того, что вместо умножения используется сложение.

Правило Байеса

Правило Байеса для состояний условной энтропии

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Доказательство. и . Симметрия предполагает . Вычитание двух уравнений подразумевает правило Байеса. ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$ ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$ ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$

Если условно независимо от данного , то имеем: ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle X}$

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

Другие объекты недвижимости

Для любого и : ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

где взаимная информация между и . ${\displaystyle \operatorname {I} (X;Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$

Для независимых и : ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$и ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

Хотя конкретно-условная энтропия может быть как меньше, так и больше, чем для данной случайной величины , она никогда не может превышать . ${\displaystyle \mathrm {H} (X|Y=y)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle y}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X|Y)}$ ${\displaystyle \mathrm {H} (X)}$

Условная дифференциальная энтропия

Определение

Приведенное выше определение относится к дискретным случайным величинам. Непрерывная версия дискретной условной энтропии называется условной дифференциальной (или непрерывной) энтропией . Пусть и — непрерывная случайная величина с совместной функцией плотности вероятности . Дифференциальная условная энтропия определяется как ^{[3] : 249} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f(x,y)}$ ${\displaystyle h(X|Y)}$

Характеристики

В отличие от условной энтропии для дискретных случайных величин, условная дифференциальная энтропия может быть отрицательной.

Как и в дискретном случае, существует цепное правило для дифференциальной энтропии:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^{[3] : 253}

Однако обратите внимание, что это правило может быть неверным, если задействованная дифференциальная энтропия не существует или бесконечна.

Совместная дифференциальная энтропия также используется при определении взаимной информации между непрерывными случайными величинами:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$с равенством тогда и только тогда, когда и независимы. ^{[3] : 253} ${\displaystyle X}$ ${\displaystyle Y}$

Связь с ошибкой оценщика

Условная дифференциальная энтропия дает нижнюю границу ожидаемой квадратичной ошибки оценщика . Для любой случайной величины , наблюдения и оценки справедливо следующее: ^{[3] : 255} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\widehat {X}}}$

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

Это связано с принципом неопределенности из квантовой механики .

Обобщение на квантовую теорию

В квантовой теории информации условная энтропия обобщается до условной квантовой энтропии . Последний может принимать отрицательные значения, в отличие от своего классического аналога.

Смотрите также

• Энтропия (теория информации)
• Взаимная информация
• Условная квантовая энтропия
• Изменение информации
• Неравенство энтропийной мощности
• Функция правдоподобия

Рекомендации

1. «Дэвид Маккей: Теория информации, распознавание образов и нейронные сети: Книга» . www.inference.org.uk . Проверено 25 октября 2019 г.
2. Хеллман, М.; Равив, Дж. (1970). «Вероятность ошибки, двусмысленность и граница Чернова». Транзакции IEEE по теории информации . 16 (4): 368–372. CiteSeerX 10.1.1.131.2865 . дои : 10.1109/TIT.1970.1054466. 
3. Т. Обложка ; Дж. Томас (1991). Элементы теории информации . Уайли. ISBN 0-471-06259-6.