Совместная энтропия

Мера информации в теории вероятностей и информации

Вводящая в заблуждение ^[1] диаграмма Венна , показывающая аддитивные и субтрактивные отношения между различными информационными мерами , связанными с коррелирующими переменными X и Y. Область, содержащаяся в обоих кругах, представляет собой совместную энтропию H (X, Y). Круг слева (красный и фиолетовый) — это индивидуальная энтропия H(X), а красный — условная энтропия H(X|Y). Круг справа (синий и фиолетовый) — это H(Y), синий — H(Y|X). Фиолетовый — это взаимная информация I(X;Y).

В теории информации совместная энтропия является мерой неопределенности, связанной с набором переменных . ^[2]

Определение

Совместная энтропия Шеннона (в битах ) двух дискретных случайных величин и изображений определяется как ^{[3] : 16} . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {Y}}}$

где и - частные значения и , соответственно, - совместная вероятность того, что эти значения встречаются вместе, и определяется как 0, если . ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle P(x,y)}$ ${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ ${\displaystyle P(x,y)=0}$

Для более чем двух случайных величин это расширяется до ${\displaystyle X_{1},...,X_{n}}$

где - конкретные значения соответственно, - это вероятность того, что эти значения встречаются вместе, и определяется как 0, если . ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle P(x_{1},...,x_{n})}$ ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ ${\displaystyle P(x_{1},...,x_{n})=0}$

Характеристики

Неотрицательность

Совместная энтропия набора случайных величин является неотрицательным числом.

${\displaystyle \mathrm {H} (X,Y)\geq 0}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}$

Больше, чем индивидуальная энтропия

Совместная энтропия набора переменных больше или равна максимуму всех отдельных энтропий переменных в наборе.

${\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}$

${\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

Меньше или равно сумме индивидуальных энтропий

Совместная энтропия набора переменных меньше или равна сумме отдельных энтропий переменных в наборе. Это пример субаддитивности . Это неравенство является равенством тогда и только тогда, когда и статистически независимы . ^{[3] : 30} ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}$

Связь с другими мерами энтропии

Совместная энтропия используется в определении условной энтропии ^{[3] : 22}

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$,

и

$${\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}$$

взаимной информации ^{[3] : 21.}

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$

В квантовой теории информации совместная энтропия обобщается в совместную квантовую энтропию .

Совместная дифференциальная энтропия

Определение

Приведенное выше определение относится к дискретным случайным величинам и так же справедливо и в случае непрерывных случайных величин. Непрерывная версия дискретной совместной энтропии называется совместной дифференциальной (или непрерывной) энтропией . Пусть и — непрерывная случайная величина с совместной функцией плотности вероятности . Дифференциальная совместная энтропия определяется как ^{[3] : 249.} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f(x,y)}$ ${\displaystyle h(X,Y)}$

Для более чем двух непрерывных случайных величин определение обобщается до: ${\displaystyle X_{1},...,X_{n}}$

Интеграл берется по носителю . Возможно, что интеграл не существует, и в этом случае мы говорим, что дифференциальная энтропия не определена. ${\displaystyle f}$

Характеристики

Как и в дискретном случае, совместная дифференциальная энтропия набора случайных величин меньше или равна сумме энтропий отдельных случайных величин:

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}$^{[3] : 253}

Следующее цепное правило справедливо для двух случайных величин:

${\displaystyle h(X,Y)=h(X|Y)+h(Y)}$

В случае более чем двух случайных величин это обобщается до: ^{[3] : 253}

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}$

Совместная дифференциальная энтропия также используется при определении взаимной информации между непрерывными случайными величинами:

${\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}$

Рекомендации

1. DJC Маккей (2003). Теория информации, выводы и алгоритмы обучения . Бибкод : 2003itil.book.....М.^{: 141}
2. Тереза ​​М. Корн ; Корн, Гранино Артур (январь 2000 г.). Математический справочник для ученых и инженеров: определения, теоремы и формулы для справки и обзора . Нью-Йорк: Dover Publications. ISBN 0-486-41147-8.
3. Томас М. Обложка; Джой А. Томас (18 июля 2006 г.). Элементы теории информации . Хобокен, Нью-Джерси: Уайли. ISBN 0-471-24195-4.