Энтропия Реньи

Концепция теории информации

В теории информации энтропия Реньи — это величина, которая обобщает различные понятия энтропии , включая энтропию Хартли , энтропию Шеннона , энтропию столкновений и мин-энтропию . Энтропия Реньи названа в честь Альфреда Реньи , который искал наиболее общий способ количественной оценки информации, сохраняя при этом аддитивность для независимых событий. ^{[1] [2]} В контексте оценки фрактальной размерности энтропия Реньи составляет основу концепции обобщенных размерностей . ^[3]

Энтропия Реньи важна в экологии и статистике как показатель разнообразия . Энтропия Реньи также важна в квантовой информации , где ее можно использовать как меру запутанности . В модели спиновой цепи Гейзенберга XY энтропия Реньи как функция от α может быть вычислена явно, поскольку она является автоморфной функцией по отношению к определенной подгруппе модулярной группы . ^{[4] [5]} В теоретической информатике минимальная энтропия используется в контексте экстракторов случайности .

Определение

Энтропия Реньи порядка , где и , определяется как ^[1] ${\displaystyle \alpha }$ ${\displaystyle 0<\alpha <\infty }$ ${\displaystyle \alpha \neq 1}$

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log {\Bigg (}\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}.}$

Далее он определяется как ${\displaystyle \alpha =0,1,\infty }$

${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).}$

Здесь – дискретная случайная величина с возможными исходами в наборе и соответствующими вероятностями для . Результирующая единица информации определяется основанием логарифма , например, Шеннон для основания 2 или nat для основания e . Если вероятности для всех , то все энтропии Реньи распределения равны: . В общем случае для всех дискретных случайных величин , является невозрастающей функцией по . ${\displaystyle X}$ ${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$ ${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle p_{i}=1/n}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$ ${\displaystyle X}$ ${\displaystyle \mathrm {H} _{\alpha }(X)}$ ${\displaystyle \alpha }$

В приложениях часто используется следующая связь между энтропией Реньи и p -нормой вектора вероятностей:

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left(\|P\|_{\alpha }\right)}$.

Здесь дискретное распределение вероятностей интерпретируется как вектор в с и . ${\displaystyle P=(p_{1},\dots ,p_{n})}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle p_{i}\geq 0}$ ${\textstyle \sum _{i=1}^{n}p_{i}=1}$

Энтропия Реньи для любого является вогнутой по Шуру . Доказано критерием Шура-Островского. ${\displaystyle \alpha \geq 0}$

Особые случаи

Энтропия Реньи случайной величины с двумя возможными исходами против p ₁ , где P = ( p ₁ , 1 − p ₁ ) . Показаны Η ₀ , Η ₁ , Η ₂ и Η _∞ , причем единицей измерения на вертикальной оси является шеннон .

По мере приближения к нулю энтропия Реньи все более одинаково взвешивает все события с ненулевой вероятностью, независимо от их вероятностей. В пределе для энтропия Реньи представляет собой просто логарифм размера носителя X. Пределом для является энтропия Шеннона . По мере приближения к бесконечности энтропия Реньи все больше определяется событиями наибольшей вероятности. ${\displaystyle \alpha }$ ${\displaystyle \alpha \to 0}$ ${\displaystyle \alpha \to 1}$ ${\displaystyle \alpha }$

Хартли или максимальная энтропия

При условии, что вероятности ненулевые, ^[6] представляет собой логарифм мощности алфавита ( ) of , иногда называемый энтропией Хартли , ${\displaystyle \mathrm {H} _{0}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle X}$ ${\displaystyle X}$

${\displaystyle \mathrm {H} _{0}(X)=\log n=\log |{\mathcal {A}}|\,}$

Энтропия Шеннона

Предельным значением as является энтропия Шеннона : ^[7] ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \alpha \to 1}$

${\displaystyle \mathrm {H} _{1}(X)\equiv \lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=-\sum _{i=1}^{n}p_{i}\log p_{i}}$

Энтропия столкновений

Энтропия столкновений , иногда называемая просто «энтропией Реньи», относится к случаю , ${\displaystyle \alpha =2}$

${\displaystyle \mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log P(X=Y),}$

где X и Y независимы и одинаково распределены . Энтропия столкновений связана с индексом совпадения .

Минимальная энтропия

В пределе энтропия Реньи сходится к минимальной энтропии : ${\displaystyle \alpha \rightarrow \infty }$ ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \mathrm {H} _{\infty }}$

${\displaystyle \mathrm {H} _{\infty }(X)\doteq \min _{i}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}\,.}$

Аналогично, минимальная энтропия — это наибольшее действительное число b , при котором все события происходят с вероятностью не более . ${\displaystyle \mathrm {H} _{\infty }(X)}$ ${\displaystyle 2^{-b}}$

Название « мин-энтропия» происходит от того факта, что это наименьшая мера энтропии в семействе энтропий Реньи. В этом смысле это самый надежный способ измерить информативность дискретной случайной величины. В частности, минимальная энтропия никогда не превышает энтропию Шеннона .

Минимальная энтропия имеет важные применения для экстракторов случайности в теоретической информатике : Экстракторы способны извлекать случайность из случайных источников, которые имеют большую минимальную энтропию; просто наличия большой энтропии Шеннона недостаточно для этой задачи.

Неравенства для разных порядков α

Это невозрастание при любом заданном распределении вероятностей , что можно доказать дифференцированием, ^[8] как ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \alpha }$ ${\displaystyle p_{i}}$

${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{KL}(z\|p)}$

которая пропорциональна расходимости Кульбака–Лейблера (которая всегда неотрицательна), где . В частности, оно строго положительно, за исключением случаев, когда распределение равномерно. ${\displaystyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$

На пределе мы имеем . ${\displaystyle \alpha \to 1}$ ${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}(\ln p_{i}+H(p))^{2}}$

В частных случаях неравенства можно доказать также с помощью неравенства Йенсена : ^{[9] [10]}

${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$

При значениях справедливы неравенства и в обратном направлении. В частности, имеем ^{[11] [12]} ${\displaystyle \alpha >1}$

${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$

С другой стороны, энтропия Шеннона может быть сколь угодно высокой для случайной величины , имеющей заданную минимальную энтропию. Примером этого может служить последовательность случайных величин для таких что и так как но . ${\displaystyle \mathrm {H} _{1}}$ ${\displaystyle X}$ ${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$ ${\displaystyle n\geq 1}$ ${\displaystyle P(X_{n}=0)=1/2}$ ${\displaystyle P(X_{n}=x)=1/(2n)}$ ${\displaystyle \mathrm {H} _{\infty }(X_{n})=\log 2}$ ${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$

Расхождение Реньи

Помимо абсолютных энтропий Реньи, Реньи также определил спектр мер дивергенции, обобщающих дивергенцию Кульбака – Лейблера . ^[13]

Дивергенция Реньи порядка α или альфа-дивергенция распределения P от распределения Q определяется как

${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}[(p_{i}/q_{i})^{\alpha -1}]\,}$

когда 0 < α < ∞ и α ≠ 1 . Мы можем определить дивергенцию Реньи для специальных значений α = 0, 1, ∞ , взяв предел, и, в частности, предел α → 1 дает дивергенцию Кульбака – Лейблера.

Некоторые особые случаи:

${\displaystyle D_{0}(P\|Q)=-\log Q(\{i:p_{i}>0\})}$ : минус логарифмическая вероятность при Q того, что p _i > 0 ;

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$ : минус двойной логарифм коэффициента Бхаттачарьи ; (Нильсен и Больц (2010))

${\displaystyle D_{1}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$ : расхождение Кульбака–Лейблера ;

${\displaystyle D_{2}(P\|Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$ : лог ожидаемого отношения вероятностей;

${\displaystyle D_{\infty }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$ : журнал максимального отношения вероятностей.

Дивергенция Реньи действительно является дивергенцией , что означает просто то, что она больше или равна нулю, и равна нулю только тогда, когда P = Q . Для любых фиксированных распределений P и Q дивергенция Реньи не убывает как функция своего порядка α и непрерывна на множестве α , для которого она конечна, ^[13] или для краткости информация порядка α получается, если распределение P заменить распределением Q . ^[1] ${\displaystyle D_{\alpha }(P\|Q)}$

Финансовая интерпретация

Пару распределений вероятностей можно рассматривать как азартную игру, в которой одно из распределений определяет официальные шансы, а другое содержит фактические вероятности. Знание реальных вероятностей позволяет игроку получить прибыль от игры. Ожидаемая норма прибыли связана с дивергенцией Реньи следующим образом ^[14]

${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$

где – распределение, определяющее официальные шансы (т. е. «рынок») для игры, – распределение, по мнению инвестора, и – неприятие риска инвестором ( относительное неприятие риска Эрроу – Пратта ). ${\displaystyle m}$ ${\displaystyle b}$ ${\displaystyle R}$

Если истинное распределение (не обязательно совпадает с убеждением инвестора ), долгосрочная реализованная ставка сходится к истинному ожиданию, которое имеет аналогичную математическую структуру ^[14] ${\displaystyle p}$ ${\displaystyle b}$

${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$

Свойства, характерные для α = 1

Значение α = 1 , которое дает энтропию Шеннона и дивергенцию Кульбака – Лейблера , является единственным значением, при котором точно выполняется цепное правило условной вероятности :

${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$

для абсолютной энтропии и

${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$

для относительных энтропий.

Последнее, в частности, означает, что если мы ищем распределение p ( x , a ) , которое минимизирует отклонение от некоторой базовой априорной меры m ( x , a ) , и мы получаем новую информацию, которая влияет только на распределение a , то распределение p ( x | a ) остается m ( x | a ) без изменений.

Другие расходимости Реньи удовлетворяют критериям положительности и непрерывности, инвариантности относительно преобразований координат 1 к 1 и аддитивного объединения, когда A и X независимы, так что если p ( A , X ) = p ( A ) p ( X ) , тогда

${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$

и

${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$

Более сильные свойства величин α = 1 позволяют определить условную информацию и взаимную информацию из теории связи.

Экспоненциальные семьи

Энтропии и дивергенции Реньи для экспоненциального семейства допускают простые выражения ^[15]

${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\right)}$

и

${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta :\theta ')}{1-\alpha }}}$

где

${\displaystyle J_{F,\alpha }(\theta :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')}$

– это разностная дивергенция Дженсена.

Физический смысл

Энтропия Реньи в квантовой физике не считается наблюдаемой из- за ее нелинейной зависимости от матрицы плотности. (Эта нелинейная зависимость применима даже в частном случае энтропии Шеннона . ) Однако ей можно придать оперативный смысл посредством двукратных измерений (также известных как статистика полного счета) ^{передач энергии .}

Предел квантовомеханической энтропии Реньи, как и энтропия фон Неймана . ${\displaystyle \alpha \to 1}$

Смотрите также

• Индексы разнообразия
• Энтропия Цаллиса
• Обобщенный индекс энтропии

Примечания

1. Реньи (1961)
2. Риуль (2021)
3. Баррос, Ванесса; Руссо, Жером (01 июня 2021 г.). «Кратчайшее расстояние между несколькими орбитами и обобщенными фрактальными размерностями». Анналы Анри Пуанкаре . 22 (6): 1853–1885. arXiv : 1912.07516 . Бибкод : 2021AnHP...22.1853B. дои : 10.1007/s00023-021-01039-y. ISSN  1424-0661. S2CID  209376774.
4. Франчини, Its и Корепин (2008)
5. Это и Корепин (2010)
6. RFC 4086, стр. 6.
7. Бромили, Такер и Бухова-Такер (2004)
8. Бек и Шлёгль (1993)
9. имеет силу, потому что . ${\displaystyle \mathrm {H} _{1}\geq \mathrm {H} _{2}}$ ${\displaystyle \sum \limits _{i=1}^{M}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{M}{p_{i}^{2}}}$
10. имеет силу, потому что . ${\displaystyle \mathrm {H} _{\infty }\leq \mathrm {H} _{2}}$ ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\leq \log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}}$
11. имеет силу, потому что ${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }}$ ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\log \sup _{i}p_{i}}$
12. Деврой, Люк; Дьёрфи, Ласло; Лугоши, Габор (4 апреля 1996 г.). Вероятностная теория распознавания образов (Исправленная ред.). Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-0-387-94618-4.
13. Ван Эрвен, Тим; Харремоэс, Питер (2014). «Дивергенция Реньи и дивергенция Кульбака – Лейблера». Транзакции IEEE по теории информации . 60 (7): 3797–3820. arXiv : 1206.2459 . дои :10.1109/TIT.2014.2320500. S2CID  17522805.
14. Соклаков (2018)
15. Нильсен и Нок (2011)

Рекомендации

• Бек, Кристиан; Шлёгль, Фридрих (1993). Термодинамика хаотических систем: введение . Издательство Кембриджского университета. ISBN 0521433673.
• Джизба, П.; Аримицу, Т. (2004). «Мир по Реньи: термодинамика мультифрактальных систем». Анналы физики . 312 (1): 17–59. arXiv : cond-mat/0207707 . Бибкод : 2004AnPhy.312...17J. дои : 10.1016/j.aop.2004.01.002. S2CID  119704502.
• Джизба, П.; Аримицу, Т. (2004). «О наблюдаемости энтропии Реньи». Физический обзор E . 69 (2): 026128. arXiv : cond-mat/0307698 . Бибкод : 2004PhRvE..69b6128J. doi : 10.1103/PhysRevE.69.026128. PMID  14995541. S2CID  39231939.
• Бромили, Пенсильвания; Такер, Северная Каролина; Бухова-Такер, Э. (2004), Энтропия Шеннона, энтропия Реньи и информация , CiteSeerX  10.1.1.330.9856
• Франкини, Ф.; Это, АР; Корепин, В.Е. (2008). «Энтропия Реньи как мера запутанности в квантовой спиновой цепочке». Физический журнал A: Математический и теоретический . 41 (25302): 025302. arXiv : 0707.2534 . Бибкод : 2008JPhA...41b5302F. дои : 10.1088/1751-8113/41/2/025302. S2CID  119672750.
• «Тест Реньи», Математическая энциклопедия , EMS Press , 2001 [1994]
• Герой, АО; Майкл, О.; Горман, Дж. (2002). «Альфа-расхождения для классификации, индексирования и поиска» (PDF) . CiteSeerX  10.1.1.373.2763 . {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
• Это, АР; Корепин, В.Е. (2010). «Обобщенная энтропия спиновой цепи Гейзенберга». Теоретическая и математическая физика . 164 (3): 1136–1139. Бибкод : 2010TMP...164.1136I. дои : 10.1007/s11232-010-0091-6. S2CID  119525704.
• Нильсен, Ф.; Больц, С. (2010). «Центроиды Бурбеа-Рао и Бхаттачарья». Транзакции IEEE по теории информации . 57 (8): 5455–5466. arXiv : 1004.5049 . дои : 10.1109/TIT.2011.2159046. S2CID  14238708.
• Нильсен, Франк; Нок, Ричард (2012). «Выражение в замкнутой форме для энтропии Шармы – Миттала экспоненциальных семейств». Журнал физики А. 45 (3): 032003. arXiv : 1112.4221 . Бибкод : 2012JPhA...45c2003N. дои : 10.1088/1751-8113/45/3/032003. S2CID  8653096.
• Нильсен, Франк; Нок, Ричард (2011). «Об энтропии и расходимости Реньи и Цаллиса для экспоненциальных семейств». Журнал физики А. 45 (3): 032003. arXiv : 1105.3259 . Бибкод : 2012JPhA...45c2003N. дои : 10.1088/1751-8113/45/3/032003. S2CID  8653096.
• Реньи, Альфред (1961). «О мерах информации и энтропии» (PDF) . Труды четвертого симпозиума по математике, статистике и вероятности в Беркли, 1960 г. стр. 547–561.
• Россо, ОА (2006). «Анализ ЭЭГ с использованием информационных инструментов на основе вейвлетов». Журнал методов нейробиологии . 153 (2): 163–182. doi :10.1016/j.jneumeth.2005.10.009. PMID  16675027. S2CID  7134638.
• Захос, СК (2007). «Классическая граница квантовой энтропии». Журнал физики А. 40 (21): Ф407–Ф412. arXiv : hep-th/0609148 . Бибкод : 2007JPhA...40..407Z. дои : 10.1088/1751-8113/40/21/F02. S2CID  1619604.
• Назаров Ю. (2011). «Потоки энтропии Реньи». Физический обзор B . 84 (10): 205437. arXiv : 1108.3537 . Бибкод : 2015PhRvB..91j4303A. doi : 10.1103/PhysRevB.91.104303. S2CID  40312624.
• Ансари, Мохаммед Х.; Назаров, Юлий В. (2015). «Энтропия Реньи течет из квантовых тепловых двигателей». Физический обзор B . 91 (10): 104303. arXiv : 1408.3910 . Бибкод : 2015PhRvB..91j4303A. doi : 10.1103/PhysRevB.91.104303. S2CID  40312624.
• Ансари, Мохаммед Х.; Назаров, Юлий В. (2015). «Точное соответствие между потоками энтропии Реньи и физическими потоками». Физический обзор B . 91 (17): 174307. arXiv : 1502.08020 . Бибкод : 2015PhRvB..91q4307A. doi : 10.1103/PhysRevB.91.174307. S2CID  36847902.
• Соклаков, АН (2020). «Экономика разногласий - финансовая интуиция для расхождения Реньи». Энтропия . 22 (8): 860. arXiv : 1811.08308 . Бибкод : 2020Entrp..22..860S. дои : 10.3390/e22080860 . ПМЦ  7517462 . ПМИД  33286632.
• Ансари, Мохаммед Х.; ван Стинсел, Элвин; Назаров, Юлий В. (2019). «Производство энтропии в квантовой системе разное». Энтропия . 21 (9): 854. arXiv : 1907.09241 . дои : 10.3390/e21090854 . S2CID  198148019.
• Риуль, Оливье (2021). «Вот оно: Букварь по энтропии и информации Шеннона» (PDF) . Теория информации . Прогресс математической физики. Биркхойзер. 78 : 49–86. дои : 10.1007/978-3-030-81480-9_2. ISBN 978-3-030-81479-3. S2CID  204783328.