Энтропийная неопределенность

Понятие в теории информации

В квантовой механике , теории информации и анализе Фурье энтропийная неопределенность или неопределенность Хиршмана определяется как сумма временной и спектральной энтропий Шеннона . Оказывается, что принцип неопределенности Гейзенберга можно выразить как нижнюю границу суммы этих энтропий. Это сильнее , чем обычная формулировка принципа неопределенности в терминах произведения стандартных отклонений.

В 1957 году ^[1] Хиршман рассмотрел функцию f и ее преобразование Фурье g, такие что

${\displaystyle g(y)\approx \int _{-\infty }^{\infty }\exp(-2\pi ixy)f(x)\,dx,\qquad f(x)\approx \int _{-\infty }^{\infty }\exp(2\pi ixy)g(y)\,dy~,}$

где «≈» указывает на сходимость в L ² , и нормализовано так, что (по теореме Планшереля ),

${\displaystyle \int _{-\infty }^{\infty }|f(x)|^{2}\,dx=\int _{-\infty }^{\infty }|g(y)|^{2}\,dy=1~.}$

Он показал, что для любых таких функций сумма энтропий Шеннона неотрицательна,

${\displaystyle H(|f|^{2})+H(|g|^{2})\equiv -\int _{-\infty }^{\infty }|f(x)|^{2}\log |f(x)|^{2}\,dx-\int _{-\infty }^{\infty }|g(y)|^{2}\log |g(y)|^{2}\,dy\geq 0.}$

Более тесная связь,

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}}~,}$

было высказано предположение Хиршманом ^[1] и Эвереттом ^[2] , доказано в 1975 году В. Бекнером ^[3] и в том же году интерпретировано как обобщенный квантово-механический принцип неопределенности Бялыницким-Бирулей и Мыцельским. ^[4] Равенство справедливо в случае гауссовых распределений . ^[5] Отметим, однако, что указанная выше энтропийная функция неопределенности существенно отличается от квантовой энтропии фон Неймана, представленной в фазовом пространстве .

Эскиз доказательства

Доказательство этого строгого неравенства зависит от так называемой ( q ,  p )-нормы преобразования Фурье. (Установление этой нормы является самой сложной частью доказательства.)

Из этой нормы можно установить нижнюю границу суммы (дифференциальных) энтропий Реньи , H _α (|f|²)+H _β (|g|²) , где 1/α + 1/β = 2 , которые обобщают энтропии Шеннона. Для простоты мы рассматриваем это неравенство только в одном измерении; расширение на несколько измерений является простым и может быть найдено в цитируемой литературе.

Неравенство Бабенко–Бекнера

Норма ( q ,  p ) преобразования Фурье определяется как ^[6]

${\displaystyle \|{\mathcal {F}}\|_{q,p}=\sup _{f\in L^{p}(\mathbb {R} )}{\frac {\|{\mathcal {F}}f\|_{q}}{\|f\|_{p}}},}$ где   и ${\displaystyle 1<p\leq 2~,}$ ${\displaystyle {\frac {1}{p}}+{\frac {1}{q}}=1.}$

В 1961 году Бабенко ^[7] нашел эту норму для четных целых значений q . Наконец, в 1975 году, используя функции Эрмита в качестве собственных функций преобразования Фурье, Бекнер ^[3] доказал, что значение этой нормы (в одном измерении) для всех q ≥ 2 равно

${\displaystyle \|{\mathcal {F}}\|_{q,p}={\sqrt {p^{1/p}/q^{1/q}}}.}$

Таким образом, мы имеем неравенство Бабенко–Бекнера , которое

${\displaystyle \|{\mathcal {F}}f\|_{q}\leq \left(p^{1/p}/q^{1/q}\right)^{1/2}\|f\|_{p}.}$

Связанная энтропия Реньи

Из этого неравенства можно вывести выражение принципа неопределенности в терминах энтропии Реньи . ^{[6] [8]}

Пусть так, что и , имеем ${\displaystyle g={\mathcal {F}}f,\,2\alpha =p,\,2\beta =q,}$ ${\displaystyle {\frac {1}{\alpha }}+{\frac {1}{\beta }}=2}$ ${\displaystyle {\frac {1}{2}}\leq \alpha \leq 1\leq \beta }$

${\displaystyle \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)^{1/2\beta }\leq {\frac {(2\alpha )^{1/4\alpha }}{(2\beta )^{1/4\beta }}}\left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)^{1/2\alpha }.}$

Возводя обе части в квадрат и логарифмируя, получаем

${\displaystyle {\frac {1}{\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\leq {\frac {1}{2}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}+{\frac {1}{\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right).}$

Мы можем переписать условие как ${\displaystyle \alpha ,\beta }$

${\displaystyle \alpha (1-\beta )+\beta (1-\alpha )=0}$

Предположим , тогда мы умножаем обе части на отрицательное ${\displaystyle \alpha ,\beta \neq 1}$

${\displaystyle {\frac {\beta }{1-\beta }}=-{\frac {\alpha }{1-\alpha }}}$

получить

${\displaystyle {\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}-{\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)~.}$

Перестановка членов дает неравенство относительно суммы энтропий Реньи:

${\displaystyle {\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)+{\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}};}$

${\displaystyle H_{\alpha }(|f|^{2})+H_{\beta }(|g|^{2})\geq {\frac {1}{2}}\left({\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right)-\log 2}$

Правая сторона

${\displaystyle {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\alpha }{\alpha -1}}\log(2\alpha )^{1/\alpha }+{\frac {\beta }{\beta -1}}\log(2\beta )^{1/\beta }\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log 2\alpha }{\alpha -1}}+{\frac {\log 2\beta }{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[{\frac {1}{\alpha -1}}+{\frac {1}{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[{\frac {1}{\alpha -1}}+{\frac {1}{\beta -1}}-{\frac {\alpha }{\alpha -1}}-{\frac {\beta }{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[-2\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]-\log 2}$

Шенноновская граница энтропии

Принимая предел этого последнего неравенства за и подстановки, получаем менее общее неравенство энтропии Шеннона: ${\displaystyle \alpha ,\,\beta \to 1}$ ${\displaystyle \mathrm {A} =\alpha -1,\mathrm {B} =\beta -1}$

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}},\quad {\textrm {where}}\quad g(y)\approx \int _{\mathbb {R} }e^{-2\pi ixy}f(x)\,dx~,}$

справедливо для любого основания логарифма, если мы выберем соответствующую единицу информации: бит , физ. и т. д.

Однако константа будет другой для другой нормализации преобразования Фурье (такой, которая обычно используется в физике, при этом нормировки выбираются так, чтобы ħ =1), т. е.

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log(\pi e)\quad {\textrm {for}}\quad g(y)\approx {\frac {1}{\sqrt {2\pi }}}\int _{\mathbb {R} }e^{-ixy}f(x)\,dx~.}$

В этом случае расширение квадрата абсолютного преобразования Фурье на коэффициент 2π просто добавляет log(2π ) к его энтропии.

Границы энтропии и дисперсии

Гауссово или нормальное распределение вероятностей играет важную роль в отношениях между дисперсией и энтропией : это проблема вариационного исчисления , чтобы показать, что это распределение максимизирует энтропию для данной дисперсии, и в то же время минимизирует дисперсию для данной энтропии. Фактически, для любой функции плотности вероятности на действительной прямой неравенство энтропии Шеннона определяет: ${\displaystyle \phi }$

${\displaystyle H(\phi )\leq \log {\sqrt {2\pi eV(\phi )}},}$

где H — энтропия Шеннона, а V — дисперсия, неравенство, которое насыщается только в случае нормального распределения .

Более того, преобразование Фурье гауссовой функции амплитуды вероятности также является гауссовым, и абсолютные квадраты обоих из них также являются гауссовыми. Это затем может быть использовано для вывода обычного неравенства неопределенности дисперсии Робертсона из приведенного выше энтропийного неравенства, позволяя последнему быть более жестким, чем первое . То есть (для ħ =1), возводя в степень неравенство Хиршмана и используя выражение Шеннона выше,

${\displaystyle 1/2\leq \exp(H(|f|^{2})+H(|g|^{2}))/(2e\pi )\leq {\sqrt {V(|f|^{2})V(|g|^{2})}}~.}$

Хиршман ^[1] объяснил, что энтропия — его версия энтропии была отрицательным вариантом энтропии Шеннона — это «мера концентрации [распределения вероятностей] в наборе малой меры». Таким образом, низкая или большая отрицательная энтропия Шеннона означает, что значительная масса распределения вероятностей ограничена набором малой меры .

Обратите внимание, что этот набор малой меры не обязательно должен быть непрерывным; распределение вероятностей может иметь несколько концентраций массы в интервалах малой меры, и энтропия может быть низкой независимо от того, насколько широко разбросаны эти интервалы. Это не относится к дисперсии: дисперсия измеряет концентрацию массы вокруг среднего значения распределения, а низкая дисперсия означает, что значительная масса распределения вероятностей сосредоточена в непрерывном интервале малой меры.

Чтобы формализовать это различие, мы говорим, что две функции плотности вероятности и являются равноизмеримыми, если ${\displaystyle \phi _{1}}$ ${\displaystyle \phi _{2}}$

${\displaystyle \forall \delta >0,\,\mu \{x\in \mathbb {R} |\phi _{1}(x)\geq \delta \}=\mu \{x\in \mathbb {R} |\phi _{2}(x)\geq \delta \},}$

где μ — мера Лебега . Любые две равноизмеримые функции плотности вероятности имеют одинаковую энтропию Шеннона и, по сути, одинаковую энтропию Реньи любого порядка. Однако то же самое не относится к дисперсии. Любая функция плотности вероятности имеет радиально убывающую равноизмеримую «перестановку», дисперсия которой меньше (с точностью до переноса), чем у любой другой перестановки функции; и существуют перестановки произвольно высокой дисперсии (все имеющие одинаковую энтропию).

Смотрите также

• Неравенства в теории информации
• Логарифмическое уравнение Шредингера
• Принцип неопределенности
• Теорема Рисса–Торина
• преобразование Фурье

Ссылки

1. Хиршман, II младший (1957), «Заметка об энтропии», Американский журнал математики , 79 (1): 152–156, doi :10.2307/2372390, JSTOR  2372390.
2. Хью Эверетт , III. Многомировая интерпретация квантовой механики: теория универсальной волновой функции. Диссертация Эверетта
3. Бекнер, В. (1975), «Неравенства в анализе Фурье», Annals of Mathematics , 102 (6): 159–182, doi :10.2307/1970980, JSTOR  1970980, PMC 432369 , PMID  16592223. 
4. Бялыницкий-Бируля, И.; Мычельский, Дж. (1975), "Соотношения неопределенности для информационной энтропии в волновой механике", Communications in Mathematical Physics , 44 (2): 129, Bibcode : 1975CMaPh..44..129B, doi : 10.1007/BF01608825, S2CID  122277352
5. Ozaydin, Murad; Przebinda, Tomasz (2004). "Принцип неопределенности на основе энтропии для локально компактной абелевой группы" (PDF) . Журнал функционального анализа . 215 (1). Elsevier Inc.: 241–252. doi : 10.1016/j.jfa.2003.11.008 . Получено 23.06.2011 .
6. Bialynicki-Birula, I. (2006). "Формулировка соотношений неопределенности в терминах энтропий Реньи". Physical Review A. 74 ( 5): 052101. arXiv : quant-ph/0608116 . Bibcode : 2006PhRvA..74e2101B. doi : 10.1103/PhysRevA.74.052101. S2CID  19123961.
7. К. И. Бабенко. Неравенство в теории интегралов Фурье. Изв. АН СССР, Сер. Матем. 25 (1961) стр. 531–542. Английский перевод, Амер. Матем. Соц. Перевод (2) 44 , стр. 115–128.
8. HP Heinig и M. Smith, Расширения неравенства Гейзенберга–Вейля. Internat. J. Math. & Math. Sci., Vol. 9, No. 1 (1986) стр. 185–192. [1]

Дальнейшее чтение

• Джизба, П.; Ма, Й.; Хейс, А.; Даннингем, Дж. А. (2016). «Однопараметрический класс соотношений неопределенности, основанный на мощности энтропии». Phys. Rev. E 93 (6): 060104(R). doi:10.1103/PhysRevE.93.060104.
• Зозор, С.; Вигнат, К. (2007). "О классах негауссовских асимптотических минимизаторов в энтропийных принципах неопределенности". Physica A: Статистическая механика и ее приложения . 375 (2): 499. arXiv : math/0605510 . Bibcode :2007PhyA..375..499Z. doi :10.1016/j.physa.2006.09.019. S2CID  119718352. arXiv:math/0605510v1
• Maassen, H.; Uffink, J. (1988). "Обобщенные энтропийные соотношения неопределенности" (PDF) . Physical Review Letters . 60 (12): 1103–1106. Bibcode :1988PhRvL..60.1103M. doi :10.1103/PhysRevLett.60.1103. PMID  10037942.
• Ballester, M.; Wehner, S. (2007). "Энтропийные соотношения неопределенности и блокировка: строгие границы для взаимно несмещенных баз". Physical Review A. 75 ( 2): 022319. arXiv : quant-ph/0606244 . Bibcode : 2007PhRvA..75b2319B. doi : 10.1103/PhysRevA.75.022319. S2CID  119470256.
• Ghirardi, G.; Marinatto, L.; Romano, R. (2003). "Оптимальное энтропийное соотношение неопределенности в двумерном гильбертовом пространстве". Physics Letters A. 317 ( 1–2): 32–36. arXiv : quant-ph/0310120 . Bibcode : 2003PhLA..317...32G. doi : 10.1016/j.physleta.2003.08.029. S2CID  9267554.
• Salcedo, LL (1998). "Минимальная неопределенность для антисимметричных волновых функций". Письма в математическую физику . 43 (3): 233–248. arXiv : quant-ph/9706015 . Bibcode :1997quant.ph..6015S. doi :10.1023/A:1007464229188. S2CID  18118758.