Негэнтропия

Мера расстояния до нормальности

В теории информации и статистике негэнтропия используется как мера расстояния до нормальности. Понятие и фраза « отрицательная энтропия » были введены Эрвином Шрёдингером в его научно-популярной книге 1944 года « Что такое жизнь?» ^[1] Позднее французский физик Леон Бриллюэн сократил фразу до néguentropie (негэнтропия). ^{[2] [3]} В 1974 году Альберт Сент-Дьёрдьи предложил заменить термин негэнтропия на синтропию . Этот термин, возможно, возник в 1940-х годах у итальянского математика Луиджи Фантаппье , который пытался построить единую теорию биологии и физики . Бакминстер Фуллер пытался популяризировать это использование, но негэнтропия остаётся распространённой.

В примечании к книге «Что такое жизнь?» Шредингер объяснил использование этой фразы.

... если бы я обслуживал только их [физиков], я бы вместо этого позволил дискуссии перейти к свободной энергии . Это более привычное понятие в этом контексте. Но этот весьма технический термин казался лингвистически слишком близким к энергии , чтобы заставить среднего читателя ощутить контраст между этими двумя вещами.

Теория информации

В теории информации и статистике негэнтропия используется как мера расстояния до нормальности. ^{[4] [5] [6]} Из всех распределений с заданным средним значением и дисперсией нормальное или гауссовское распределение имеет самую высокую энтропию . Негэнтропия измеряет разницу в энтропии между заданным распределением и гауссовым распределением с тем же средним значением и дисперсией. Таким образом, негэнтропия всегда неотрицательна, инвариантна при любом линейном обратимом изменении координат и обращается в нуль тогда и только тогда, когда сигнал является гауссовым.

Негэнтропия определяется как

${\displaystyle J(p_{x})=S(\varphi _{x})-S(p_{x})\,}$

где — дифференциальная энтропия гауссовой плотности с тем же средним значением и дисперсией, что и — дифференциальная энтропия : ${\displaystyle S(\varphi _{x})}$ ${\displaystyle p_{x}}$ ${\displaystyle S(p_{x})}$ ${\displaystyle p_{x}}$

${\displaystyle S(p_{x})=-\int p_{x}(u)\log p_{x}(u)\,du}$

Негэнтропия используется в статистике и обработке сигналов . Она связана с сетевой энтропией , которая используется в независимом компонентном анализе . ^{[7] [8]}

Негэнтропия распределения равна расхождению Кульбака–Лейблера между и гауссовым распределением с тем же средним и дисперсией, что и (см. Дифференциальная энтропия § Максимизация в нормальном распределении для доказательства). В частности, она всегда неотрицательна. ${\displaystyle p_{x}}$ ${\displaystyle p_{x}}$

Корреляция между статистической негэнтропией и свободной энергией Гиббса

График доступной энергии ( свободной энергии ) Уилларда Гиббса 1873 года , на котором показана плоскость, перпендикулярная оси v ( объема ) и проходящая через точку A, которая представляет собой начальное состояние тела. MN — сечение поверхности рассеиваемой энергии . Qε и Qη — сечения плоскостей η = 0 и ε = 0, и, следовательно, параллельных осям ε ( внутренней энергии ) и η ( энтропии ) соответственно. AD и AE — энергия и энтропия тела в его начальном состоянии, AB и AC — его доступная энергия ( энергия Гиббса ) и его способность к энтропии (величина, на которую энтропия тела может быть увеличена без изменения энергии тела или увеличения его объема) соответственно.

Существует физическая величина, тесно связанная со свободной энергией ( свободная энтальпия ), с единицей энтропии и изоморфная негэнтропии, известной в статистике и теории информации. В 1873 году Уиллард Гиббс создал диаграмму, иллюстрирующую концепцию свободной энергии, соответствующей свободной энтальпии . На диаграмме можно увидеть величину, называемую емкостью для энтропии . Эта величина представляет собой количество энтропии, которое может быть увеличено без изменения внутренней энергии или увеличения ее объема. ^[9] Другими словами, это разница между максимально возможной, при предполагаемых условиях, энтропией и ее фактической энтропией. Это в точности соответствует определению негэнтропии, принятому в статистике и теории информации. Подобная физическая величина была введена в 1869 году Массье для изотермического процесса ^{[10] [11] [12]} (обе величины отличаются только знаком цифры), а затем Планком для изотермического - изобарического процесса. ^{[13] Совсем недавно было показано, что} термодинамический потенциал Массье-Планка , известный также как свободная энтропия , играет большую роль в так называемой энтропийной формулировке статистической механики ^[14], применяемой , среди прочего, в молекулярной биологии ^[15] и термодинамических неравновесных процессах. ^[16]

${\displaystyle J=S_{\max }-S=-\Phi =-k\ln Z\,}$

где:

${\displaystyle S}$это энтропия

${\displaystyle J}$негэнтропия (способность Гиббса к энтропии)

${\displaystyle \Phi }$потенциал Массье

${\displaystyle Z}$это функция распределения

${\displaystyle k}$постоянная Больцмана

В частности, математически негэнтропия (отрицательная энтропийная функция, в физике интерпретируемая как свободная энтропия) является выпукло сопряженной функцией LogSumExp (в физике интерпретируемой как свободная энергия).

Принцип негэнтропии информации Бриллюэна

В 1953 году Леон Бриллюэн вывел общее уравнение ^[17], утверждающее, что изменение значения информационного бита требует по меньшей мере энергии. Это та же энергия, что и работа, которую производит двигатель Лео Силарда в идеалистическом случае. В своей книге ^[18] он более подробно исследовал эту проблему, придя к выводу, что любая причина изменения этого значения бита (измерение, решение по вопросу типа «да/нет», стирание, отображение и т. д.) потребует того же количества энергии. ${\displaystyle kT\ln 2}$

Смотрите также

• Эксергия
• Свободная энтропия
• Энтропия в термодинамике и теории информации

Примечания

1. Шредингер, Эрвин, Что такое жизнь – физический аспект живой клетки , Cambridge University Press, 1944
2. Бриллюэн, Леон: (1953) «Принцип негэнтропии информации», Журнал прикладной физики , т. 24(9) , стр. 1152–1163
3. Леон Бриллюэн, «Наука и теория информации» , Массон, 1959.
4. Аапо Хювяринен, Обзор анализа независимых компонентов, node32: Негэнтропия, Лаборатория компьютерных и информационных наук Технологического университета Хели
5. Аапо Хиваринен и Эркки Оя, Независимый анализ компонентов: учебное пособие, узел 14: Негэнтропия, Лаборатория компьютерных и информационных наук Хельсинкского технологического университета.
6. Руйе Ван, Независимый компонентный анализ, узел 4: Меры негауссовости
7. П. Комон, Независимый компонентный анализ – новая концепция?, Обработка сигналов , 36 287–314, 1994.
8. Дидье Г. Лейбовичи и Кристиан Бекманн, Введение в многоканальные методы многосубъектного эксперимента фМРТ, Технический отчет FMRIB 2001, Оксфордский центр функциональной магнитно-резонансной томографии мозга (FMRIB), Отделение клинической неврологии, Оксфордский университет, Больница Джона Рэдклиффа, Хедли-Уэй, Хедингтон, Оксфорд, Великобритания.
9. Уиллард Гиббс, Метод геометрического представления термодинамических свойств веществ с помощью поверхностей, Труды Академии Коннектикута , 382–404 (1873)
10. Масье, МФ (1869a). Особенности функций различных жидкостей. ЧР акад. наук. LXIX: 858–862.
11. Массие, МФ (1869b). Дополнение к прецедентным воспоминаниям о характеристиках функций. ЧР акад. наук. LXIX: 1057–1061.
12. Масье, MF (1869), Compt. Ренд. 69 (858): 1057.
13. Планк, М. (1945). Трактат по термодинамике . Довер, Нью-Йорк.
14. Антони Плейнс, Эдуард Вивес, Энтропийная формулировка статистической механики. Архивировано 11 октября 2008 г. в Wayback Machine , Энтропийные переменные и функции Массье – Планка, 24 октября 2000 г., Universitat de Barcelona.
15. Джон А. Шейлман, Температура, стабильность и гидрофобное взаимодействие, Biophysical Journal 73 (декабрь 1997 г.), 2960–2964, Институт молекулярной биологии, Университет Орегона, Юджин, Орегон 97403, США
16. Z. Hens и X. de Hemptinne, Неравновесный термодинамический подход к процессам переноса в газовых смесях, Химический факультет, Католический университет Лёвена, Celestijnenlaan 200 F, B-3001 Heverlee, Бельгия
17. Леон Бриллюэн, Принцип негэнтропии информации, J. Applied Physics 24 , 1152–1163 1953
18. Леон Бриллюэн, Наука и теория информации , Дувр, 1956