Энтропия в термодинамике и теории информации

Связь между понятиями термодинамической энтропии и информационной энтропии

Математические выражения для термодинамической энтропии в формулировке статистической термодинамики , установленной Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, аналогичны информационной энтропии Клода Шеннона и Ральфа Хартли , разработанной в 1940-х годах.

Эквивалентность форм определяющих выражений

Могила Больцмана в Центральном кладбище в Вене, с бюстом и формулой энтропии

Определяющее выражение для энтропии в теории статистической механики, созданное Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, имеет вид:

${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i},}$

где — вероятность микросостояния i , взятая из равновесного ансамбля , а — постоянная Больцмана . ${\displaystyle p_{i}}$ ${\displaystyle k_{B}}$

Определяющее выражение для энтропии в теории информации , созданной Клодом Э. Шенноном в 1948 году, имеет вид:

${\displaystyle H=-\sum _{i}p_{i}\log _{b}p_{i},}$

где — вероятность сообщения, взятого из пространства сообщений M , а b — основание используемого логарифма . Обычные значения b — 2, число Эйлера e и 10, а единица энтропии — шеннон (или бит ) для b  = 2, nat для b  =  e и hartley для b  = 10. ^[1] ${\displaystyle p_{i}}$ ${\displaystyle m_{i}}$

Математически H можно также рассматривать как среднюю информацию, взятую по пространству сообщений, поскольку, когда определенное сообщение появляется с вероятностью p _i , будет получено количество информации −log( p _i ) (называемое информационным содержанием или самоинформацией).

Если все микросостояния равновероятны ( микроканонический ансамбль ), статистическая термодинамическая энтропия сводится к форме, заданной Больцманом,

${\displaystyle S=k_{\text{B}}\ln W,}$

где W — число микросостояний, соответствующее макроскопическому термодинамическому состоянию. Поэтому S зависит от температуры.

Если все сообщения равновероятны, то информационная энтропия сводится к энтропии Хартли

${\displaystyle H=\log _{b}|M|\ ,}$

где — мощность пространства сообщений M. ${\displaystyle |M|}$

Логарифм в термодинамическом определении — это натуральный логарифм . Можно показать, что формула энтропии Гиббса с натуральным логарифмом воспроизводит все свойства макроскопической классической термодинамики Рудольфа Клаузиуса . (См. статью: Энтропия (статистические представления) ).

Логарифм также может быть взят к натуральному основанию в случае информационной энтропии. Это эквивалентно выбору измерения информации в натах вместо обычных битов (или более формально, шеннонов). На практике информационная энтропия почти всегда вычисляется с использованием логарифмов по основанию 2, но это различие не сводится ни к чему иному, как к изменению единиц. Один нат равен примерно 1,44 шеннона.

Для простой сжимаемой системы, которая может выполнять только объемную работу, первый закон термодинамики принимает вид

${\displaystyle dE=-pdV+TdS.}$

Но это уравнение можно с таким же успехом записать в терминах того, что физики и химики иногда называют «приведенной» или безразмерной энтропией, σ = S / k , так что

${\displaystyle dE=-pdV+k_{\text{B}}Td\sigma .}$

Так же, как S сопряжено с T , так и σ сопряжено с k _B T (энергией, характерной для T в молекулярном масштабе).

Таким образом, определения энтропии в статистической механике ( формула энтропии Гиббса ) и в классической термодинамике ( и фундаментальное термодинамическое соотношение ) эквивалентны для микроканонического ансамбля и статистических ансамблей, описывающих термодинамическую систему, находящуюся в равновесии с резервуаром, таких как канонический ансамбль , большой канонический ансамбль , изотермически-изобарический ансамбль . Эта эквивалентность обычно показана в учебниках. Однако эквивалентность между термодинамическим определением энтропии и энтропией Гиббса не является общей, а вместо этого является исключительным свойством обобщенного распределения Больцмана . ^[2] ${\displaystyle S=-k_{\mathrm {B} }\sum _{i}p_{i}\log p_{i}}$ ${\displaystyle dS={\frac {\delta Q_{\text{rev}}}{T}}}$

Более того, было показано, что определения энтропии в статистической механике являются единственными энтропиями, которые эквивалентны энтропии классической термодинамики при следующих постулатах: ^[3]

1. Функция плотности вероятности пропорциональна некоторой функции параметров ансамбля и случайных величин.
2. Термодинамические функции состояния описываются средними значениями ансамбля случайных величин.
3. При бесконечной температуре все микросостояния имеют одинаковую вероятность.

Теоретическая связь

Несмотря на вышесказанное, между этими двумя величинами есть разница. Информационная энтропия Η может быть рассчитана для любого распределения вероятностей (если «сообщение» берется за то, что событие i , имеющее вероятность p _i , произошло вне пространства возможных событий), тогда как термодинамическая энтропия S относится конкретно к термодинамическим вероятностям p _i . Однако эта разница скорее теоретическая, чем фактическая, поскольку любое распределение вероятностей может быть аппроксимировано произвольно близко некоторой термодинамической системой. ^{[ необходима цитата ]}

Более того, между ними можно установить прямую связь. Если рассматриваемые вероятности являются термодинамическими вероятностями p _i : (приведенная) энтропия Гиббса σ может тогда рассматриваться просто как количество информации Шеннона, необходимое для определения подробного микроскопического состояния системы, учитывая ее макроскопическое описание. Или, как сказал Г. Н. Льюис, писавший о химической энтропии в 1930 году: «Прирост энтропии всегда означает потерю информации, и ничего больше». Чтобы быть более конкретным, в дискретном случае с использованием логарифмов по основанию два приведенная энтропия Гиббса равна среднему минимальному числу вопросов типа «да-нет», на которые необходимо ответить, чтобы полностью определить микросостояние , учитывая, что мы знаем макросостояние.

Более того, предписание находить равновесные распределения статистической механики, такие как распределение Больцмана, путем максимизации энтропии Гиббса при соблюдении соответствующих ограничений ( алгоритм Гиббса ), можно рассматривать не как нечто уникальное для термодинамики, а как принцип общей значимости в статистическом выводе, если требуется найти максимально неинформативное распределение вероятностей при соблюдении определенных ограничений на его средние значения. (Эти перспективы более подробно рассматриваются в статье Максимальная энтропия в термодинамике .)

Энтропия Шеннона в теории информации иногда выражается в единицах бит на символ. Физическая энтропия может быть на основе "на количество" ( h ), что называется " интенсивной " энтропией вместо обычной полной энтропии, которая называется "экстенсивной" энтропией. "Шенноны" сообщения ( Η ) являются его полной "экстенсивной" информационной энтропией и равны h , умноженному на число бит в сообщении.

Прямую и физически реальную связь между h и S можно найти, присвоив символ каждому микросостоянию, которое встречается на моль, килограмм, объем или частицу однородного вещества, а затем вычислив 'h' этих символов. По теории или по наблюдению, символы (микросостояния) будут встречаться с разной вероятностью, и это определит h . Если имеется N молей, килограммов, объемов или частиц единицы вещества, связь между h (в битах на единицу вещества) и физической экстенсивной энтропией в nats такова:

${\displaystyle S=k_{\mathrm {B} }\ln(2)Nh}$

где ln(2) — коэффициент преобразования из основания 2 энтропии Шеннона в естественное основание e физической энтропии. N h — количество информации в битах, необходимое для описания состояния физической системы с энтропией S. Принцип Ландауэра демонстрирует реальность этого, утверждая, что минимальная требуемая энергия E (и, следовательно, выделяемое тепло Q ) при идеально эффективном изменении памяти или логической операции путем необратимого стирания или слияния N h бит информации будет в S раз больше температуры, которая

${\displaystyle E=Q=Tk_{\mathrm {B} }\ln(2)Nh,}$

где h в информационных битах, а E и Q в физических Джоулях. Это было экспериментально подтверждено. ^[4]

Температура — это мера средней кинетической энергии на частицу в идеальном газе (кельвины = ⁠2/3⁠ джоули/ kB ), поэтому единица измерения Дж/К для _{kB безразмерна} ( джоуль/джоуль). kb _— коэффициент перевода энергии в ⁠3/2⁠  кельвины в джоули для идеального газа. Если бы измерения кинетической энергии на частицу идеального газа были выражены в джоулях вместо кельвинов, k _b в приведенных выше уравнениях было бы заменено на 3/2. Это показывает, что S является истинной статистической мерой микросостояний, которая не имеет фундаментальной физической единицы, кроме единиц информации, в данном случае нац, что является просто утверждением того, какое основание логарифма было выбрано по соглашению.

Информация физическая

Двигатель Силарда

Схема двигателя N-атома

Физический мысленный эксперимент, демонстрирующий, как одно лишь обладание информацией может в принципе иметь термодинамические последствия, был предложен в 1929 году Лео Силардом в уточнении знаменитого сценария демона Максвелла ^[5] (и в обратном порядке мысленного эксперимента о расширении Джоуля ).

Рассмотрим установку Максвелла, но только с одной газовой частицей в коробке. Если сверхъестественный демон знает, в какой половине коробки находится частица (что эквивалентно одному биту информации), он может закрыть затвор между двумя половинами коробки, закрыть поршень без сопротивления в пустой половине коробки, а затем извлечь джоули полезной работы, если затвор снова открыть. Затем частицу можно оставить изотермически расширяться обратно в ее исходный равновесный занятый объем. Таким образом, при правильных обстоятельствах обладание одним битом информации Шеннона (одним битом негэнтропии в терминологии Бриллюэна) действительно соответствует уменьшению энтропии физической системы. Глобальная энтропия не уменьшается, но преобразование информации в свободную энергию возможно. ${\displaystyle k_{\text{B}}T\ln 2}$

Этот мысленный эксперимент был физически продемонстрирован с использованием фазово-контрастного микроскопа, оснащенного высокоскоростной камерой, подключенной к компьютеру, выступающему в качестве демона . ^[6] В этом эксперименте преобразование информации в энергию выполняется на броуновской частице с помощью управления обратной связью ; то есть синхронизации работы, придаваемой частице, с информацией, полученной о ее положении. Вычисление энергетических балансов для различных протоколов обратной связи подтвердило, что равенство Яржинского требует обобщения, которое учитывает объем информации, вовлеченной в обратную связь.

принцип Ландауэра

Фактически можно обобщить: любая информация, имеющая физическое представление, должна каким-то образом быть встроена в статистические механические степени свободы физической системы.

Таким образом, Рольф Ландауэр утверждал в 1961 году, если представить, что мы начинаем с этих степеней свободы в термализованном состоянии, то произойдет реальное снижение термодинамической энтропии, если они затем будут сброшены в известное состояние. Этого можно достичь только в сохраняющей информацию микроскопически детерминированной динамике, если неопределенность каким-то образом сбрасывается куда-то еще – то есть если энтропия окружающей среды (или ненесущих информацию степеней свободы) увеличивается по крайней мере на эквивалентную величину, как того требует Второй закон, путем получения соответствующего количества тепла: в частности, kT  ln 2 тепла за каждый стертый бит случайности.

С другой стороны, утверждал Ландауэр, нет термодинамических возражений против того, чтобы логически обратимая операция потенциально достигалась физически обратимым способом в системе. Только логически необратимые операции — например, стирание бита до известного состояния или слияние двух путей вычисления — должны сопровождаться соответствующим увеличением энтропии. Когда информация физическая, вся обработка ее представлений, т. е. генерация, кодирование, передача, декодирование и интерпретация, являются естественными процессами, в которых энтропия увеличивается за счет потребления свободной энергии. ^[7]

Применительно к сценарию демона Максвелла/двигателя Сцилларда это предполагает, что возможно «считывать» состояние частицы в вычислительный аппарат без затрат энтропии; но только если аппарат уже был УСТАНОВЛЕН в известное состояние, а не находился в термализованном состоянии неопределенности. УСТАНОВИТЬ ( или СБРОСИТЬ ) аппарат в это состояние будет стоить всей энтропии, которую можно сэкономить, зная состояние частицы Сцилларда.

В 2008 и 2009 годах исследователи показали, что принцип Ландауэра может быть выведен из второго закона термодинамики и изменения энтропии, связанного с приростом информации, разработав термодинамику квантовых и классических систем, управляемых с помощью обратной связи. ^{[8] [9]}

Негэнтропия

Энтропия Шеннона была связана физиком Леоном Бриллюэном с концепцией, иногда называемой негэнтропией . В 1953 году Бриллюэн вывел общее уравнение ^[10] , утверждающее, что изменение значения информационного бита требует по крайней мере kT  ln(2) энергии. Это та же энергия, что и работа, которую производит двигатель Лео Силларда в идеалистическом случае, которая, в свою очередь, равна той же величине, которую нашел Ландауэр . В своей книге ^[11] он далее исследовал эту проблему, придя к выводу, что любая причина изменения значения бита (измерение, решение по вопросу типа «да/нет», стирание, отображение и т. д.) потребует того же количества энергии, kT  ln(2). Следовательно, получение информации о микросостояниях системы связано с производством энтропии , в то время как стирание приводит к производству энтропии только при изменении значения бита. Размещение бита информации в подсистеме, изначально находящейся в тепловом равновесии, приводит к локальному снижению энтропии. Однако, по мнению Бриллюэна, нет нарушения второго закона термодинамики, поскольку снижение термодинамической энтропии любой локальной системы приводит к увеличению термодинамической энтропии в другом месте. Таким образом, Бриллюэн прояснил значение негэнтропии, которая считалась спорной, поскольку ее более раннее понимание может дать эффективность Карно выше единицы. Кроме того, соотношение между энергией и информацией, сформулированное Бриллюэном, было предложено как связь между количеством битов, которые обрабатывает мозг, и потребляемой им энергией: Коллелл и Фоке ^[12] утверждали, что Де Кастро ^[13] аналитически нашел предел Ландауэра как термодинамическую нижнюю границу для вычислений мозга. Однако, хотя эволюция, как предполагается, «отобрала» наиболее энергетически эффективные процессы, физические нижние границы не являются реалистичными величинами в мозге. Во-первых, потому что минимальной единицей обработки, рассматриваемой в физике, является атом/молекула, что далеко от фактического способа работы мозга; и, во-вторых, потому что нейронные сети включают в себя важные факторы избыточности и шума, которые значительно снижают их эффективность. ^[14] Лафлин и др. ^[15] были первыми, кто предоставил явные величины для энергетической стоимости обработки сенсорной информации. Их открытия на мясных мухах показали, что для визуальных сенсорных данных стоимость передачи одного бита информации составляет около 5 × 10−14 ^{Джоулей} , или эквивалентно 104 ^{молекул} АТФ. Таким образом, эффективность нейронной обработки все еще далека от предела Ландауэра kTln(2) Дж, но, как любопытно, она все еще намного эффективнее современных компьютеров.

В 2009 году Махуликар и Хервиг переопределили термодинамическую негэнтропию как дефицит удельной энтропии динамически упорядоченной подсистемы относительно ее окружения. ^[16] Это определение позволило сформулировать принцип негэнтропии , который, как математически показано, вытекает из 2-го закона термодинамики во время существования порядка.

Квантовая теория

Хиршман показал, ^[17] см. Неопределенность Хиршмана , что принцип неопределенности Гейзенберга может быть выражен как конкретная нижняя граница суммы классических энтропий распределения квантовых наблюдаемых вероятностных распределений квантово-механического состояния, квадрата волновой функции, в координатном, а также импульсном пространстве, выраженном в планковских единицах . Полученные неравенства обеспечивают более жесткую границу соотношений неопределенности Гейзенберга.

Имеет смысл назначить « совместную энтропию », поскольку положения и импульсы являются квантово-сопряженными переменными и, следовательно, не являются совместно наблюдаемыми. Математически их следует рассматривать как совместное распределение . Обратите внимание, что эта совместная энтропия не эквивалентна энтропии фон Неймана , −Tr ρ ln ρ = −⟨ln ρ ⟩. Говорят, что энтропия Хиршмана учитывает полное информационное содержание смеси квантовых состояний . ^[18]

(Неудовлетворенность энтропией фон Неймана с точки зрения квантовой информации была выражена Стотландом, Померанским, Бахматом и Коэном, которые ввели еще одно определение энтропии, отражающее присущую квантово-механическим состояниям неопределенность. Это определение позволяет различать минимальную энтропию неопределенности чистых состояний и избыточную статистическую энтропию смесей. ^[19] )

Смотрите также

• Термодинамическая энтропия
• Информационная энтропия
• Термодинамика
• Статистическая механика
• Теория информации
• Квантовая запутанность
• Квантовая декогеренция
• Теорема флуктуации
• Энтропия черной дыры
• Парадокс информации о черной дыре
• Энтропия (теория информации)
• Энтропия (статистическая термодинамика)
• Энтропия (порядок и беспорядок)
• Порядки величины (энтропия)

Ссылки

1. Шнайдер, ТД, Учебник по теории информации с приложением о логарифмах, Национальный институт рака, 14 апреля 2007 г.
2. Гао, Сян; Галликкио, Эмилио; Ройтберг, Адриан (2019). «Обобщенное распределение Больцмана — единственное распределение, в котором энтропия Гиббса-Шеннона равна термодинамической энтропии». Журнал химической физики . 151 (3): 034113. arXiv : 1903.02121 . Bibcode : 2019JChPh.151c4113G. doi : 10.1063/1.5111333. PMID  31325924. S2CID  118981017.
3. Гао, Сян (март 2022 г.). «Математика теории ансамбля». Результаты по физике . 34 : 105230. arXiv : 2006.00485 . Bibcode : 2022ResPh..3405230G. doi : 10.1016/j.rinp.2022.105230 . S2CID  221978379.
4. Антуан Берут; Артак Аракелян; Артём Петросян; Серхио Силиберто; Рауль Дилленшнайдер; Эрик Лутц (8 марта 2012 г.), «Экспериментальная проверка принципа Ландауэра, связывающего информацию и термодинамику» (PDF) , Nature , 483 (7388): 187–190, Bibcode : 2012Natur.483..187B, doi : 10.1038/nature10872, PMID  22398556, S2CID  9415026
5. Сцилард, Лео (1929). «Über die Entropieeverminderung in einem thermodynamischen System bei Eingriffen Intelliger Wesen». Zeitschrift für Physik (на немецком языке). 53 (11–12): 840–856. Бибкод : 1929ZPhy...53..840S. дои : 10.1007/BF01341281. ISSN  0044-3328. S2CID  122038206.Доступно онлайн на английском языке на сайте Aurellen.org.
6. Shoichi Toyabe; Takahiro Sagawa; Masahito Ueda; Eiro Muneyuki; Masaki Sano (29.09.2010). «Информационная тепловая машина: преобразование информации в энергию с помощью управления с обратной связью». Nature Physics . 6 (12): 988–992. arXiv : 1009.5287 . Bibcode :2010NatPh...6..988T. doi :10.1038/nphys1821. S2CID  118444713. Мы продемонстрировали, что свободная энергия получается с помощью управления с обратной связью, использующего информацию о системе; информация преобразуется в свободную энергию, как первая реализация демона Максвелла типа Сциларда.
7. Карнани, М.; Пяакконен, К.; Аннила, А. (2009). «Физический характер информации». Proc. R. Soc. A. 465 ( 2107): 2155–75. Bibcode :2009RSPSA.465.2155K. doi : 10.1098/rspa.2009.0063 .
8. Сагава, Такахиро; Уэда, Масахито (2008-02-26). «Второй закон термодинамики с дискретным квантовым управлением обратной связью». Physical Review Letters . 100 (8): 080403. arXiv : 0710.0956 . doi :10.1103/PhysRevLett.100.080403. ISSN  0031-9007.
9. Cao, FJ; Feito, M. (2009-04-10). "Термодинамика систем с обратной связью". Physical Review E. 79 ( 4): 041118. arXiv : 0805.4824 . doi : 10.1103/PhysRevE.79.041118. ISSN  1539-3755.
10. Бриллюэн, Леон (1953). «Принцип негэнтропии информации». Журнал прикладной физики . 24 (9): 1152–1163. Bibcode : 1953JAP....24.1152B. doi : 10.1063/1.1721463.
11. Леон Бриллюэн, Наука и теория информации , Дувр, 1956
12. Коллелл, Г.; Фоке, Дж. (июнь 2015 г.). «Мозговая активность и познание: связь термодинамики и теории информации». Frontiers in Psychology . 6 (4): 818. doi : 10.3389/fpsyg.2015.00818 . PMC 4468356. PMID  26136709 . 
13. Де Кастро, А. (ноябрь 2013 г.). «Термодинамическая стоимость быстрой мысли». Minds and Machines . 23 (4): 473–487. arXiv : 1201.5841 . doi : 10.1007/s11023-013-9302-x. S2CID  11180644.
14. Нараянан, Н. С. и др. (2005). «Избыточность и синергия нейронных ансамблей в моторной коре». J. Neurosci . 25 (17): 4207–4216. doi :10.1523/JNEUROSCI.4697-04.2005. PMC 6725112 . PMID  15858046. 
15. Лафлин, С. Б. и др. (ноябрь 2013 г.). «Метаболическая стоимость нейронной информации». Nat. Neurosci . 1 (1): 36–41. doi :10.1038/236. PMID  10195106. S2CID  204995437.
16. Mahulikar, SP; Herwig, H. (август 2009). «Точные термодинамические принципы для существования и эволюции динамического порядка в хаосе». Хаос, солитоны и фракталы . 41 (4): 1939–48. Bibcode : 2009CSF....41.1939M. doi : 10.1016/j.chaos.2008.07.051.
17. Хиршман, II младший (январь 1957 г.). «Заметка об энтропии». American Journal of Mathematics . 79 (1): 152–6. doi :10.2307/2372390. JSTOR  2372390.
18. Zachos, CK (2007). «Классическая граница квантовой энтропии». Journal of Physics A: Mathematical and Theoretical . 40 (21): F407–F412. arXiv : hep-th/0609148 . Bibcode :2007JPhA...40..407Z. doi :10.1088/1751-8113/40/21/F02. S2CID  1619604.
19. Александр Стотланд; Померанский; Эйтан Бахмат; Дорон Коэн (2004). «Информационная энтропия квантово-механических состояний». Europhysics Letters . 67 (5): 700–6. arXiv : quant-ph/0401021 . Bibcode : 2004EL.....67..700S. CiteSeerX 10.1.1.252.8715 . doi : 10.1209/epl/i2004-10110-1. S2CID  51730529. 

Дальнейшее чтение

• Беннетт, CH (1973). «Логическая обратимость вычислений». IBM J. Res. Dev . 17 (6): 525–532. doi :10.1147/rd.176.0525.
• Бриллюэн, Леон (2004), Наука и теория информации (второе издание), Дувр, ISBN 978-0-486-43918-1. [Переиздание оригинала 1962 года.]
• Фрэнк, Майкл П. (май–июнь 2002 г.). «Физические пределы вычислений». Вычислительная техника в науке и технике . 4 (3): 16–25. Bibcode : 2002CSE.....4c..16F. CiteSeerX  10.1.1.429.1618 . doi : 10.1109/5992.998637. OSTI  1373456. S2CID  499628.
• Гревен, Андреас; Келлер, Герхард; Варнеке, Джеральд, ред. (2003). Энтропия. Издательство Принстонского университета. ISBN 978-0-691-11338-8.(Высокотехнический сборник трудов, дающий обзор концепции энтропии в ее применении в различных дисциплинах.)
• Калинин, М.И.; Кононогов, С.А. (2005), «Константа Больцмана, энергетический смысл температуры и термодинамическая необратимость», Measurement Techniques , 48 ​​(7): 632–636, doi :10.1007/s11018-005-0195-9, S2CID  118726162.
• Куцойяннис, Д. (2011), «Динамика Херста–Колмогорова как результат экстремального производства энтропии», Physica A , 390 (8): 1424–1432, Bibcode : 2011PhyA..390.1424K, doi : 10.1016/j.physa.2010.12.035.
• Ландауэр, Р. (1993). «Информация физична». Труды семинара по физике и вычислениям PhysComp'92. Лос-Аламитос: IEEE Comp. Sci.Press. стр. 1–4. doi :10.1109/PHYCMP.1992.615478. ISBN 978-0-8186-3420-8. S2CID  60640035.
• Ландауэр, Р. (1961). «Необратимость и выделение тепла в вычислительном процессе». IBM J. Res. Dev . 5 (3): 183–191. doi :10.1147/rd.53.0183.
• Leff, HS; Rex, AF, ред. (1990). Демон Максвелла: Энтропия, Информация, Вычисления . Princeton NJ: Princeton University Press. ISBN 978-0-691-08727-6.
• Миддлтон, Д. (1960). Введение в статистическую теорию связи . McGraw-Hill.
• Шеннон, Клод Э. (июль–октябрь 1948 г.). «Математическая теория связи» . Bell System Technical Journal . 27 (3): 379–423. doi :10.1002/j.1538-7305.1948.tb01338.x. hdl : 10338.dmlcz/101429 .(в формате PDF)

Внешние ссылки

• Обработка информации и термодинамическая энтропия. Стэнфордская энциклопедия философии.
• Интуитивное руководство по концепции энтропии, возникающей в различных областях науки — вики-книга по интерпретации концепции энтропии.